JP2023505265A - ハイスループット薬物スクリーニングのためのシステムおよび方法 - Google Patents

Abstract

本開示は、腫瘍オルガノイドの群に含まれる細胞が生きているか、または死んでいるかを示す腫瘍オルガノイドの群の人工蛍光画像を生成する方法を提供する。本方法は、明視野画像を受け取ることと、明視野画像を訓練済みモデルに提供することと、訓練済みモデルから人工蛍光画像を受け取ることと、人工蛍光画像をメモリまたはディスプレイのうちの少なくとも一方に出力することとを含む。

Description

関連出願の相互参照
本出願は、2019年12月5日に出願された米国出願第62/944,292号および2020年4月20日に出願された米国出願第63/012,885号の利益を主張し、これらの両方はそれらの全体が参照により本明細書に組み込まれる。

患者由来腫瘍オルガノイド(TO)技術は、他にもあるがとりわけ結腸、乳房、膵臓、肝臓、肺、子宮内膜、前立腺、および食道胃を含む、多様な癌型の細胞モデルを作成するために使用されてきた。基礎研究の進展に加えて、近年では医薬品開発および精密医療研究にもTOが採用されてきている。

腫瘍オルガノイドは、癌増殖をモデル化し、癌増殖を止めるための異なる療法の有効性を評価するために使用することができる。様々な抗癌剤の投与前、投与中、投与後の腫瘍オルガノイドの増殖を監視するために、腫瘍オルガノイドは撮像され、それにより、細胞培養プレート内の細胞死および/または生存細胞を検出することができる。

死細胞または生存細胞を検出するためのいくつかの方法は、蛍光顕微鏡法によって検出され得る、蛍光信号の使用を含むことができる。蛍光色素は、細胞内のいくつかの特徴を強調表示するために、および/またはその特徴を検出しやすくするために腫瘍オルガノイドに施され得る。次いで、細胞は、蛍光顕微鏡法などの技術を使用して撮像され得る。しかし、蛍光顕微鏡法は非常に時間がかかり、使用される蛍光色素は細胞に対して毒性を有し得るので、観察された細胞死の量が増えたように見える可能性があり、これが試験中の抗癌療法に起因するものであると誤解されることがある。

したがって、蛍光色素および/または蛍光顕微鏡法を使用せずに腫瘍オルガノイド画像を自動的に解析することが当技術分野において必要とされている。

本明細書において開示されるのは、腫瘍オルガノイド画像を自動的に解析する上で有用なシステム、方法、および機構である。特に、本開示は、腫瘍オルガノイドの生の明視野画像のみを使用して、蛍光染色技術を近似する腫瘍オルガノイドの画像を生成するためのシステム、方法、および機構を提供する。

開示されている主題のいくつかの実施形態によれば、腫瘍オルガノイド群の中に含まれる細胞が生きているかまたは死んでいるかを示す、腫瘍オルガノイド群の人工蛍光画像を生成する方法が提供される。本方法は、明視野画像を受け取ることと、明視野画像を訓練済みモデルに提供することと、訓練済みモデルから人工蛍光画像を受け取ることと、人工蛍光画像をメモリまたはディスプレイのうちの少なくとも1つに出力することとを含む。

いくつかの実施形態において、本方法は、明視野画像を人工画像に連結して連結画像を生成することと、連結画像に基づき生存率値(viability value)を生成することをさらに含むことができる。

いくつかの実施形態において、腫瘍オルガノイド群は、結腸直腸癌、胃癌、乳癌、肺癌、子宮内膜癌、結腸癌、頭頸部癌、卵巣癌、膵臓癌、胃癌、肝胆道癌、または泌尿生殖器癌と関連付けられ得る。

いくつかの実施形態において、訓練済みモデルは、人工ニューラルネットワークを含み得る。

いくつかの実施形態において、人工ニューラルネットワークは、敵対的生成ネットワーク(GAN)を含むことができる。

いくつかの実施形態において、訓練済みモデルは、構造的類似性指数(SSIM)を含む損失関数に基づき訓練され得る。

いくつかの実施形態において、訓練済みモデルは、識別器損失を含む損失関数に基づき訓練され得る。

いくつかの実施形態において、訓練済みモデルは、生成器損失および識別器損失を含む損失関数に基づき訓練され得る。

いくつかの実施形態において、方法は、コントラストレベルを高めるように明視野画像を前処理することをさらに含むことができる。

いくつかの実施形態において、前処理は、明視野画像を符号なしバイト形式に変換することと、明視野画像に含まれる各ピクセル強度を[0～255]の所望の出力範囲に伸張しクリッピングすることとを含むものとしてよく、伸張することは、明視野画像内のピクセル強度の第2および第98パーセンタイルを所望の出力範囲に均一に伸張することを含む。

いくつかの実施形態において、訓練済みモデルは、生成器を含むことができ、生成器は一部、識別器によって訓練される。

いくつかの実施形態において、方法は、訓練済みモデルを訓練するために使用される訓練データに含まれる明視野画像および蛍光画像を前処理することをさらに含むことができる。

いくつかの実施形態において、腫瘍オルガノイド群は、少なくとも300個のウェルを含むウェルプレート上に蒔かれ得る。

いくつかの実施形態において、人工蛍光画像を出力することは、腫瘍オルガノイド群を治療するために使用される薬物の有効性を決定するための薬物スクリーニングプロセスに人工蛍光画像を出力することを含むことができる。

いくつかの実施形態において、方法は、第2の明視野画像を訓練済みモデルに提供することと、訓練済みモデルから第2の人工蛍光画像を受け取ることとをさらに含むことができる。

いくつかの実施形態において、第2の明視野画像は、第2の腫瘍オルガノイド群を含むことができ、第2の人工蛍光画像は、第2の腫瘍オルガノイド群に含まれる細胞が生きているか、または死んでいるかを示すことができる。

いくつかの実施形態において、第2の明視野画像は、腫瘍オルガノイド群のビューを含むことができ、第2の明視野画像は明視野画像が生成された後の所定の期間に生成され、第2の人工蛍光画像は、腫瘍オルガノイド群に含まれる細胞が生きているか、または死んでいるかを示すことができる。

いくつかの実施形態において、所定の期間は、少なくとも12時間とすることができる。

いくつかの実施形態において、所定の期間は、少なくとも24時間とすることができる。

いくつかの実施形態において、所定の期間は、少なくとも72時間とすることができる。

いくつかの実施形態において、所定の期間は、1週間とすることができる。

開示されている主題のいくつかの実施形態によれば、少なくとも1つのプロセッサおよび少なくとも1つのメモリを備える腫瘍オルガノイド分析システムが、本開示によって提供される。システムは、腫瘍オルガノイド群の明視野画像を受け取り、明視野画像を訓練済みモデルに提供し、腫瘍オルガノイド群に含まれる細胞が生きているか、または死んでいるかを示す人工蛍光画像を訓練済みモデルから受け取り、人工蛍光画像をメモリまたはディスプレイの少なくとも1つに出力するよう構成される。

腫瘍オルガノイド画像を自動的に解析するためのシステムの一例を示す図である。 システムのいくつかの実施形態において使用され得るハードウェアの一例を示す図である。 腫瘍標本から増殖された患者由来オルガノイドを使用して、明視野画像および/または蛍光画像、さらには生/死アッセイ読み出し値を生成することができる例示的なフローを示す図である。 オルガノイド細胞の入力明視野画像に基づき人工蛍光画像を生成するように生成器を訓練するための例示的なフローを示す図である。 人工蛍光画像を生成するための例示的なフローを示す図である。 例示的なニューラルネットワークを示す図である。 例示的な識別器を示す図である。 入力明視野画像に基づき1つまたは複数のオルガノイドの人工蛍光染色画像を生成するようにモデルを訓練することができる例示的なプロセスを示す図である。 明視野画像に基づき1つまたは複数のオルガノイドの人工蛍光画像を生成することができる例示的なプロセスを示す図である。 前処理の前後の例示的な生画像を示す図である。 腫瘍オルガノイドを培養するための例示的なフローを示す図である。患者由来腫瘍オルガノイドの培養である。 本明細書において説明されているシステムおよび方法による薬物スクリーンを実施するための例示的なフローを示す図である。 少なくとも1つのオルガノイドに対する複数の時点における人工蛍光画像を生成することができる例示的なプロセスを示す図である。 例示的なアッセイまたはウェルプレート配置構成を表すテーブルを示す図である。 単一ニューラルネットワークモデルおよび3ニューラルネットワークモデルを使用して生成される画像の一例を示す図である。 第1の訓練済みモデルおよび第2の訓練済みモデルを使用して人工蛍光画像を生成するためのフローを示す図である。 腫瘍オルガノイドの蛍光画像を生成するためのプロセスを示す図である。 明視野画像に基づき生存率を予測するためのフローを示す図である。 例示的な生成器および例示的な識別器を示す図である。 明視野画像および人工蛍光画像に基づき生存率予測を生成することができる識別器を示す図である。 生存率値を生成するためのプロセスを示す図である。

次に、本開示の様々な態様は、添付図面を参照しつつ説明される。しかしながら、図面およびそれに関係する以下の詳細な説明は、請求された主題を開示された特定の形態に限定することを意図していないことは理解されるべきである。むしろ、本発明は、請求された主題の精神および範囲内に収まるすべての修正形態、等価形態、および代替的形態を対象とする。

以下の詳細な説明では、その一部をなす、本開示が実践され得る特定の実施形態が、図解を用いて示されている、添付図面が参照される。これらの実施形態は、当業者が本開示を実施することを可能にするために十分に詳しく説明されている。しかしながら、詳細な説明および特定の例は、本開示の実施形態の例を示しているが、例証としてのみ、また限定することなく与えられていることは理解されるであろう。本開示から、本開示の範囲内の様々な置換、修正、追加、再配置構成、またはそれらの組み合わせがなされ得、これは当業者には明らかになるであろう。

一般的な慣行に従って、図面に例示されている様々な特徴は、縮尺通りに描かれていない場合がある。本明細書に提示されている図解は、任意の特定の方法、デバイス、またはシステムの実際の図であることを意図しておらず、本開示の様々な実施形態を説明するために採用されている単なる理想化された表現である。したがって、明確にするために、様々な特徴の寸法は任意に拡大または縮小されていることがある。それに加えて、図面のいくつかは、わかりやすくするために簡略化され得る。したがって、図面は、所与の装置(たとえば、デバイス)または方法のすべてのコンポーネントを描いていない場合がある。それに加えて、同様の参照番号は、本明細書および図面全体を通して同様の特徴を表すために使用され得る。

本明細書において説明されている情報および信号は、様々な異なる技術と技法とを使用して表され得る。たとえば、上の説明全体を通して参照されていると思われるデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁場もしくは磁気粒子、光場もしくは光粒子、またはこれらの組み合わせにより表すことができる。いくつかの図面は、提示および説明を明確にするために、信号を単一の信号として例示することがある。信号は信号のバスを表し、バスは様々なビット幅を有し、本開示は単一のデータ信号を含む任意の数のデータ信号に関して実施され得ることは当業者によって理解されるであろう。

本明細書で開示される実施形態に関して説明される、様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムの動きは、電子ハードウェア、コンピュータソフトウェア、または両方の組み合わせとして実装され得る。ハードウェアおよびソフトウェアのこの互換性を明確に説明するために、様々な例示的な構成要素、ブロック、モジュール、回路、および動きが、それらの機能の観点から一般的に説明される。そのような機能がハードウェアまたはソフトウェアのどちらとして実施されるのかは、システム全体に課される特定の用途および設計制約に依存する。当業者は、説明した機能を具体的な用途毎に様々な方法で実装し得るが、そのような実装の決定は、本明細書において説明されている開示の実施形態の範囲からの逸脱を生じるものと解釈すべきではない。

それに加えて、実施形態は、フローチャート、フローダイアグラム、構造図、またはブロック図として表されているプロセスに関して説明され得ることに留意されたい。フローチャートは、動作動きを逐次プロセスとして記述している場合があるが、これらの動きの多くは、別の順序で、並行して、または実質的に同時に実行され得る。それに加えて、動きの順番は並べ替えられ得る。プロセスは、メソッド、関数、プロシージャ、サブルーチン、サブプログラムなどに対応し得る。さらに、本明細書において開示されている方法は、ハードウェア、ソフトウェア、またはその両方で実装され得る。ソフトウェアで実装される場合、これらの関数は、コンピュータ可読媒体において1つまたは複数の命令もしくはコードとして記憶されるか、伝送され得る。コンピュータ可読媒体は、一方の場所から別の場所へのコンピュータプログラムの転送を容易にする媒体を含むコンピュータ記憶媒体と通信媒体の両方を含む。

本明細書において、「第1」、「第2」などの指定を用いて要素に言及することは、そのような制限が明示的に記載されていない限り、それらの要素の量または順序を制限しないことを理解されたい。むしろ、これらの指定は、2つもしくはそれ以上の要素または要素のインスタンスを区別する便宜上の方法として本明細書において使用され得る。そのため、第1および第2の要素への参照は、2つの要素のみがそこで使用され得ること、または第1の要素が何らかの形で第2の要素の前に来なければならないことを意味しない。また、断りのない限り、要素のセットは、1つまたは複数の要素を含み得る。

本明細書において使用されているように、「コンポーネント」、「システム」、および同様の用語は、コンピュータ関係のエンティティ、すなわち、ハードウェア、ハードウェアとソフトウェアの組み合わせ、ソフトウェア、または実行中のソフトウェアのいずれかを指すことを意図されている。たとえば、コンポーネントは、限定はしないが、プロセッサ上で実行されているプロセス、プロセッサ、オブジェクト、実行可能ファイル、実行のスレッド、プログラム、および/またはコンピュータであるものとしてよい。たとえば、コンピュータ上で実行しているアプリケーションおよびコンピュータは両方ともコンポーネントであってよい。1つまたは複数のコンポーネントは、1つのプロセスおよび/または実行スレッド内に常駐してよく、またコンポーネントは、1つのコンピュータにローカルとして配置され、および/または2つもしくはそれ以上のコンピュータもしくはプロセッサ間に分散されることも可能である。

「例示的な」という言い回しは、本明細書では、「一例、事例、または例示として使用する」ことを意味するために使用される。「例示的」として本明細書に記載されたあらゆる態様または設計は必ずしも、他の態様または設計より好ましいもしくはこれを凌ぐものであるとして解釈されるべきではない。

さらに、開示されている主題は、標準的プログラミングおよび/またはエンジニアリング技術を使用してソフトウェア、ファームウェア、ハードウェア、またはこれらの任意の組み合わせを作り出しコンピュータもしくはプロセッサベースのデバイスを制御して本明細書において詳述されている態様を実装するシステム、方法、装置、または製造品として実装され得る。本明細書で使用されているような「製造品」(または代替的に、「コンピュータプログラム製品」)という用語は、任意のコンピュータ可読デバイス、担体、または媒体からアクセス可能なコンピュータプログラムを包含することを意図されている。たとえば、コンピュータ可読媒体は、限定はしないが、磁気記憶装置デバイス(たとえば、ハードディスク、フロッピーディスク、磁気ストリップ、など)、光ディスク(たとえば、コンパクトディスク(CD)、デジタル多目的ディスク(DVD)、など)、スマートカード、およびフラッシュメモリデバイス(たとえば、カード、スティック)を含み得る。

それに加えて、搬送波は、電子メールの送受信、またはインターネットもしくはローカルエリアネットワーク(LAN)などのネットワークへのアクセスに使用されるものなど、コンピュータ可読電子データを搬送するために採用され得ることは、理解されるべきである。もちろん、当業者は、請求されている主題の範囲または精神から逸脱することなくこの構成に多くの修正が加えられ得ることを理解するであろう。

本明細書で使用されているような、「生物学的標本」、「患者サンプル」および「サンプル」という用語は、患者から採取された標本を指す。そのようなサンプルは、限定はしないが、腫瘍、生検、腫瘍オルガノイド、他の組織、および体液を含む。好適な体液は、たとえば、血液、血清、血漿、痰、洗浄液、脳脊髄液、尿、精液、汗、涙、唾液、および同様のものを含む。サンプルは、たとえば、生検、綿棒、または塗抹を介して採取されてもよい。

「抽出された」、「回収された」、「隔離された」、および「分離された」という言い回しは、自然に関連付けられ、自然界に見つけられている少なくとも1つの成分から取り出された化合物(たとえば、タンパク質、細胞、核酸、またはアミノ酸)を指す。

本明細書中の「濃縮される」または「濃縮」という言い回しは、サンプルに含まれる核酸を増幅するプロセスを指す。濃縮は、配列特異的または非特異的(すなわち、サンプル中に存在する核酸のいずれかを伴う)であり得る。

本明細書において使用されているような「癌」は、たとえば、リンパ系および/または血流を介するなど、ヒトもしくは動物の身体またはその一部を通して浸潤性増殖および転移することができるものを含む、広範な良性もしくは悪性腫瘍のうちの任意の1つまたは複数を意味すると見なされるものとする。本明細書において使用されているような、「腫瘍」という用語は、良性および悪性の両方の腫瘍および充実性増殖を含む。典型的な癌は、限定はしないが、たとえば、卵巣癌、結腸癌、乳癌、膵臓癌、肺癌、前立腺癌、尿路癌、子宮癌、急性リンパ性白血病、ホジキン病、小細胞肺癌、黒色腫、神経芽腫、神経膠腫、およびヒトの軟組織肉腫などの癌腫、リンパ腫、または肉腫を含む。

蛍光顕微鏡検査法は、サンプル中の特定の分子の存在を検出するために一般的に使用される。たとえば、細胞生物学において、蛍光顕微鏡検査法は、特定の細胞成分(たとえば、オルガネラ)を強調表示するか、または特定の細胞状態(たとえば、アポトーシス、分化、または細胞シグナル伝達経路の活性化)を示す分子マーカーを検出するために使用できる。しかしながら、蛍光顕微鏡検査法の利用を制限するいくつかの欠点がある。第1に、この技術の使用は、透過型光学顕微鏡法と比較して、時間、労力、試薬(たとえば、染色剤)を増やすことを必要とし、ハイスループットスクリーニングプロセスにおけるコストボトルネックとなる。第2に、いくつかの蛍光色素は細胞に対して毒性を有し、いくつかの実験の結果(たとえば、細胞死の定量化)に偏りを生じさせる可能性がある。さらに、これらの色素による損傷を受けた細胞は、もはや進行中の実験に使用することができないので、複数の時点において細胞をアッセイすることを伴う実験に対して、より多くの細胞が必要になる。第3に、蛍光顕微鏡検査法を使用してサンプルを観察できる時間は、光を照射されたときに蛍光体が蛍光を発する能力を失うプロセスである、光退色によって制限される。

幸いなことに、透過型光学顕微鏡法に基づく方法は、使用が比較的高速で、安価であり、複数の時点において同じ生体サンプルの複数の画像をキャプチャできるので、これらの問題を大部分回避する。「透過型光学顕微鏡法」という用語は、光が光源からレンズの反対側へ通る任意のタイプの顕微鏡法を指すために使用される。これらの方法のうちの最も単純なのは、明視野顕微鏡法であり、サンプルは下から白色光を照射され、上から透過光が観察される。標準的な明視野顕微鏡法の使用は、低いコントラストを有する生体サンプルに対しては幾分制限される。たとえば、染色液を使用しない場合、細胞膜および核が明視野画像内で識別可能である哺乳類細胞の唯一の特徴である。幸いなことに、標準的な明視野顕微鏡法に光学アクセサリを追加することで、画像のコントラストを劇的に向上させることができ、サンプルを殺し、固定し、染色する必要がなくなる。1つの非常に単純なコントラスト増強方法は、暗視野顕微鏡法であり、これは対物レンズで集光されない光をサンプルに照射することによって動作する。より詳細な情報が必要なアプリケーションについては、位相差顕微鏡法および微分干渉顕微鏡法が採用されてよい。これらの補完技術は、透明な生体サンプルの高コントラスト画像を、光学系を使用してサンプル内の密度または厚さの変化を最終画像のコントラストの差に変換することによって生成する。重要なのは、これらの技術が、核、リボソーム、ミトコンドリア、膜、紡錘体、分裂装置、核小体、染色体、ゴルジ装置、小胞、飲小胞、脂質滴、細胞質顆粒などの、小さな細胞構造を明らかにするために使用できることである。明視野顕微鏡法は、偏光で増強することもでき、これは屈折率の異なる物質(すなわち、複屈折サンプル)を含むサンプル内にコントラストを生じさせる。暗視野顕微鏡法、位相差顕微鏡法、微分干渉顕微鏡法は、生きている染色されていない生体サンプルを撮像するのに適しているが、偏光顕微鏡法は、岩石、鉱物、および金属の構造ならびに組成を調べるのに適している。特に、これらのコントラスト増強法のいずれかが、共焦点顕微鏡法および光シート顕微鏡法などの、光学的切片化技術と組み合わされてよく、これは、より厚いサンプル(たとえば、厚い組織、小さな生物)奥深くの焦点面の明確な画像を生成し、サンプルを物理的に切片化する(たとえば、ミクロトームを使用して)必要性を低減するか、またはなくす。

本出願において、本発明者らは、蛍光顕微鏡検査法を使用して一般的に検出されるいくつかの細胞状態が、透過型光学顕微鏡によって生成される画像中の微妙な形態学的特徴としても現れることを実証する。これらの画像中で、そのような特徴は、人間の目だけを使用して識別することが困難であるかまたは不可能であり得るが、本発明者らは、それらの識別が訓練済みモデルを使用して自動化され得ることを示している。例では、訓練済みモデルが、明視野画像のみを入力として使用し、サンプル中の生細胞および死細胞のパーセンテージ(すなわち、カスパーゼ-3/7およびTO-PRO-3染色法などの、蛍光染色法を使用して典型的には決定されるであろう値)を予測するために称される。次いで、これらの可視化方法は、患者腫瘍サンプルから生成された腫瘍オルガノイド内の癌細胞を殺す薬物のハイスループットスクリーニングにおいて使用される。

しかしながら、本明細書において開示されている方法およびシステムは、このような単一の用途に制限されない。透過型光学顕微鏡画像中に存在する微妙な形態学的特徴を、注目する細胞状態に関連付ける能力は、多くの多様な研究分野にまたがる無数のアプリケーションにおいて有用である。いくつかの例示的な、非限定的なアプリケーションが、以下で説明される。

第1に、本明細書において開示されているシステムおよび方法は、生物学の分野において明確な有用性を有しており、開示されているシステムおよび方法は、個々の細胞(たとえば、植物細胞、動物細胞)から組織スライス(たとえば、生検)、小さな生物(たとえば、原生動物、細菌、菌類、胚、線虫、昆虫)に至る様々なサンプルを特徴付けるために使用できる。重要なことは、細胞毒性染色液の使用を回避することによって、開示されているシステムおよび方法は、同じサンプルを数日またはさらには数週間の時間的経過にわたって繰り返し撮像されることを可能にすることである。サンプルの画像は透過型光学顕微鏡法を使用してキャプチャされ、訓練済みシステムは、形態学的特徴(たとえば、細胞の体積、直径、形状、およびトポグラフィー)を利用して、特定の細胞状態を有する細胞を識別する。たとえば、細胞を種類別に区別するようにシステムを訓練することによって、サンプル中に存在する特定の細胞種類の数または濃度を推定することができるか、または生細胞と死細胞とを区別するようにシステムを訓練することで細胞生存率を評価することができる。また、訓練済みシステムは、増殖、分化、アポトーシス、壊死、運動性、遊走、細胞骨格動態、細胞-細胞間および細胞-基質間粘着、シグナル伝達、極性、および小胞輸送などの挙動に基づき細胞を特徴付けるために使用することもできる。たとえば、本明細書において開示されているシステムおよび方法は、その独自の形態(たとえば、アポトーシスにおける収縮と壊死における膨張)に基づき、細胞死の異なる形態を区別するために使用され得る。当然のことながら、これらのシステムおよび方法は、培養条件から生物学的プロセスに対する宇宙環境の効果に至る、任意の実験的操作に対する細胞の反応を監視するためにも使用され得る。したがって、開示されているシステムおよび方法は、非常に効率的なプラットフォームを使用して生物学の無数の側面を調査する手段を提供する。細胞、組織、または生物は、未処理の(たとえば、染色、固定などの処置を受けない)ままでもよいが、本明細書において開示されているシステムおよび方法は、染色、固定、または他の何らかの方法で処置されたサンプルを撮像するのにも有用である。たとえば、限定はしないが、免疫組織化学的に染色された、ヘマトキシリンおよびエオシン染色された、などの組織または細胞が、本明細書において開示されているシステムおよび方法に従って撮像され得る。

第2に、本開示のシステムおよび方法は、新規および改善された治療法の開発に有用である。たとえば、開示されているシステムおよび方法は、実施例において説明されているように、ハイスループット薬物スクリーニングにおいて潜在的な薬物に対する細胞の反応を監視するために使用され得る。それに加えて、開示されているシステムおよび方法は、発生および幹細胞の指向性分化の両方において、細胞の分化状態を監視するために使用され得る。幹細胞は、患者に直接注入すること、または生体外で置換細胞に分化させることのいずれかによって、疾病または負傷によって損傷を受けた組織を修復するために使用され得る。たとえば、幹細胞は、特定の血液細胞種類に分化し、それによりドナーフリーの輸血に使用され得る。他の有望な幹細胞ベースの療法は、血液癌患者の骨髄細胞、脊髄損傷、脳卒中、アルツハイマー病、またはパーキンソン病によって損傷した神経細胞、関節炎によって損傷した軟骨、重度の火傷で損傷した皮膚、1型糖尿病によって破壊された膵島細胞の置換を含む。また、幹細胞は、特定の細胞種類、組織、3D組織モデル、または薬物スクリーニングに使用するオルガノイドを生成するためにも使用できる。細胞分化状態を監視することができる訓練済みシステムを使用すれば、これらの幹細胞ベースの製品のいずれかをより効率的に作り出すことが可能になるであろう。

第3に、本開示のシステムおよび方法は、病状の診断に有用である。たとえば、本明細書において開示されているシステムおよび方法は、疾病または病状を示す患者サンプル中の特定の細胞種類の存在、たとえば、腫瘍細胞、尿または大便中の血液、膣排泄物中の糸玉状細胞、または炎症性細胞浸潤を素早く、効率的に、および正確に検出するために使用することができる。たとえば、組織サンプル(たとえば、生検)の画像で訓練されたシステムは、良性癌細胞、非侵入性癌細胞、および侵入性癌細胞を区別するために使用できる形態学的特徴を検出する。それに加えて、そのようなシステムは、患者サンプル中の微生物および寄生生物を識別するために使用されてよく、細菌(たとえば、結核、尿路感染、破傷風、ライム病、淋病、梅毒)、菌類(たとえば、鵝口瘡、イースト菌感染症、白癬)、および寄生生物(たとえば、マラリア、睡眠病、鉤虫病、疥癬)によって引き起こされる感染症を含む広範な感染症の診断を可能にする。そのような方法は、ある病状が様々な微生物によって引き起こされ得る場合(たとえば、角膜の感染性角膜炎)の原因病原体を識別するために特に有用であり得る。

第4に、本明細書において開示されているシステムおよび方法は、土壌、作物、および水などの環境的サンプル中の生物を識別するために使用することができる。このアプリケーションは、たとえば、生物の数および多様性に基づく生態系の健全性を評価するための環境科学と、たとえば、健康リスクをもたらす汚染物質の拡散の追跡のための疫学の両方で利用され得る。

第5に、本明細書において開示されているシステムおよび方法は、粘土、脂肪、油、石鹸、塗料、顔料、食品、薬物、ガラス、ラテックス、ポリマーブレンド、布地および他の繊維、化学化合物、結晶、岩石および鉱物などの、多種多様な材料を評価するために使用することができる。そのような材料が顕微鏡法を使用して分析されるアプリケーションは、多様な分野にわたって見つかる。産業界では、本明細書において開示されているシステムおよび方法は、商業製品および建築材料の故障解析、設計検証、および品質管理において使用され得る。たとえば、本明細書において開示されているシステムおよび方法は、腕時計および航空エンジンなど、高い精度を必要とする機械の部品の欠陥または破断を検出するために使用することができる。コンピュータサイエンスでは、本明細書において開示されているシステムおよび方法は、集積回路および半導体の検査に使用することができる。考古学および科学捜査の両分野では、本明細書において開示されているシステムおよび方法は、未知の材料を識別し、アーチファクト/エビデンスの摩耗パターンを調べるために使用することができる。地質学では、本明細書において開示されているシステムおよび方法は、岩石および鉱物の組成を決定し、それらがどのように形成されたかに関するエビデンスを明らかにするために使用することができる。農業分野では、本明細書において開示されているシステムおよび方法は、土壌の健全性を示す微生物指標を検出し、種子や穀物を検査してその純度、品質、および発芽能力を評価するために使用することができる。食品科学では、本明細書において開示されているシステムおよび方法は、動物細胞から体外培養した肉を作り出すために使用することができる。

本出願は、制癌剤のスクリーニングにおいて入力として明視野画像を使用する非限定的な例示的なシステムを提供する。典型的には、薬物反応は、生/死蛍光染色を使用する細胞生存率アッセイを介して測定されるが、これには、上で説明されている複数の欠点がある。明視野顕微鏡の使用は、これらの問題をほぼ回避するが、明視野画像だけから生/死細胞を可視化し、定量化することは、容易には行えず、腫瘍オルガノイドの費用効率の高いハイスループットスクリーニングに対する著しい障害である。本明細書において説明されているいくつかのシステムおよび方法は、明視野画像のみを使用して生成することができる人工蛍光画像を提供する。

いくつかの実施形態において、細胞または細胞群(たとえば、培養中の細胞)の人工画像を生成する方法が提供される。いくつかの実施形態において、生成された画像は、細胞が特定の細胞状態または細胞識別情報(たとえば、死、疾病、分化、細菌株など)を示す1つまたは複数の特性を含んでいるかどうかを示す。いくつかの実施形態において、方法は、明視野画像を受け取ることと、明視野画像を訓練済みモデルに提供することと、訓練済みモデルから人工蛍光画像を受け取ることと、人工蛍光画像をメモリまたはディスプレイのうちの少なくとも一方に出力することとを含む。いくつかの実施形態において、細胞は、哺乳類細胞、植物細胞、真核細胞、または細菌性細胞である。いくつかの実施形態において、細胞状態または細胞識別情報を示す特性は、細胞の1つまたは複数の区別する物理的、構造的特徴を含み、これらの特徴は、明視野顕微鏡によって識別可能である。たとえば、非限定的な特徴は、サイズ、形態、細胞内の構造、染色値、細胞表面上の構造などを含む。

薬物スクリーニング
薬物反応データをターゲット別に分析することで、重要な経路/変異を識別し得る。オルガノイドにおいて細胞死を引き起こす薬物について、それらの薬物の標的が重要であり得る。したがって、これらの標的を調節する追加の薬物を発見し、および/または開発するのが望ましい。重要な細胞経路および/または変異は、オルガノイドの癌型に特異的である可能性がある。たとえば、CDK阻害剤が結腸直腸癌(CRC)腫瘍オルガノイド細胞を特異的に殺す場合、CDKはCRCにおいて特に重要であり得る。

図1は、腫瘍オルガノイド画像を自動的に解析するためのシステム100の一例を示している。いくつかの実施形態において、システム100は、コンピューティングデバイス104、二次コンピューティングデバイス108、および/またはディスプレイ116を備えることができる。いくつかの実施形態において、システム100は、オルガノイド画像データベース120、訓練データデータベース124、および/または訓練済みモデルデータベース128を備えることができる。いくつかの実施形態において、訓練済みモデルデータベース128は、人工ニューラルネットワークなどの1つまたは複数の訓練済み機械学習モデルを含むことができる。いくつかの実施形態において、コンピューティングデバイス104は、通信ネットワーク112上で、二次コンピューティングデバイス108、ディスプレイ116、オルガノイド画像データベース120、訓練データデータベース124、および/または訓練済みモデルデータベース128と通信することができる。図1に示されているように、コンピューティングデバイス104は、腫瘍オルガノイドの明視野画像などの腫瘍オルガノイド画像を受け取り、腫瘍オルガノイドの人工蛍光染色画像を生成することができる。いくつかの実施形態において、コンピューティングデバイス104は、オルガノイド画像解析アプリケーション132の少なくとも一部を実行して、人工蛍光染色画像を自動的に生成することができる。

オルガノイド画像解析アプリケーション132は、システム100に備えられ得る二次コンピューティングデバイス108、および/またはコンピューティングデバイス104に含まれ得る。コンピューティングデバイス104は、二次コンピューティングデバイス108と通信することができる。コンピューティングデバイス104および/または二次コンピューティングデバイス108は、また、通信ネットワーク112上で、システム100に備えられ得るディスプレイ116と通信し得る。

通信ネットワーク112は、コンピューティングデバイス104と二次コンピューティングデバイス108との間の通信を円滑にすることができる。いくつかの実施形態において、通信ネットワーク112は、任意の好適な通信ネットワークまたは通信ネットワークの組み合わせとすることができる。たとえば、通信ネットワーク112は、Wi-Fiネットワーク(1つまたは複数のワイヤレスルーター、1つまたは複数のスイッチなどを含むことができる)、ピアツーピアネットワーク(たとえば、Bluetoothネットワーク)、セルラーネットワーク(たとえば、CDMA、GSM、LTE、LTE Advanced、WiMAXなどの、任意の好適な規格に準拠する、3Gネットワーク、4Gネットワーク、5Gネットワークなど)、有線ネットワークなど、を含むことができる。いくつかの実施形態において、通信ネットワーク112は、ローカルエリアネットワーク、ワイドエリアネットワーク、公衆通信回線(たとえば、インターネット)、プライベートもしくはセミプライベートネットワーク(たとえば、企業もしくは大学イントラネット)、任意の他の好適なタイプのネットワーク、またはネットワークの任意の好適な組み合わせとすることができる。図1に示されている通信リンクは、各々、有線リンク、光ファイバーリンク、Wi-Fiリンク、Bluetoothリンク、セルラーリンクなどの、任意の好適な通信リンクまたは通信リンクの組み合わせとすることができる。

オルガノイド画像データベース120は、明視野画像などの、多数の腫瘍オルガノイド生画像を含むことができる。いくつかの実施形態において、明視野画像は、明視野顕微鏡撮像モダリティを使用して生成され得る。例示的な明視野画像は、以下で説明される。いくつかの実施形態において、オルガノイド画像データベース120は、オルガノイド画像解析アプリケーション132によって生成された人工蛍光染色画像を含むことができる。

訓練データデータベース124は、人工蛍光染色画像を生成するようにモデルを訓練するための多数の画像を含むことができる。いくつかの実施形態において、訓練データ画像データベース124は、明視野生画像および対応する3チャネル蛍光染色画像を含むことができる。訓練済みモデルデータベース128は、腫瘍オルガノイドの明視野生画像を受け取り、人工蛍光染色画像を出力することができる多数の訓練済みモデルを含むことができる。いくつかの実施形態において、訓練済みモデル136は、コンピューティングデバイス104に記憶され得る。

図2は、システム100のいくつかの実施形態において使用され得るハードウェアの一例200を示している。コンピューティングデバイス104は、プロセッサ204、ディスプレイ208、入力212、通信システム216、およびメモリ220を備えることができる。プロセッサ204は、以下に説明されているプロセスを含むことができる、プログラムを実行することができる、中央演算処理装置(「CPU」)、グラフィックスプロセッシングユニット(「GPU」)などの、任意の好適なハードウェアプロセッサまたはプロセッサの組み合わせとすることができる。

いくつかの実施形態において、ディスプレイ208は、グラフィカルユーザインターフェースを提示することができる。いくつかの実施形態において、ディスプレイ208は、コンピュータモニタ、タッチスクリーン、テレビなどの任意の好適なディスプレイデバイスを使用して実装することができる。いくつかの実施形態において、コンピューティングデバイス104の入力212は、インジケータ、センサー、作動可能ボタン、キーボード、マウス、グラフィカルユーザインターフェース、タッチスクリーンディスプレイなどを含むことができる。

いくつかの実施形態において、通信システム216は、任意の好適な通信ネットワーク上で、他のシステムと通信するための任意の好適なハードウェア、ファームウェア、および/またはソフトウェアを備えることができる。たとえば、通信システム216は、1つまたは複数のトランシーバ、1つまたは複数の通信チップおよび/またはチップセットなどを含むことができる。より具体的な例では、通信システム216は、同軸接続、光ファイバー接続、イーサネット接続、USB接続、Wi-Fi接続、Bluetooth接続、セルラー接続などを確立するために使用できるハードウェア、ファームウェア、および/またはソフトウェアを含むことができる。いくつかの実施形態において、通信システム216は、コンピューティングデバイス104が二次コンピューティングデバイス108と通信することを可能にする。

いくつかの実施形態において、メモリ220は、たとえば、ディスプレイ208を使用してコンテンツを提示する、通信システム216を介して二次コンピューティングデバイス108と通信する、などのためにプロセッサ204によって使用され得る命令、値などを記憶するために使用され得る任意の好適な1つまたは複数の記憶装置デバイスを含むことができる。メモリ220は、任意の好適な揮発性メモリ、不揮発性メモリ、記憶装置、またはそれらの任意の好適な組み合わせを含むことができる。たとえば、メモリ220は、RAM、ROM、EEPROM、1つまたは複数のフラッシュドライブ、1つまたは複数のハードディスク、1つまたは複数のソリッドステートドライブ、1つまたは複数の光学ドライブ、などを含むことができる。いくつかの実施形態において、メモリ220は、コンピューティングデバイス104(または二次コンピューティングデバイス108)の動作を制御するためのコンピュータプログラムをその上にエンコードしているものとしてよい。そのような実施形態では、プロセッサ204は、コンピュータプログラムの少なくとも一部を実行して、コンテンツ(たとえば、ユーザインターフェース、画像、グラフィックス、テーブル、レポートなど)を提示し、二次コンピューティングデバイス108からコンテンツを受信し、二次コンピューティングデバイス108に情報を伝送する、などを行うことができる。

二次コンピューティングデバイス108は、プロセッサ224、ディスプレイ228、入力232、通信システム236、およびメモリ240を備えることができる。プロセッサ224は、以下に説明されているプロセスを含むことができる、プログラムを実行することができる、中央演算処理装置(「CPU」)、グラフィックスプロセッシングユニット(「GPU」)などの、任意の好適なハードウェアプロセッサまたはプロセッサの組み合わせとすることができる。

いくつかの実施形態において、ディスプレイ228は、グラフィカルユーザインターフェースを提示することができる。いくつかの実施形態において、ディスプレイ228は、コンピュータモニタ、タッチスクリーン、テレビなどの任意の好適なディスプレイデバイスを使用して実装することができる。いくつかの実施形態において、二次コンピューティングデバイス108の入力232は、インジケータ、センサー、作動可能ボタン、キーボード、マウス、グラフィカルユーザインターフェース、タッチスクリーンディスプレイなどを含むことができる。

いくつかの実施形態において、通信システム236は、任意の好適な通信ネットワーク上で、他のシステムと通信するための任意の好適なハードウェア、ファームウェア、および/またはソフトウェアを備えることができる。たとえば、通信システム236は、1つまたは複数のトランシーバ、1つまたは複数の通信チップおよび/またはチップセットなどを含むことができる。より具体的な例では、通信システム236は、同軸接続、光ファイバー接続、イーサネット接続、USB接続、Wi-Fi接続、Bluetooth接続、セルラー接続などを確立するために使用できるハードウェア、ファームウェア、および/またはソフトウェアを含むことができる。いくつかの実施形態において、通信システム236は、二次コンピューティングデバイス108がコンピューティングデバイス104と通信することを可能にする。

いくつかの実施形態において、メモリ240は、たとえば、ディスプレイ228を使用してコンテンツを提示する、通信システム236を介してコンピューティングデバイス104と通信する、などのためにプロセッサ224によって使用され得る命令、値などを記憶するために使用され得る任意の好適な1つまたは複数の記憶装置デバイスを含むことができる。メモリ240は、任意の好適な揮発性メモリ、不揮発性メモリ、記憶装置、またはそれらの任意の好適な組み合わせを含むことができる。たとえば、メモリ240は、RAM、ROM、EEPROM、1つまたは複数のフラッシュドライブ、1つまたは複数のハードディスク、1つまたは複数のソリッドステートドライブ、1つまたは複数の光学ドライブ、などを含むことができる。いくつかの実施形態において、メモリ240は、二次コンピューティングデバイス108(またはコンピューティングデバイス104)の動作を制御するためのコンピュータプログラムをその上にエンコードしているものとしてよい。そのような実施形態では、プロセッサ224は、コンピュータプログラムの少なくとも一部を実行して、コンテンツ(たとえば、ユーザインターフェース、画像、グラフィックス、テーブル、レポートなど)を提示し、コンピューティングデバイス104からコンテンツを受信し、コンピューティングデバイス104に情報を伝送する、などを行うことができる。

ディスプレイ116は、コンピュータディスプレイ、テレビモニタ、プロジェクタ、または他の好適なディスプレイとすることができる。

図3は、腫瘍標本から増殖された患者由来オルガノイドを使用して、明視野画像および/または蛍光画像、さらには生/死アッセイ読み出し値を生成することができる例示的なフロー300を示している。いくつかの実施形態において、生/死アッセイ読み出し値は、明視野および多重化蛍光撮像法を使用して生成され得る。薬物反応は、生/死蛍光染色を使用して細胞生存率アッセイを介して測定され得る。いくつかの実施形態において、フロー300は、ハイスループット薬物スクリーニングシステムに含まれ得る。ハイスループット薬物スクリーニングの一例は、全体が参照により本明細書に組み込まれる2019年12月5日に出願した米国特許仮出願第62/944,292号、発明の名称「Large Scale Phenotypic Organoid Analysis」に記載されている。

フロー300は、ヒト患者304から腫瘍標本308を収穫することと、腫瘍標本308を使用してオルガノイドを培養312することと、オルガノイドを薬物スクリーニング316することと、オルガノイドを撮像320することと、オルガノイドの明視野および蛍光画像324を出力することとを含むことができる。オルガノイドが培養された後、オルガノイドからの細胞は、アッセイプレート(たとえば、96ウェルアッセイプレート、384ウェルアッセイプレート、など)に蒔かれ得る。アッセイプレートは、プレートとも称され得る。薬物スクリーニング316は、細胞を蒔くことと、多数の異なる薬物および/または濃度で細胞を処置することとを含み得る。たとえば、384ウェルプレートは、7つの異なる濃度で14種類の薬物を含むことができる。別の例として、96ウェルプレートは、5つの異なる濃度で6種類の薬物を含むことができる。撮像320は、処置された細胞を明視野撮像すること、さらには細胞の少なくとも一部に蛍光染色を施し、細胞を蛍光撮像することを含むことができる。いくつかの実施形態において、蛍光撮像は、各細胞について3チャネルのデータを生成することを含むことができる。データの3つのチャネルは、青色/全核チャネル、緑色/アポトーシスチャネル、および赤色/ピンク色/死チャネルを含むことができる。各チャネルは、蛍光画像を形成するために使用され得る。それに加えて、撮像320は、青色/全核チャネル、緑色/アポトーシスチャネル、および赤色/ピンク色/死チャネルを含む組み合わされた3チャネル蛍光画像を生成することができる。いくつかの実施形態において、撮像320は、明視野顕微鏡を使用して細胞の明視野画像を生成することと、共焦点レーザ走査型顕微鏡などの共焦点顕微鏡を使用して細胞の蛍光画像を生成することとを含むことができる。いくつかの実施形態では、蛍光画像を生成するために従来の蛍光染色を使用する代わりに、撮像320は、細胞の少なくとも一部に対する明視野画像を生成することと、以下で説明されるプロセス(たとえば、図9のプロセス)を使用して明視野画像に基づき細胞の一部に対する人工明視野画像を生成することとを含むことができる。

いくつかの実施形態において、薬物スクリーニングアッセイ中の細胞培養ウェルを描いている明視野画像(たとえば、2D明視野投影)は、顕微鏡の10X対物レンズを使用して生成することができる。いくつかの実施形態において、顕微鏡は、Molecular Devices社から入手可能なImageXPRESS顕微鏡であってよい。いくつかの実施形態において、細胞は、患者標本由来の癌細胞株または癌腫瘍オルガノイドとすることができる。

図4は、オルガノイド細胞の入力明視野画像404に基づき人工蛍光画像412を生成するように生成器408を訓練するための例示的なフロー400を示している。いくつかの実施形態において、生成器408は、U-Net畳み込みニューラルネットワークを含むことができる。いくつかの実施形態において、生成器408は、pix2pixモデルを含むことができる。いくつかの実施形態において、生成器408は、敵対的生成ネットワーク(GAN)であってよい。生成器408に含まれ得る例示的なニューラルネットワークは、図6に関連して以下で説明される。いくつかの実施形態において、生成器は、ニューラルネットワークを含むことができ、これは明視野画像404を受け取り、単一の3チャネル蛍光画像(たとえば、256×256×3画像)を出力することができる。いくつかの実施形態において、生成器は、3つのニューラルネットワークを含むことができ、これらは各々明視野画像404を受け取り、1チャネル蛍光画像(たとえば、256×256×1画像)を出力することができる。各々明視野画像404を受け取り、1チャネル蛍光画像を出力することができる3つのニューラルネットワークを含む生成器は、3モデル生成器と称され得る。ニューラルネットワークの各々は、特定のチャネルの蛍光を出力するように訓練することができる。たとえば、第1のニューラルネットワークは、青色/全核チャネル画像を出力することができ、第2のニューラルネットワークは、緑色/アポトーシスチャネル画像を出力することができ、第3のニューラルネットワークは、赤色/死チャネル画像を出力することができる。フロー400は、青色/全核チャネル画像、緑色/アポトーシスチャネル画像、および赤色/死チャネル画像を、単一の3チャネル蛍光画像(たとえば、256×256×3画像、1024×1024×3画像など)に組み合わせることを含むことができる。

フローは、明視野画像404、人工蛍光画像412、および明視野画像に関連付けられているグランドトゥルース蛍光画像424を、画像が本物であるか、または生成器408によって生成されたもの(たとえば、人工蛍光画像412)であるかどうかを予測できる識別器416に提供することを含むことができる。いくつかの実施形態において、生成器408は、画像を受け取り、0から1の範囲のラベルを出力することができ、0は画像が生成器408によって生成されたことを示し、1は画像が本物(たとえば、明視野画像404に関連付けられているグランドトゥルース蛍光画像424)であることを示す。いくつかの実施形態において、識別器416は、1×1PatchGAN識別器などの、PatchGAN識別器とすることができる。例示的な識別器は、図7と関連して以下で説明される。

フロー400は、目的関数値計算420を含むことができる。目的関数値計算420は、識別器416によって出力されたラベルに基づき、および/または明視野画像404、人工蛍光画像412、およびグランドトゥルース蛍光画像424に基づき計算される他のメトリックによって、目的関数値を計算することを含むことができる。目的関数値は、複数の損失関数(たとえば、複数の損失関数の加重和)をキャプチャすることができる。このように、目的関数値は、生成器408および識別器416のための全損失値として働き得る。フロー400は、生成器408および識別器416の両方を更新するために、識別器416から生成器408および識別器416に目的関数値ならびに/または他の情報を伝送することを含むことができる。多数の異なる好適な目的関数が、目的関数値を計算するために使用され得る。しかしながら、生成器408の一実施形態をテストする際に、総和GANLoss+0.83SSIM+0.17L1は、生成器408によって使用されるようなGANLoss+L1などの他のテストされる損失関数より性能が優れていることが示された。GANLossは、画像が本物であるか生成されたものであるかを決定するために使用することができる。L1損失は、生成された画像および実画像がGANLossに加えて最小平均絶対誤差を有することを確実にするために最小化される追加の目的として使用され得る。構造的類似性指数(SSIM)は、複数の性能メトリックにわたって性能を改善し、さらにはアーチファクトを低減するために使用することができる。目的関数値計算420が、以下で説明される。

フロー400は、明視野画像および対応するグランドトゥルース蛍光画像の多数の対を受け取ることと、画像の各対を使用して生成器408を反復的に訓練することとを含むことができる。

いくつかの実施形態において、フロー400は、明視野画像404およびグランドトゥルース蛍光画像424を前処理することを含むことができる。明視野生画像および蛍光画像は、生成器408を訓練するために使用される前に最低のコントラストを有し、増強を必要とすることがある。たとえば、テストの際に、蛍光画像の個別のチャネルに対するピクセル強度は、一般的にゼロに偏っており、これは、オルガノイドおよび/または細胞を含む領域を除き、画像の大部分が黒色(すなわち、背景)であるせいであった可能性がある。

いくつかの実施形態において、人工蛍光画像412は、生/死細胞のカウントを提供するために使用することができる。人工蛍光画像412のコントラストを増強し、人工蛍光画像412から生/死細胞をカウントする能力を改善するために、明視野画像404および対応するグランドトゥルース画像424の両方が、コントラスト増強を受け、オルガノイド/細胞を明るくし、鮮明にすることができる。

いくつかの実施形態において、複数の明視野画像および複数のグランドトゥルース蛍光画像がウェル毎に生成され得る。たとえば、96ウェルプレートについては、撮像されるウェル1つ当たり約9～16部位が存在し得る。

いくつかの実施形態において、明視野生画像およびグランドトゥルース蛍光画像は、[0, 2¹⁶]の範囲のピクセル強度を有することができる。最初に、オルガノイド画像解析アプリケーション132に含まれ得るコントラスト増強プロセスが、各画像を、[0, 255]の範囲の値により、符号なしバイト形式に変換することができる。次に、コントラスト増強プロセスは、各ピクセル強度を所望の出力範囲に伸長し、クリップすることができる。

いくつかの実施形態において、伸長されるべき入力画像の所望の強度範囲は、次のように画像毎に決定することができる。蛍光画像を生成するために使用される3つの蛍光体に対応する3つのピクセル強度について、入力範囲は、ピクセル強度分布のモードを下限値として、最大ピクセル強度の1/10を上限値として、再スケーリングすることができる。コントラスト増強プロセスは、過飽和ピクセルを回避し、細胞シグナルに焦点を当てるために上限値を選択することができる。コントラスト増強プロセスは、最小-最大ノルムを使用して、最小/最大範囲として機能する下限値および上限値に基づき各ピクセル強度を正規化し、次いで、各ピクセルに、出力範囲[0, 255]を乗算することができる。明視野画像404については、コントラスト増強プロセスは、ピクセル強度の第2および第98パーセンタイルを出力範囲[0, 255]に一様に伸長することによって入力範囲を決定することができる。

低信号を有する画像については、バックグラウンドノイズが出力範囲に含まれ得る。残存するバックグラウンドノイズを最小化するために、コントラスト増強プロセスは、赤色および緑色のチャネルでは2つの整数値によって、青色のチャネルでは3つの整数値によって、最小ピクセル値をクリップすることができ、強度範囲は平均してより広い。最大ピクセル値は、画像毎の強度範囲を維持するためにしかるべく高くすることができる。

いくつかの実施形態において、グランドトゥルース画像424は、核(Hoecsht)に対応する青色チャネル、アポトーシス細胞(Caspase)に対応する緑色チャネル、および死細胞(TO-PRO-3)に対応する赤色チャネルを含む1024×1024×3RGB画像であってよい。いくつかの実施形態において、フロー400はグランドトゥルース画像424を増強することを含み得る。いくつかの実施形態では、増強は、グランドトゥルース画像424内のオルガノイドおよび/または細胞を明るくし、鮮明にするために青色チャネル、緑色チャネル、および赤色チャネルをコントラスト増強することを含むことができる。いくつかの実施形態において、フローは、グランドトゥルース画像424中のピクセル強度をダウンコンバートすることができる(たとえば、16ビットピクセル強度を8ビット強度に変換する)。ピクセル強度を変換した後、フロー400は、ピクセル強度を、上限として最大ピクセル強度の1/10に再スケーリングすること、さらには赤色チャネルおよび緑色チャネルについては下限としてピクセル強度+2の整数値のモードに、また青色チャネルについては下限としてピクセル強度+3の整数値のモードへ再スケーリングすることを含むことができる。

いくつかの実施形態において、識別器416は、予測されたラベル(たとえば、「0」または「1」)を目的関数計算420に出力することができる。予測されたラベルは、人工蛍光画像412が偽物であるか本物であるかを示すことができる。いくつかの実施形態において、目的関数は、GANLoss、SSIM、およびL1の加重和として計算することができる。いくつかの実施形態において、GANLossは、識別器によって出力された予測ラベルに基づき計算され得る。GANLossは、人工蛍光画像412が本物であるか生成されたものであるかを決定するために使用することができる。いくつかの実施形態において、L1損失は、人工蛍光画像412および対応するグランドトゥルース画像に基づき計算され得る。L1損失は、人工蛍光画像412および対応するグランドトゥルース画像がGANLossに加えて最小の平均絶対誤差を有することを確実にするように最小化されるべき追加の目的として使用され得る。

pix2pixモデルなどのいくつかの機械学習モデルは、生成器を訓練する際にGANLossおよびL1損失のみを使用し得る。上述のように、目的関数計算420は、GANLossおよびL1損失に加えてSSIMメトリックを含むことができ、これは、GANLossおよびL1損失のみを使用して訓練された生成器と比較して生成器408の性能を改善することができる。

いくつかの実施形態において、目的関数計算で実装される目的関数は、

として定義することができ、
ここで、λ+β=1であり、L_L1は平均絶対誤差損失であり、1-L_SSIM(G)は、生成画像G(たとえば、蛍光画像412)と、対応するグランドトゥルース画像との間の構造的類似性指数損失である。いくつかの実施形態において、λは0.17とすることができ、βは0.83とすることができる。いくつかの実施形態では、λは0.1から0.3のうちから選択され、βは0.7から0.9のうちから選択され得る。

いくつかの実施形態において、SSIMは、2つの画像の輝度(l)、コントラスト(c)、および構造(s)を考慮に入れ、0と1との間のメトリックを計算することができ、1は2つの画像間の完全な一致を示し、

のように表され、
C₁、C₂、およびC₃は、
C₁=(K₁L)²、C₂=(K₂L)²、およびC₃=C₂/2 (5)
によって定義される小さな定数であり、
ここで、K₁、K₂は2つのスカラー定数であり、それらの値は1未満であり、Lはピクセル強度のダイナミックレンジである(すなわち、256)。SSIMは、式
SSIM(x,y)=[l(x,y)]^α・[c(x,y)]^β・[s(x,y)]^γ (6)

として計算することができ、
ここで、l、c、およびsは、固定ウィンドウサイズを使用して同じサイズの2つの画像の平均、分散、および共分散をそれぞれ使用して計算される。α、β、およびγは1に設定された定数である。構造的類似性に加えて、ピクセル強度の二乗差の合計である平均二乗誤差の平方根を使用してモデル予測も評価した。

いくつかの実施形態において、提案された損失関数は次のとおりであってよい。
DiscriminatorLoss=MSELoss{Real Prediction,1}+MSELoss{Generated Prediction,0}+MSELoss{Predicted Viability,Viability}
GeneratorLoss=MSELoss{Generated Prediction,1}+MAE{Generated Fluorescent,Real Fluorescent}+SSIM{Generated Fluorescent,Real Fluorescent}、
ここで、MSEは平均二乗誤差損失であり、MAEは平均絶対誤差であり、SSIMは構造的類似性指数である。RCAモデルは、学習率2e-3およびAdamオプティマイザーにより30エポックについて訓練された。解像度1024×1024の画像は、拡大率10Xにて撮像された。これらは、データ拡大ステップとして、ランダムにフリップされた。

いくつかの実施形態において、色素が細胞培養ウェルに添加された後、そのウェル内の細胞は、実験に使用し続けることはできず、したがってその後の時点でそのウェル内の細胞死を測定することが困難であるか、または不可能である。いくつかの実施形態において、フロー400は、人工蛍光画像を生成することを含むことができ、これは、蛍光画像を生成するために色素を利用することと比較して、撮像にかかる時間を10分の1に短縮することができる。標準的な蛍光撮像は、実行するのに最大1時間かかり得る。いくつかの実施形態において、フロー400は、患者由来腫瘍オルガノイドを組み込むことによって、制限されたバイオマスおよび腫瘍内クローン不均一性を有する腫瘍オルガノイド(TO)を独自に解釈する薬物スクリーニングプラットフォームと併せて使用することができる。このプラットフォームは、高含量蛍光共焦点画像解析をロバストな統計解析アプローチと結合したものであり、10^3個程度の少ない細胞からTOの生存率の数百個の離散的データ点を測定する。

図4さらには図5を参照すると、人工蛍光画像512を生成するための例示的なフロー500が図示されている。フロー500は、蒔かれた細胞の入力された明視野画像504を訓練済みモデル508に提供することを含むことができる。訓練済みモデル508は、フロー400を使用して訓練され得る、生成器408を含むことができる。訓練済みモデル508は、人工蛍光画像512を出力することができる。この蛍光画像512は、組織オルガノイド中の癌細胞に対する生/死アッセイ読み出し値を生成し、ならびに/または異なる薬物および/もしくは投与量の有効性を分析するために使用され得る。

特に、フロー500は、蛍光色素を使用せずに蛍光画像512を生成することができ、これは、蛍光色素の使用を必要とする従来の蛍光撮像プロセスと比較していくつかの利点を提供する。ある種の染料は細胞毒性を有し、撮像の前に一定の時間を加えられなければならない。それに加えて、ある種の色素が細胞培養ウェルに加えられた後、その後の時点でそのウェル内の細胞死を測定することが困難になるのでそのウェル内の細胞は、再撮像に引き続き使用することはできない。したがって、フロー500は従来の蛍光撮像のような時間依存性のない明視野撮像のみを必要とし得るので、フロー500は蛍光画像の生成の容易さを改善することができる。それに加えて、フロー500は、蛍光色素が細胞に塗布される必要がなく、またフロー500は細胞を撮像する前に蛍光色素が拡散するのを待たなくてよいので、蛍光画像が取得される速度を高めることができる。別の例として、フロー500は、複数の蛍光画像が多数の異なる時点において各細胞ウェルに対して生成されることを可能にすることができる。従来の蛍光撮像で使用される蛍光色素は、再撮像を妨げるほどの損傷を細胞に与えることがある。対照的に、フロー500は、数日、数週間、数ヶ月などの期間にわたって、複数の蛍光画像を生成するために使用できる。したがって、フロー500は、従来の蛍光撮像よりも1セルウェル当たりより多くのデータ点をもたらすことができる。

いくつかの実施形態において、単一の訓練済みモデル(たとえば、訓練済みモデル508)は、各々が異なる癌型を有する6個またはそれ以上のオルガノイド細胞株のうちの1つに関連付けられている明視野画像および対応する蛍光画像のセットを含む訓練データで訓練されるものとしてよく、それにより、各オルガノイド細胞株は訓練データで表される。いくつかの実施形態において、単一の訓練済みモデル(たとえば、訓練済みモデル508)は、任意の癌型に関連付けられている明視野画像から人工蛍光染色画像を生成するように訓練された汎癌モデルであり得る。いくつかの実施形態において、訓練済みモデルは、1つのオルガノイド細胞株(たとえば、1つの癌型)に関連付けられている画像を含む訓練データのみで訓練することができる。

図6は、例示的なニューラルネットワーク600を示している。ニューラルネットワーク600は、入力画像604を受け取り、入力画像604に基づき人工蛍光画像608を生成するように訓練され得る。いくつかの実施形態において、入力画像604は、明視野生画像を増強し、より優れた人工蛍光画像(たとえば、蛍光画像608)を潜在的に生成するために、コントラストを増強し、および/または他の特性を修正するように処理されている明視野生画像であってよい。

いくつかの実施形態において、ニューラルネットワーク600はUnetアーキテクチャを含むことができる。いくつかの実施形態において、Unetアーキテクチャは、256×256×3入力画像を受け取るサイズに設定され得る。256×256×3入力画像は、明視野画像とすることができる。いくつかの実施形態において、入力画像は、256×256×1画像とすることができる。いくつかの実施形態において、図4の生成器408および/または図5の訓練済みモデル508は、ニューラルネットワーク600を含むことができる。

図7は、例示的な識別器700を示している。いくつかの実施形態において、図7の識別器700は、図4に示されているフロー400では識別器416として含まれ得る。いくつかの実施形態において、識別器700は、1×1PatchGANであってよい。いくつかの実施形態において、識別器700は、明視野画像704および蛍光画像708を受け取ることができる。蛍光画像は、人工蛍光画像(たとえば、図6の蛍光画像608)またはグランドトゥルース蛍光画像とすることができる。いくつかの実施形態において、明視野画像704および蛍光画像708の各々は、256×256×3入力画像であり得る。いくつかの実施形態において、明視野画像704および蛍光画像708は、連結され得る。いくつかの実施形態において、連結画像は、256×256×6入力画像とすることができる。

いくつかの実施形態において、識別器700は、明視野画像704および蛍光画像708を受け取り、蛍光画像708が本物であるかまたは偽物であるかどうかを示す予測ラベル712を生成することができる。いくつかの実施形態において、予測ラベル712は、蛍光画像708が偽物であることを示す「0」、および蛍光画像708が本物であることを示す「1」であり得る。いくつかの実施形態において、識別器700は、ニューラルネットワークを含むことができる。

図4～図7を参照すると、いくつかの実施形態において、フロー400、フロー500、ニューラルネットワーク600、および識別器700は、Pytorchバージョン1.0.0を使用して実装することができる。いくつかの実施形態において、フロー400は、結腸癌オルガノイド細胞株に対する人工蛍光画像を生成するように生成器408を訓練するために使用され得る。いくつかの実施形態において、フロー400は、胃癌オルガノイド細胞株に対する人工蛍光画像を生成するように生成器408を訓練するために使用され得る。

図8は、入力明視野画像に基づき1つまたは複数のオルガノイドの人工蛍光染色画像を生成するようにモデルを訓練することができる例示的なプロセス800を示している。いくつかの実施形態において、モデルは、図4の生成器408および/またはニューラルネットワーク600であってよい。いくつかの実施形態において、モデルは、ニューラルネットワークを含むことができ、これは入力明視野画像を受け取り、単一の3チャネル蛍光画像(たとえば、256×256×3画像)を出力することができる。いくつかの実施形態において、モデルは、3つのニューラルネットワークを含むことができ、これらは各々明視野画像を受け取り、1チャネル蛍光画像(たとえば、256×256×1画像)を出力することができる。次いで、1チャネル画像は組み合わされて、単一の3チャネル蛍光画像にまとめられ得る。

いくつかの実施形態において、プロセス800は、多数の非蛍光画像(たとえば、明視野画像)および蛍光染色画像(3チャネルよりも多い、または少ないチャネルを有し得る)を訓練データとして使用して、腫瘍オルガノイド以外の物体の人工蛍光画像を出力するようにモデルを訓練するために使用され得る。

プロセス800は、1つもしくは複数のメモリまたは他の非一時的コンピュータ可読媒体におけるコンピュータ可読命令として実装されてよく、1つもしくは複数のメモリまたは他の媒体と通信する1つもしくは複数のプロセッサによって実行され得る。いくつかの実施形態において、プロセス800は、メモリ220および/またはメモリ240におけるコンピュータ可読命令として実装され、プロセッサ204および/またはプロセッサ224によって実行され得る。

804において、プロセス800は、訓練データを受け取ることができる。いくつかの実施形態において、訓練データは、オルガノイドの多数の明視野画像および多数の関連付けられている実蛍光画像を含むことができる。いくつかの実施形態において、オルガノイドは、単一の腫瘍オルガノイド細胞株からのものであってよい。いくつかの実施形態において、明視野画像および実蛍光画像は、上で説明されているようにコントラストを増強するために前処理され得る。いくつかの実施形態において、明視野画像および実蛍光画像は、コントラスト増強などのいかなる前処理をも受けていない生画像であってよい。

808において、訓練データが明視野生画像および/または実蛍光生画像を含む場合(すなわち、808において「YES」)、プロセス800は812に進むことができる。訓練データがいかなる明視野生画像または実蛍光生画像をも含まない場合(すなわち、808において「NO」)、プロセス800は816に進むことができる。

812において、プロセス800は、明視野画像および/または実蛍光画像の少なくとも一部を前処理することができる。いくつかの実施形態では、812において、プロセス800は、訓練データに含まれる任意の明視野生画像および/または実蛍光画像のコントラストを増強することができる。いくつかの実施形態において、明視野生画像およびグランドトゥルース蛍光画像は、[0, 2¹⁶]の範囲のピクセル強度を有することができる。いくつかの実施形態において、プロセス800は、各画像を符号なしバイト形式に変換することができ、値は[0, 255]の範囲内である。次いで、プロセス800は、各ピクセル強度を所望の出力範囲に伸長し、クリップすることができる。

いくつかの実施形態において、プロセス800は、画像毎に、入力の所望の強度範囲を伸張することができる。実蛍光画像を生成するために使用される3つの蛍光体に対応する3つのピクセル強度について、プロセス800は、ピクセル強度分布のモードを下限値として、最大ピクセル強度の1/10を上限値として、入力範囲を再スケーリングすることができる。プロセス800は、過飽和ピクセルを回避し、細胞シグナルに焦点を当てるために上限値を決定することができる。プロセス800は、最小-最大ノルムを使用して、最小/最大範囲として機能する下限値および上限値に基づき各ピクセル強度を正規化し、次いで、各ピクセルに、出力範囲[0, 255]を乗算することができる。訓練データに含まれる各明視野画像について、プロセス800は、ピクセル強度の第2および第98パーセンタイルを出力範囲[0, 255]に一様に伸長することによって入力範囲を決定することができる。

低信号を有する画像については、バックグラウンドノイズが出力範囲に含まれ得る。いくつかの実施形態において、残存するバックグラウンドノイズを最小化するために、プロセス800は、赤色および緑色のチャネルでは2つの整数値によって、青色のチャネルでは3つの整数値によって、最小ピクセル値をクリップすることができ、強度範囲は平均してより広い。いくつかの実施形態において、プロセス800は、最大ピクセル値をしかるべく大きくし、画像毎の強度範囲を保存することができる。

816において、プロセス800は、明視野画像をモデルに提供することができる。上で説明されているように、いくつかの実施形態において、モデルは、図4の生成器408および/または図6のニューラルネットワーク600であってよい。いくつかの実施形態において、モデルは、3つのニューラルネットワークを含むことができ、各ニューラルネットワークは、明視野画像のコピーを受け取り、人工蛍光画像の異なるチャネル(たとえば、赤色、緑色、または青色)を出力することができる。

820において、プロセス800は、モデルから人工蛍光画像を受け取ることができる。モデルは、モデルに提供された明視野画像(たとえば、明視野画像404)に基づき人工蛍光画像(たとえば、人工蛍光画像412)を生成することができる。いくつかの実施形態において、プロセス800は、モデルに含まれている3つのニューラルネットワークから3つの1チャネル画像を受け取り、1チャネル画像を組み合わせて単一の3チャネル人工蛍光画像にまとめることができる。

824において、プロセス800は、明視野画像、明視野画像に関連付けられている実蛍光画像、および人工蛍光画像に基づき目的関数値を計算することができる。いくつかの実施形態において、プロセス800は、人工蛍光画像および実蛍光画像を識別器(たとえば、識別器416)に提供することによって、人工蛍光画像が本物であるかどうかを示す予測ラベルを決定することができる。いくつかの実施形態において、目的関数値は、上記の式(1)を使用して計算することができ、ここで、λは0.17であり、βは0.83である。いくつかの実施形態では、λは0.1から0.3のうちから選択され、βは0.7から0.9のうちから選択され得る。いくつかの実施形態において、学習率は、訓練の第1のエポック数(たとえば、15エポック)に対して0.0002に固定され、次いで、第2のエポック数(たとえば、10エポック)にかけてゼロまで直線的に減衰し得る。

828において、プロセス800は、目的関数値に基づきモデル(たとえば、生成器408)および識別器(たとえば、識別器416)を更新することができる。いくつかの実施形態において、モデルおよび識別器は、各々ニューラルネットワークを含むことができる。いくつかの実施形態において、プロセス800は、目的関数値に基づきモデルおよび識別器に含まれるニューラルネットワークに含まれる層の重みを更新することができる。

832において、プロセス800は、モデルに提供されていない訓練データに含まれる明視野画像があるかどうかを決定することができる。モデルに提供されていない訓練データに含まれる明視野画像がある場合(たとえば、832における「YES」)、プロセスは816に進んで、明視野画像をモデルに提供することができる。モデルに提供されていない訓練データに含まれる明視野画像がない場合(たとえば、832における「NO」)、プロセスは836に進むことができる。

836において、プロセス800は、モデルを出力させることができる。836において、モデルは、すでに訓練されており、訓練済みモデルと称され得る。いくつかの実施形態において、プロセス800は、訓練済みモデルをメモリ(たとえば、メモリ220および/またはメモリ240)および/またはデータベース(たとえば、訓練済みモデルデータベース128)のうちの少なくとも1つに出力させることができる。訓練済みモデルは、図9および図13のプロセスなどの、いくつかのプロセスにおいてアクセスされ、使用され得る。次いで、プロセス800は終了することができる。

図9は、明視野画像に基づき1つまたは複数のオルガノイドの人工蛍光画像を生成することができる例示的なプロセス900を示している。より具体的には、プロセス900は、訓練済みモデルを使用して人工蛍光画像を生成することができる。いくつかの実施形態において、モデルは、図4の生成器408、訓練済みモデル508、および/またはプロセス800を使用して訓練された図6のニューラルネットワーク600であってよい。いくつかの実施形態において、モデルは、ニューラルネットワークを含むことができ、これは入力明視野画像を受け取り、単一の3チャネル蛍光画像(たとえば、256×256×3画像)を出力することができる。いくつかの実施形態において、モデルは、3つのニューラルネットワークを含むことができ、これらは各々明視野画像を受け取り、1チャネル蛍光画像(たとえば、256×256×1画像)を出力することができる。次いで、1チャネル画像は組み合わされて、単一の3チャネル蛍光画像にまとめられ得る。

いくつかの実施形態において、プロセス900は、非蛍光画像(たとえば、明視野画像)を使用して、腫瘍オルガノイド以外の物体の人工蛍光画像(1チャネル、2チャネル、3チャネルなどを有し得る)を生成するために使用され得る。このようにして、蛍光染色が適切に撮像されることを必要とする腫瘍オルガノイド以外の物体は、蛍光色素の使用および/または欠点なしで人工的に生成され得る。

プロセス900は、1つもしくは複数のメモリまたは他の非一時的コンピュータ可読媒体におけるコンピュータ可読命令として実装されてよく、1つもしくは複数のメモリまたは他の媒体と通信する1つもしくは複数のプロセッサによって実行され得る。いくつかの実施形態において、プロセス900は、メモリ220および/またはメモリ240におけるコンピュータ可読命令として実装され、プロセッサ204および/またはプロセッサ224によって実行され得る。

904において、プロセス900は、1つまたは複数のオルガノイドの明視野画像(たとえば、図4の明視野画像404および/または図5の明視野画像504)を受け取ることができる。いくつかの実施形態において、明視野画像は、上で説明されているようにコントラストを増強するために前処理され得る。いくつかの実施形態において、明視野画像は、コントラスト増強などのいかなる前処理をも受けていない生画像であってよい。

908において、プロセス900は、明視野画像が未処理(すなわち、生)であるかどうかを決定することができる。明視野画像が未処理である場合(すなわち、908において「YES」)、プロセス900は912に進むことができる。明視野画像が未処理でない場合(すなわち、908において「NO」)、プロセス900は916に進むことができる。

912において、プロセス900は、明視野画像を前処理することができる。いくつかの実施形態において、明視野画像は、[0, 2¹⁶]の範囲のピクセル強度を有することができる。いくつかの実施形態において、プロセス900は、明視野画像を符号なしバイト形式に変換することができ、値は[0, 255]の範囲内である。いくつかの実施形態において、プロセス900は、明視野画像を、元のピクセル強度より少ないビットを有する別の形式に変換することができる。次いで、プロセス900は、各ピクセル強度を所望の出力範囲に伸長し、クリップすることができる。いくつかの実施形態において、プロセス900は、明視野画像に対する入力範囲を、明視野画像中のピクセル強度の第2および第98パーセンタイルを出力範囲[0, 255]に一様に伸長することによって決定することができる。

916において、プロセス900は、明視野画像を訓練済みモデルに提供することができる。いくつかの実施形態において、モデルは、図8のプロセス800を使用して訓練された図4の生成器408、訓練済みモデル508、および/または図8のプロセス800を使用して訓練されたニューラルネットワーク600を含むことができる。いくつかの実施形態において、訓練済みモデルは、3つのニューラルネットワークを含むことができ、各ニューラルネットワークは、明視野画像のコピーを受け取り、人工蛍光画像の異なるチャネル(たとえば、赤色、緑色、または青色)を出力することができる。

920において、プロセス900は、訓練済みモデルから人工蛍光画像を受け取ることができる。いくつかの実施形態において、プロセス900は、訓練済みモデルに含まれている3つのニューラルネットワークから3つの1チャネル画像を受け取り、1チャネル画像を組み合わせて単一の3チャネル人工蛍光画像にまとめることができる。人工蛍光画像は、腫瘍オルガノイドに含まれる細胞が生きているか、または死んでいるかを示すことができる。

924において、プロセス900は、人工蛍光画像を出力させることができる。いくつかの実施形態において、プロセス900は、人工蛍光画像をメモリ(たとえば、メモリ220および/またはメモリ240)および/またはディスプレイ(たとえば、ディスプレイ116、ディスプレイ208、および/またはディスプレイ228)のうちの少なくとも1つに出力させることができる。人工蛍光画像は、オルガノイド内の細胞の生/死カウントを提供するために使用され得る。いくつかの実施形態において、プロセス900は、細胞の正確な生/死カウント、生存可能(たとえば、生きている)か、または死んでいる細胞のパーセンテージ、および/または人工蛍光画像内の細胞カウントレポートを受け取るために、人工蛍光画像を自動細胞計数プロセスへ出力させることができる。たとえば、プロセス900は、人工蛍光画像を、https://cellprofiler.orgから入手可能なCellProfilerに出力させることができる。いくつかの実施形態において、プロセス900は、細胞カウントレポート、生存可能(たとえば、生きている)か、または死んでいる細胞のパーセンテージ、および/または人工蛍光画像内の細胞の正確な生/死カウントを受け取るために、人工蛍光画像の1または複数のチャネルを自動細胞計数プロセスへ出力させることができる。いくつかの実施形態において、プロセス900は、細胞カウントレポート、生存可能(たとえば、生きている)か、または死んでいる細胞のパーセンテージ、および/または人工蛍光画像内の細胞の正確な生/死カウントを受け取るために、明視野画像を訓練済みモデルに出力させることができる。いくつかの実施形態において、プロセス900は、細胞カウントレポート、生存可能(たとえば、生きている)か、または死んでいる細胞のパーセンテージ、および/または人工蛍光画像内の細胞の正確な生/死カウントを受け取るために、明視野画像および人工蛍光画像の1つ、2つ、または3つのチャネルの組み合わせ(たとえば、連結によって組み合わされた画像埋め込み)を自動細胞計数プロセスへ出力させることができる。

いくつかの実施形態では、924において、プロセス900は、人工蛍光画像内の細胞を、チャネルの各々をグレースケールに変換し、斑点、リング形状、神経突起、暗穴などのいくつかの特徴を増強し、抑制し、全細胞チャネルに属す一次物体であって、これらの物体の典型的な直径(ピクセル単位の)が、1.3488の平滑スケールで最小交差エントロピー閾値化法により2から20までの間のどこかの値に設定される、一次物体を識別し、ここでもまた死細胞チャネルに属す一次物体であって、典型的な直径がピクセル単位で5から20までの間のどこかの値である、一次物体を識別することによって、識別することができる。このようにして、プロセス900は、細胞カウントレポートを生成することができる。いくつかの実施形態において、プロセス924は、細胞の生/死カウントに基づき薬物および/または投与量が腫瘍オルガノイド細胞を殺すのに有効であるかどうかを決定することができる。いくつかの実施形態では、924において、プロセス900は、単一の濃度でのオルガノイドの生存率の分布から用量反応を外挿することができる。

いくつかの実施形態において、細胞カウントレポートは分析され、腫瘍オルガノイド細胞の特定の株を殺す際の薬物の有効性を定量化し得る。たとえば、ある薬物の濃度で、生細胞の数が減り、および/または死細胞の数が増える場合、その薬物は、腫瘍オルガノイド細胞の特定の株を殺すより高い効果を有すると評価され得る。腫瘍オルガノイド細胞の各株について、腫瘍オルガノイド細胞の特性(たとえば、検出された突然変異を含む分子データ、腫瘍オルガノイド細胞において測定されたRNA発現プロフィールなど、および/または腫瘍オルガノイドが由来した患者に関連付けられている臨床データ)および各薬物投与の結果(薬効評価を含む)は、薬物アッセイ結果のデータベースに保存され得る。これらの結果は、療法を患者にマッチングさせるために使用され得る。たとえば、患者が腫瘍オルガノイド細胞株に類似する特性を持つ癌を有する場合、それらの腫瘍オルガノイド細胞を殺す効果があると評価された薬物が、患者にマッチングされ得る。

いくつかの実施形態において、プロセス900は、細胞カウント、細胞カウントレポート、および/または人工蛍光画像に基づくレポートを生成することができる。いくつかの実施形態において、プロセス900は、レポートをメモリ(たとえば、メモリ220および/またはメモリ240)および/またはディスプレイ(たとえば、ディスプレイ116、ディスプレイ208、および/またはディスプレイ228)のうちの少なくとも1つに出力させることができる。次いで、プロセス900は終了することができる。

図10は、前処理の前後の例示的な生画像を示している。前処理前の生画像は、明視野画像1004、青色/全核チャネル蛍光画像1008、緑色/アポトーシスチャネル蛍光画像1012、赤色/ピンク色/死チャネル蛍光画像1016、および組み合わされた3チャネル蛍光画像1020を含んでいる。前処理済み画像は、明視野画像1024、青色/全核チャネル蛍光画像1028、緑色/アポトーシスチャネル蛍光画像1032、赤色/ピンク色/死チャネル蛍光画像1036、および組み合わされた3チャネル蛍光画像1040を含んでいる。オルガノイドおよび細胞は、前処理済み画像においてより明るく、より鮮明である。いくつかの実施形態において、前処理済み画像1024～1040は、図8のプロセス800の812において生成され得る。

図11は、腫瘍オルガノイドを培養するための例示的なフロー1100を示している。患者由来腫瘍オルガノイドの培養である。フロー100は、同日手術から腫瘍組織を取得することと、腫瘍組織から細胞を解離することと、細胞から腫瘍オルガノイドを培養することとを含むことができる。腫瘍オルガノイドを培養するためのシステムおよび方法の一例は、参照により全体が本明細書に組み込まれる2019年11月22日に出願した米国特許出願第16/693,117号、発明の名称「Tumor Organoid Culture Compositions, Systems, and Methods」に記載されている。病院から送られてきた腫瘍組織は、腫瘍オルガノイドを形成するために培養される。

図12は、本明細書において説明されているシステムおよび方法による薬物スクリーンを実施するための例示的なフロー1200を示している。いくつかの実施形態において、フロー1200は、腫瘍オルガノイドを単一細胞に解離することと、細胞を蒔くこと(たとえば、96ウェルプレートおよび/または384ウェルプレートなどのウェルプレート内で)と、細胞を所定時間(たとえば、72時間)かけてオルガノイドに増殖させることと、オルガノイドを少なくとも1つの治療技術で処置することと、腫瘍オルガノイドが処置されてから所定の時間(たとえば、72時間)後に腫瘍オルガノイドを撮像することとを含むことができる。いくつかの実施形態において、明視野撮像のみを腫瘍オルガノイドに対して行われ、生成された任意の明視野画像は、図9のプロセス900を使用して人工蛍光画像を生成するために使用され得る。次いで、生/死カウントが、人工蛍光画像に基づき生成され得る。薬物スクリーニングのために腫瘍オルガノイドを使用するシステムおよび方法の一例は、参照により全体が本明細書に組み込まれる2019年10月22日に出願した米国特許仮出願第62/924,621号、発明の名称「Systems and Methods for Predicting Therapeutic Sensitivity」(および2020年10月22日に出願したPCT/US20/56930)に記載されている。

図13は、少なくとも1つのオルガノイドに対する複数の時点における人工蛍光画像を生成することができる例示的なプロセス1300を示している。特に、プロセス1300は、標準的な蛍光撮像技術に勝る利点を提供し得る。上で述べたように、標準的な蛍光画像を生成するために使用される蛍光色素は、オルガノイド内の細胞を損傷する(たとえば、細胞を殺す)可能性があり、異なる時点(たとえば、12時間毎、24時間毎、72時間毎、1週間毎など)で蛍光画像が生成されることを許さない。対照的に、プロセス1300は、明視野画像(オルガノイドに損傷を与えない)のみがあればよく、明視野画像に基づき人工蛍光画像を生成することができるので、オルガノイドの蛍光撮像の繰り返しを許す。

プロセス1300は、1つもしくは複数のメモリまたは他の非一時的コンピュータ可読媒体におけるコンピュータ可読命令として実装されてよく、1つもしくは複数のメモリまたは他の媒体と通信する1つもしくは複数のプロセッサによって実行され得る。いくつかの実施形態において、プロセス1300は、メモリ220および/またはメモリ240におけるコンピュータ可読命令として実装され、プロセッサ204および/またはプロセッサ224によって実行され得る。

1304において、プロセス1300は、複数の時点で処置されたオルガノイドを分析する指示を受け取ることができる。いくつかの実施形態において、オルガノイドは、(たとえば、96ウェルプレートおよび/または384ウェルプレートなどのウェルプレート内に)蒔くことができる。いくつかの実施形態において、オルガノイドは、複数のウェルプレート上に蒔くことができる。いくつかの実施形態において、オルガノイドは、1つまたは複数のペトリ皿上に蒔くことができる。いくつかの実施形態において、オルガノイドは、薬物種類、薬物濃度、および/または他のパラメータが異なり得る、様々な異なる処置方法を使用して処置され得る。いくつかの実施形態において、ウェルプレート内の各ウェルは、異なる処置に関連付けられ得る。

いくつかの実施形態において、複数の時点は、オルガノイドが処置された後の時間を表すことができる。たとえば、12時間の時点は、オルガノイドが処理された時点の12時間後とすることができる。いくつかの実施形態において、複数の時点は、規則正しい間隔で並ぶものとしてよい。たとえば、複数の時点は、12時間毎、24時間毎、72時間毎、1週間毎などに出現することができる。いくつかの実施形態において、複数の時点は、不規則な間隔で並ぶものとしてよい。たとえば、時点は、6時間での第1の時点、24時間での第2の時点、3日での第3の時点、1週間での第4の時点、および28日での第5の時点を含むことができる。

1308において、プロセス1300は、複数の時点に含まれる次の時点まで待機することができる。たとえば、オルガノイドが処置されてから6時間が経過し、次の時点が12時間である場合、プロセス1300は、6時間待つことができる。

1312において、プロセス1300は、処置されたオルガノイドの少なくとも1つの明視野画像を生成させることができる。いくつかの実施形態において、プロセス1300は、明視野顕微鏡を使用して処置済みオルガノイドの明視野画像を生成し、共焦点レーザ走査型顕微鏡などの共焦点顕微鏡を使用して細胞の蛍光画像を生成することができる。いくつかの実施形態において、プロセス1300は、少なくとも1つの明視野画像を前処理することができる。たとえば、プロセス1300は、各明視野画像について、図9のプロセス900における912の少なくとも一部を実行することができる。いくつかの実施形態において、複数の明視野画像が、各ウェルに対して生成され得る。たとえば、96ウェルプレートについては、撮像されるウェル1つ当たり約9～16部位が存在し得る。

1316において、プロセス1300は、少なくとも1つの明視野画像に基づき少なくとも1つの人工蛍光画像を生成させることができる。いくつかの実施形態において、プロセス1300は、各明視野画像を訓練済みモデルに提供し、訓練済みモデルから明視野画像に関連付けられている人工蛍光画像を受け取ることができる。いくつかの実施形態において、訓練済みモデルは、図8のプロセス800を使用して訓練された図4の生成器408、訓練済みモデル508、および/または図8のプロセス800を使用して訓練されたニューラルネットワーク600を含むことができる。いくつかの実施形態において、訓練済みモデルは、ニューラルネットワークを含むことができ、これは入力明視野画像を受け取り、単一の3チャネル蛍光画像(たとえば、256×256×3画像)を出力することができる。いくつかの実施形態において、訓練済みモデルは、3つのニューラルネットワークを含むことができ、これらは各々明視野画像を受け取り、1チャネル蛍光画像(たとえば、256×256×1画像)を出力することができる。次いで、1チャネル画像は組み合わされて、単一の3チャネル蛍光画像にまとめられ得る。少なくとも1つの人工蛍光画像は、腫瘍オルガノイドに含まれる細胞が生きているか、または死んでいるかを示すことができる。

1320において、プロセス1300は、少なくとも1つの蛍光画像を出力させることができる。いくつかの実施形態において、プロセス1300は、少なくとも1つの人工蛍光画像をメモリ(たとえば、メモリ220および/またはメモリ240)および/またはディスプレイ(たとえば、ディスプレイ116、ディスプレイ208、および/またはディスプレイ228)のうちの少なくとも1つに出力させることができる。少なくとも1つの人工蛍光画像は、オルガノイド内の細胞の生/死カウントを提供するために使用され得る。いくつかの実施形態において、プロセス900は、人工蛍光画像内の細胞の正確な生/死カウントを得るために、人工蛍光画像を自動細胞計数プロセスに出力させることができる。たとえば、プロセス900は、人工蛍光画像を、https://cellprofiler.orgから入手可能なCellProfilerに出力させることができる。このようにして、プロセス1300は、複数の時点における複数のウェルに対する生/死カウントを自動的に生成することができ、これは細胞を殺す標準的な蛍光色素撮像技術と比較して薬物療法実験をより速く遂行し、同じ数のウェルでより多くのデータを収集することを可能にする。

いくつかの実施形態では、1320において、プロセス1300は、人工蛍光画像内の細胞を、チャネルの各々をグレースケールに変換し、斑点、リング形状、神経突起、暗穴などのいくつかの特徴を増強し、抑制し、全細胞チャネルに属す一次物体であって、これらの物体の典型的な直径(ピクセル単位の)が、1.3488の平滑スケールで最小交差エントロピー閾値化法により2から20までの間のどこかの値に設定される、一次物体を識別し、ここでもまた死細胞チャネルに属す一次物体であって、典型的な直径がピクセル単位で5から20までの間のどこかの値である、一次物体を識別することによって、識別することができる。このようにして、プロセス1300は、細胞カウントレポートを生成することができる。いくつかの実施形態において、プロセス1300は、細胞カウント、細胞カウントレポート、および/または人工蛍光画像に基づくレポートを生成することができる。いくつかの実施形態において、プロセス1300は、レポートをメモリ(たとえば、メモリ220および/またはメモリ240)および/またはディスプレイ(たとえば、ディスプレイ116、ディスプレイ208、および/またはディスプレイ228)のうちの少なくとも1つに出力させることができる。次いで、プロセス1300は終了することができる。

いくつかの実施形態において、図8のプロセス800、図9のプロセス900、および/または図13のプロセス1300は、図1のオルガノイド画像解析アプリケーション132に含まれ得る。

図14は、例示的なアッセイまたはウェルプレート配置構成を表すテーブルを示している。より具体的には、このテーブルは、24×16ウェルプレート内のウェルによる治療法の配置構成を示している。

いくつかの実施形態において、ウェルプレートに腫瘍オルガノイドを蒔くために、腫瘍オルガノイド細胞の単一細胞懸濁液が、所定のプロトコルを使用して生成され得る。いくつかの実施形態において、24×16ウェルプレートに蒔くために、24ウェルプレート培養物は単一細胞に解離され、30%のマトリゲルおよび70%の培地の混合物中で384ウェルプレートに蒔かれ得る。このセットアップは、アッセイ用の個別細胞からの腫瘍オルガノイドの形成を可能にし、各ウェル内の腫瘍オルガノイド不均一性を維持することができる。1ウェル当たり約2000個の細胞が蒔かれ、これはプレートを過密状態にすることなく、腫瘍オルガノイド(TO)が十分に形成することを可能にし得る。

各384ウェルプレート内の使用可能ウェルの数は、330ウェルとすることができる。各ウェル内には撮像される2つの部位があり得る。96ウェルプレートについては、撮像されるウェル1つ当たり約9～16部位が存在し得る。いくつかの実施形態において、ウェルプレート内の各列は、異なる薬物を受け入れることができる。いくつかの実施形態において、対照(たとえば、スタウロスポリン)が列A内に固定され得る。ビヒクルは、前半がDMSO、後半がスタウロスポリンを与えられる2列とすることができる。いくつかの実施形態において、各列は、技術的に3部で薬物濃度を受け入れることができる。

この実施例では、各ウェル中の腫瘍オルガノイドは、高含量蛍光共焦点画像解析のために3つの蛍光体を使用して染色された。蛍光読み出し値を得るために、高含量イメージャ(ImageXpress Confocal、Molecular Devices)がデータ取得に利用された。画像は、50ミクロンのスリット回転ディスク開口を用い、10Xの倍率で取得された。4つのチャネルが、白熱灯明視野、およびLED光源を用いて取得されたが、これは4',6-ジアミジノ-2-フェニルインドール(DAPI)、フルオレセインイソチオシアネート(FITC)、およびシアニン5(CY5)に対する製造者の既定の設定を使用して、それぞれHoechst 33342(Thermo)、Caspase-3/7試薬(Essen Bioscience)またはTO-PRO-3(Thermo)からデータを取得する。

この例では、実験セットアップは384ウェルプレートを使用しており、各プレート内に330個の使用可能なウェルがある。各ウェルは撮像される2つの部位を有するので、各プレートは明視野画像および蛍光画像の合計660個の対を有する。10Xの倍率では、2つの画像が2つの部位でウェル毎に撮像され、Z平面内の画像のスタックはZ平面毎に15ミクロンの高さ増分で1～100の高さである。Zスタック画像は、解析のために2Dに投影される。各明視野画像に対する3つの蛍光体は、すべての核(Hoechst 33342、青色)、アポトーシス細胞(Caspase-3/7Apoptosis Assay Reagent、緑色)、死細胞(TO-PRO-3、赤色)を可視化する。

最終データセットは、2つの患者細胞株からの登録された蛍光体を含んでいた。結腸癌の患者細胞株Aは、明視野画像および蛍光画像の9900個の対からなっていた。胃癌の患者細胞株Bは、明視野画像および蛍光画像の10557個の対からなっていた。

生成器408および識別器416によるモデルは、Pytorchバージョン1.0.0で実装された。結腸癌オルガノイド患者細胞株Aは、分析されたすべてのモデルについて性能を評価するために選択された。このオルガノイド株は、15枚の実験プレートにわたって明視野画像および蛍光画像の8415個の対を含み、これは訓練、テストおよび検証のために80-10-10の分割を受け、その結果、訓練に対しては6930枚の画像、検証では742枚、テストに対しては743枚となった。各画像は一度に1枚ずつロードされた。パラメータの微調整は、検証セットのみを使用して達成された。学習率は、訓練の最初の15エポックに対して0.0002に固定され、その後、10エポックに対して0まで直線的に減衰し、訓練に対して合計25エポックとなった。

15枚の実験プレートからランダムにサンプリングされた743枚の明視野画像および対応する蛍光画像の固定されたセットがテストセットとして選択された。すべての実験に対する評価は、固定されたテストセットで実行された。最初に、3つの別々のモデル(3モデル)を訓練する効果は、組み合わされた蛍光読み出し値に対して各蛍光体チャネル対1つの単一モデル(1モデル)の訓練について評価された。3モデルについては、各蛍光体に対する予測は、最後に組み合わされ、評価された。性能は、構造的類似性指数および平均二乗誤差の平方根を使用して定量的に、さらにはヒートマップを使用して定性的、視覚的に評価された。

各チャネルに対して別々の生成器を訓練した、3モデルを使用したときに、蛍光染料予測に対する有意な改善は観察されなかった。Table 1(表1)は、全743枚のテスト画像に対する各チャネルの予測値にわたる平均SSIMおよび平均二乗誤差の平方根を報告したものであり、図15は例示的な画像およびオルガノイドを示している。さらに、3モデルは、限られたRMSEの改善のみで3倍の計算リソースを必要としたので、1モデル実装は、明視野画像から組み合わされた蛍光読み出し値への画像間変換を十分に、効率的に実行することが可能であることが理由付けされた。Table 1(表1)では、RMSEが低く、SSIMが高いほど、性能が高いことを示している。

図15は、単一ニューラルネットワークモデル(1モデル)および3ニューラルネットワークモデル(3モデル)を使用して生成される画像の一例を示している。第1の画像1504は、グランドトゥルース蛍光画像の一例である。第2の画像1508は、入力明視野画像を受け取り、単一の3チャネル蛍光画像(たとえば、256×256×3画像)を出力することができる単一のニューラルネットワークを有する1モデルを使用して生成された人工蛍光画像の一例である。第3の画像1512は、各々明視野画像を受け取り、1チャネル蛍光画像(たとえば、256×256×1画像)を出力することができる3つのニューラルネットワークを有する3モデルを使用して生成された人工蛍光画像の一例である。第4の画像1516は、第2の画像1508とグランドトゥルース画像1504との間のグレースケール誤差マップの一例である。第5の画像1520は、第3の画像1512とグランドトゥルース画像1504との間のグレースケール誤差マップの一例である。第6の画像1524、第7の画像1528、第8の画像1532、第9の画像1536、および第10の画像1540は、それぞれ、第1の画像1504、第2の画像1508、第3の画像1512、第4の画像1516、および第5の画像1520における拡大されたオルガノイドの例である。

次に、1モデルの目的関数にSSIM損失を加えた効果について詳しく説明された。式1の目的関数は、L1およびSSIM損失の重み付け結合(λL1+βSSIM)である。SSIMの影響は、β={0; 0.25; 0.5; 0.75; 1}を一様に評価することによってテストされた。Table 2(表2)は、異なるβを使用したホールドアウトテストセットでの性能を強調している。β=0.75(およびλ=0.25)の組み合わせは、SSIMおよびRMSEの両方に関して、訓練済みモデル(たとえば、訓練済みモデル508)の最良の性能を示している。

訓練済みモデル(β=0.75)の精度が、DAPI(全細胞)またはFITC(染色/アポトーシス細胞)の予測などの、単一の蛍光体の予測の特定の改善によって駆動されたかどうかを決定するために、各チャネルにわたる平均RMSEおよびSSIMが調べられた。これらの結果は、Table 3(表3)に示されている。

β=0.75で訓練されたモデルは、すべてのチャネルで一貫したRMSEおよびSSIMスコアを示した。β=0.75で訓練されたモデルが2つの新規患者結腸直腸癌オルガノイド株(オルガノイド株BおよびC)に対して実行されたときの性能が評価された。各新規株は、異なるプレートにわたって合計648個の明視野および対応する蛍光読み出し値を有していた。Table 4(表4)は、単一のオルガノイドで訓練されたβ=0.75で訓練されたモデルが、他のオルガノイド株に転移することができることを実証している。しかしながら、2つの株の間の差は、いくつかの限界を示唆している。2つの株の間の差は、異なる結腸直腸癌オルガノイド株が、モデル転移を制限し得る異なる形態学的特徴を提示し得ることを示唆する。その場合、オルガノイド株Cからのいくつかのデータで現在の最良のモデルを再訓練するか、またはドメイン適応技術を採用することで、オルガノイド株Cへのより良好な汎化性を円滑にすることができる。

実験が実行され、モデル性能を試しながら改善した。候補となるモデルは、GANLoss+SSIMモデル、GANLoss+0.17L1+0.83SSIMモデルを使用して訓練されたGANLoss+SSIM+L1モデル、GANLoss+MS-SSIMモデル、およびGANLoss+0.83MS-SSIM+0.17L1モデルを含んでいた。

最初に、3つの別々のPix2Pixモデルが、個別の蛍光チャネルを訓練するために採用された。実施例1で説明されたのと同じ743枚のブラインドテスト画像にわたるAvg SSIMおよびRMSEの結果が以下に示されている。Table 5(表5)～Table 8(表8)は、3モデル方式で実装された候補モデルの結果を示している。Table 5(表5)は、GANLoss+SSIMモデルの結果を示している。Table 6(表6)は、GANLoss+0.83SSIM+0.17L1モデルの結果を示している。Table 7(表7)は、GANLoss+MS-SSIMモデルの結果を示している。Table 8(表8)は、GANLoss+0.83MS-SSIM+0.17L1モデルの結果を示している。

蛍光組み合わせ3チャネル画像結果
以下のTable 9(表9)の結果では、実験毎に3チャネルのpix2pixモデルを取り、それらを組み合わせて3チャネルIFカウンターパートを形成している。個別のチャネルは、別々に訓練され、RGBを積み重ねることによって組み合わされた。

GANLoss+SSIMまたはGANLoss+MS-SSIM単独では、他のモデルほどの性能をもたらさないことが観察された。GANLoss+0.83SSIM+0.17L1の組み合わせが、最良の性能を有するように見える。また、GANLoss+L1およびGANLoss+SSIMは、ぼやけた画質の悪い画像の検出に対してはよい仕事をしないこともわかった。GANLoss+SSIM+L1モデルは、ぼやけたアーチファクトを正確に検出することができた。GANLoss+SSIM+L1モデルは、他のモデルに比べてアーチファクトおよびぼやけをよく認識し、明視野画像中にぼやけ/アーチファクトが存在するときに予測を完全に回避した。

実施例2において、複数の異なる目的関数に対して3つの別々のpix2pixモデルを訓練するプロセスは、いくつかのGPU(モデル毎に3つ)およびデータキュレーションにおいて余分な労力を必要とすることが証明された。類似の性能分析は、GPU使用量を低減する試みの中で、単一のPix2Pixモデルを使用して明視野から3チャネル蛍光に直接的に訓練することによって、類似の/より良いRMSEおよびSSIM値が観察されたかどうかをチェックするために行われた。

以下のTable 10(表10)は、10245に属す743枚の画像の同じテストセットで同じ目的関数のセットについてスタイルをIF画像に転移するように直接的に訓練した結果を示している。GPUの数は15GPUから5GPUに低減されており、性能は、あまり著しくないがわずかに良くなっている。したがって、1モデルを使用して人工蛍光画像を生成することは、必要な計算量が1/3でありながら少なくとも3モデル程度の性能を有するので、好ましいものとしてよい。特に、GANLoss+0.83MS-SSIM+0.17L1モデルの目的関数を使用して訓練された1モデルは、同じ訓練データで訓練された他の1モデルおよび/または3モデルより性能が優れている可能性がある。

以下のTable 11(表11)は、異なる目的関数を使用して訓練された多数の1モデルの結果を示している。GANLoss+0.75SSIM+0.25L1は、最良のRMSEを有するが、GANLoss+0.83SSIM+0.17L1は、最良のSSIM性能を有していた。

この例は、例示的な細胞プロファイラ読み出し値を詳述している。細胞プロファイラ読み出し値は、実蛍光画像および対応する人工蛍光画像の全細胞カウントおよび死細胞カウントを含む。Table 12(表12)において、各列は実験プレート内のウェルにおける特定の部位、およびそれがImageXpress Micro顕微鏡から撮像された人工画像であるかまたは実画像であるかを示している。

以下のTable 13(表13)は、SSIM/RMSE値とともに、各画像に対するプレートおよびウェル情報を示している。

Table 13(表13)は、蛍光画像が、対応する実蛍光画像と比較して類似する細胞カウントを生成できることを示している。

いくつかの実施形態において、腫瘍オルガノイドにおける大規模な薬物アッセイは、アッセイのスループットを高め得る。このハイスループットスクリーニングは、薬物効能の検証もしくはテスト、または新規治療法の発見のために使用することができる。いくつかの実施形態において、3D TOは、それらが由来する腫瘍に、その腫瘍に由来する2次元クローン確立細胞株に比べて類似していることがある。

この例では、生検によって取り除かれた腫瘍組織は、単一細胞に解離され、TOを含む3次元(3D)腫瘍オルガノイド(TO)培養物に増殖される。次いで、TOは、単一細胞に解離され、384ウェル組織培養プレートで72時間かけて増殖された。各ウェルは、無処置(もしくはモック処置)または小分子阻害剤もしくは化学療法剤の用量(濃度)を受け、TO内の細胞に対する処置の効果が測定される。一例において、1,000個を超える薬物がテストされ得る。別の例では、140の薬物のいくつかの濃度がテストされ得る。

一例では、治療剤は、351種類の小分子阻害剤のうちの1つであり、各治療薬について、各々別々の患者サンプルに由来する2種類の異なるオルガノイド型(2つのオルガノイド細胞株)に対して7回分の投与量がテストされる。この例では、一方のオルガノイド型は、胃癌オルガノイド株であり、他方は、結腸直腸癌オルガノイド株である。一実施例では、治療の効果は、治療を受けた後のウェル内の死細胞および/または生存可能細胞の数を計数することによって測定され得る。蛍光染色のこの例では、細胞核は、Hoechst33342で青く染色され、死に行く(アポトーシス)細胞は、Caspase-3/7Apoptosis Assay Reagentで緑に染色され、死細胞はTO-PRO-3で赤く染色される。

この例では、胃癌オルガノイド株は、HER2遺伝子の増幅を有する。アファチニブ(他の分子のうち、HER2を標的とする薬物)およびHER2を標的とする他の2つの薬物は、この胃癌オルガノイド株を効果的に殺す。

いくつかの実施形態において、上で説明されている方法およびシステムは、一般的に医療および医学研究を対象とするデジタルおよび実験室ヘルスケアプラットフォームと組み合わせて、またはその一部として利用され得る。そのようなプラットフォームと組み合わせた、上で説明されている方法およびシステムの多くの使用が可能であることは理解されるべきである。そのようなプラットフォームの一例は、すべての目的のために参照により全体が本明細書に組み込まれる2019年10月18日に出願した米国特許出願第16/657,804号、発明の名称「Data Based Cancer Research and Treatment Systems and Methods」に記載されている。

たとえば、いくつかの実施形態において、上で説明されている方法およびシステムは、人工蛍光画像生成および分析をサポートするデジタルおよび実験室ヘルスケアプラットフォームを構成するマイクロサービスを含み得る。いくつかの実施形態は、人工蛍光画像生成を実行し、配信するための単一のマイクロサービスを含むか、または上記の実施形態のうちの1つもしくは複数を一緒に実装する特定の役割を各々が有する複数のマイクロサービスを含み得る。一例では、第1のマイクロサービスは、訓練データを第2のマイクロサービスに配信してモデルを訓練するために訓練データ生成を実行し得る。同様に、第2のマイクロサービスは、少なくともいくつかの実施形態によりモデル訓練を実行して訓練済みモデルを配信し得る。第3のマイクロサービスは、第2のマイクロサービスから訓練済みモデルを受け取り、人工蛍光画像生成を実行し得る。

上記のいくつかの実施形態は、デジタルおよび実験室ヘルスケアプラットフォームとともにまたはその一部として1つまたは複数のマイクロサービスにおいて実行されてよく、そのようなマイクロサービスの1つまたは複数は、上記の実施形態をインスタンス化するために必要な適切な時刻および適切な順序で必要に応じてイベントのシーケンスをオーケストレーションするオーダー管理システムの一部であり得る。マイクロサービスベースのオーダー管理システムは、たとえば、すべての目的のために参照により全体が本書に組み込まれる2019年7月12日に出願した米国特許仮出願第62/873,693号、発明の名称「Adaptive Order Fulfillment and Tracking Methods and Systems」に開示されている。

たとえば、上記の第1および第2のマイクロサービスについて続けると、オーダー管理システムは、モデルを訓練するためのオーダーが受信され、処理の準備が整ったことを第1のマイクロサービスに通知し得る。第1のマイクロサービスは、第2のマイクロサービスに対して訓練データの配信の準備が整った後に、オーダー管理システムを実行し、通知し得る。さらに、オーダー管理システムは、第1のマイクロサービスが完了したことを含む、第2のマイクロサービスに対する実行パラメータ(前提条件)が満たされたことを識別し、いくつかの実施形態による訓練済みモデルを生成するオーダーの処理を継続し得ることを第2のマイクロサービスに通知してもよい。

デジタルおよび実験室ヘルスケアプラットフォームがレポート生成エンジンをさらに含むときに、上で説明されている方法およびシステムは、患者の遺伝子プロファイルおよび医師への提示のための1つまたは複数の洞察エンジンの結果の要約レポートを作成するために利用され得る。たとえば、レポートは、オルガノイドを収穫するために標本がどの程度使用されたかに関する情報を医師に提供し得る。たとえば、レポートは、標本中の組織種類、腫瘍、または臓器の各々に対する遺伝子プロファイルを提供してもよい。遺伝子プロファイルは、組織種類、腫瘍、または臓器中に存在する遺伝子配列を表してもよく、バリアント、発現レベル、遺伝子産物に関する情報、または組織、腫瘍、もしくは臓器の遺伝分析から導出され得る他の情報を含んでもよい。レポートは、遺伝子プロファイルまたは洞察エンジン調査結果および要約の一部または全部に基づきマッチングされた治療法および/または臨床試験を含み得る。たとえば、療法は、すべての目的のために参照により全体が本明細書に組み込まれる2019年2月12日に出願した米国特許仮出願第62/804,724号、発明の名称「Therapeutic Suggestion Improvements Gained Through Genomic Biomarker Matching Plus Clinical History」において開示されているシステムおよび方法に従ってマッチングされ得る。たとえば、臨床試験は、すべての目的のために参照により全体が本明細書に組み込まれる2019年5月31日に出願した米国特許仮出願第62/855,913号、発明の名称「Systems and Methods of Clinical Trial Evaluation」において開示されているシステムおよび方法に従ってマッチングされ得る。

レポートは、結果と多くの標本からの結果のデータベースとの比較を含んでもよい。結果を結果のデータベースと比較するための方法およびシステムの一例は、すべての目的のために参照により全体が本明細書に組み込まれる2018年12月31日に出願した米国特許仮出願第62/786,739号、発明の名称「A Method and Process for Predicting and Analyzing Patient Cohort Response, Progression and Survival」において開示されている。この情報は、ときには、追加の標本および/または臨床反応情報からの類似の情報と併せて、バイオマーカーを発見するか、または臨床試験を設計するために使用され得る。

デジタルおよび実験室ヘルスケアプラットフォームが、プラットフォームに関連して開発されたオルガノイドへの本明細書の実施形態の1つまたは複数の適用をさらに含むときに、方法およびシステムは、オルガノイドから導出された遺伝子シークエンシングデータをさらに評価して、シークエンシングされたオルガノイドが第1の細胞種類、第2の細胞種類、第3の細胞種類、などを含む程度に関する情報を提供するために使用され得る。たとえば、レポートは、標本中の細胞種類の各々に対する遺伝子プロファイルを提供し得る。遺伝子プロファイルは、所与の細胞種類中に存在する遺伝子配列を表してもよく、バリアント、発現レベル、遺伝子産物に関する情報、または細胞の遺伝分析から導出され得る他の情報を含んでもよい。レポートは、逆畳み込み情報の一部または全部に基づきマッチングされた療法を含み得る。これらの療法は、オルガノイド、そのオルガノイドの派生物、および/または類似するオルガノイドに対してテストされ、それらの療法に対するオルガノイドの感受性を決定し得る。たとえば、オルガノイドは、すべての目的のために参照により全体が本明細書に組み込まれる2019年11月22日に出願した米国特許出願第16/693,117号、発明の名称「Tumor Organoid Culture Compositions, Systems, and Methods」および米国特許仮出願第62/924,621号に開示されているシステムおよび方法に従って培養され、およびテストされ得る。

デジタルおよび実験室ヘルスケアプラットフォームが、医療デバイスまたは医療および医学研究を一般的に対象とする実験室開発テストと組み合わせて、またはその一部として、上記の1つまたは複数の適用をさらに含むときに、そのような実験室開発テストまたは医療デバイスの結果は、人工知能の使用を通じて強化され、および個人化され得る。実験室開発テストの一例、特に人工知能によって強化され得るものは、たとえば、すべての目的のために参照により全体が本明細書に組み込まれる2019年10月22日に出願した米国特許仮出願第62/924,515号、発明の名称「Artificial Intelligence Assisted Precision Medicine Enhancements to Standardized Laboratory Diagnostic Testing」に開示されている。

上で与えられた例は例示的であり、デジタルおよび実験室ヘルスケアプラットフォームと組み合わせた本明細書において説明されているシステムおよび方法の使用を制限するものではないことは理解されるべきである。

本明細書において開示されているシステムおよび方法は、(1)プレートの撮像に必要な時間、(2)細胞死を引き起こし結果を歪める可能性のある有毒色素の必要性、および(3)それらの色素を加えるための手作業の量を低減することができ、より多くの薬物または薬物の濃度を(たとえば、10倍)テストすることを可能にする。システムおよび方法は、明視野画像を受け取り、対応する蛍光読み出し値を予測し、複数の時点における細胞生存率(たとえば、所与の時点で生きているウェル中または画像中の細胞のパーセンテージ)の無標識(無色素)推定を可能にすることによって、各プレートを分析するために生成される画像の数を(たとえば、1/4もしくは1/5、または10,000枚の画像から約2,000～2,500枚の画像まで)減少させる。

本明細書において説明されているシステムおよび方法は、各細胞培養ウェルにおいて数百回以上の測定を行い、オルガノイドの薬物反応(たとえば、処置後に生存しているか、または死につつあるか)の不均一性を評価するために使用され得るが、これはオルガノイド毎に行ってもよい(たとえば、各オルガノイドにおける細胞死または生存可能細胞のパーセントを分析する)。複数の測定値は、蛍光強度、細胞増殖、細胞死、オルガノイド1つ当たりの細胞、ウェル1つ当たりの細胞、用量反応(たとえば、細胞生存率%対薬物用量のグラフ化、最良適合曲線または薬物用量反応曲線の計算、曲線の上および生存率100%の切片の下の面積の測定)、などを含む。これらの測定は、薬物反応の細胞機構の決定、および/またはオルガノイド株内または細胞培養ウェル内のオルガノイドの薬物耐性亜集団の検出を円滑にする。薬効(たとえば、用量反応)および特異性が測定され得る。1つまたは複数のオルガノイド株に対するすべての薬物の薬効がプロットされ得る。一例において、x軸は第1のオルガノイド株に対する薬効を示し、y軸は第2のオルガノイド株に対する薬効を示す。このプロットでは、右上付近の薬物は両方のオルガノイド株に対して有効であった。左上または右下の隅にある薬物は、オルガノイド株の1つに対して有効であった。

オルガノイド株を殺す薬物はまた、その薬物標的によって分類され定量化され得る。たとえば、オルガノイド株を殺す30個の最も効果的な薬物は、標的毎に有効な薬物の数を示す棒グラフで標的によって分類され得る。

次に図16を参照すると、第1の訓練済みモデル1604および第2の訓練済みモデル1612を使用して人工蛍光画像1616を生成するためのフローが示されている。第1の訓練済みモデル1604は、明視野画像1600に基づき1つまたは複数の個々のオルガノイド1608(たとえば、オルガノイドのセグメント化)を生成することができる。明視野画像1600は、1つまたは複数のオルガノイドを含むことができ、訓練済みの第1のモデル1604は、明視野画像1600からオルガノイド1608をセグメント化することによって各オルガノイドを識別することができる。いくつかの実施形態において、第1の訓練済みモデルは、人工ニューラルネットワークを含み得る。いくつかの実施形態において、人工ニューラルネットワークは、Mask-RCNNネットワークを含むことができる。

いくつかの実施形態において、第1の訓練済みモデル1604および第2の訓練済みモデルは、明視野画像1600内の各個別腫瘍オルガノイド(TO)に関連付けられている生存可能細胞および/または形態に基づきオルガノイド株の薬物反応および他の特性を予測するために使用することができる。

各オルガノイドを個別に評価することは、オルガノイドが明視野画像1600内の適所で評価される場合に比べて治療に関するより良い情報を提供し得る。各TOは、標本中に存在する異なる腫瘍クローンを表すものとしてよい。各TOは、異なる投与量レベルの異なる薬物に対する異なる治療反応を示し得る。画像内の視野全体にわたって生存率を集計することによってTOの生存率を評価する代わりに、オルガノイド毎のレベルでの生存率の分布(たとえば、各オルガノイド中に細胞がいくつ生存しているか)を理解し、場合によっては同じ腫瘍クローンに属するTOの生存率を集計することは、薬物に対するオルガノイドの反応についての理解を高め、ひいては薬物に対する患者の反応についての理解を高め得る。

いくつかの実施形態において、第1の訓練済みモデル1604は、個別のオルガノイドの周りのバウンディングボックスで注釈を入れられている明視野画像の訓練セットを使用して明視野画像1600からオルガノイドをセグメント化するように訓練され得る。いくつかの実施形態において、第1の訓練済みモデル1604は、明視野画像内のすべてのオルガノイドの周りにマスクおよびバウンディングボックスを生成することができる。いくつかの実施形態において、第1の訓練済みモデル1604は、オルガノイドに基づく特徴を生成して生存率および形態を評価するために使用され得るモデル埋め込みを生成することができる。

いくつかの実施形態において、第2の訓練済みモデル1612は、入力明視野オルガノイドに基づき人工蛍光画像を生成するように訓練された生成器408を含むことができる。第2の訓練済みモデル1612は、個々の明視野オルガノイドおよび個々の蛍光オルガノイドの訓練セットで訓練され得る。各個別蛍光オルガノイドは、生存率を生成するために使用することができる。すべてのオルガノイドに対する生存率が、集計され得る。オルガノイド毎の生存率の分布が生成され、および/または可視化され得る。いくつかの実施形態において、オルガノイド1つ当たりの生/死細胞の分布が計算され、単一の薬物濃度におけるオルガノイド生存率の分布から用量反応の予測または外挿を得ることができる。いくつかの実施形態において、プロセスは、どの切り取られたTOがどの腫瘍クローンに属するかを決定するためにサイド情報が利用可能である場合にオルガノイドの間で異なる腫瘍クローンの生存率を集計することができる。

いくつかの実施形態において、すべてのオルガノイドの形態が可視化され得る。いくつかの実施形態において、腫瘍オルガノイドの形態は、手作りの特徴またはモデル埋め込み、および教師ありまたは教師なしの設定のクラスタリングの使用のいずれかによって、可視化することができる。いくつかの実施形態において、形態学的クラスタは、クラスタ生存率、ひいては薬物反応に関連付けることができる。いくつかの実施形態において、TO形態は、薬物反応を予測するために使用され得る。

次に図16さらには図17を参照すると、腫瘍オルガノイドの蛍光画像を生成するためのプロセス1700が図示されている。プロセス1700は、1つもしくは複数のメモリまたは他の非一時的コンピュータ可読媒体におけるコンピュータ可読命令として実装されてよく、1つもしくは複数のメモリまたは他の媒体と通信する1つもしくは複数のプロセッサによって実行され得る。いくつかの実施形態において、プロセス1700は、メモリ220および/またはメモリ240におけるコンピュータ可読命令として実装され、プロセッサ204および/またはプロセッサ224によって実行され得る。

1704において、プロセス1700は、1つまたは複数のオルガノイドの明視野画像(たとえば、図16の明視野画像1600)を受け取ることができる。いくつかの実施形態において、明視野画像は、上で説明されているようにコントラストを増強するために前処理され得る。いくつかの実施形態において、明視野画像は、コントラスト増強などのいかなる前処理をも受けていない生画像であってよい。

1708において、プロセス1700は、明視野画像が未処理(すなわち、生)であるかどうかを決定することができる。明視野画像が未処理である場合(すなわち、1708において「YES」)、プロセス1700は1712に進むことができる。明視野画像が未処理でない場合(すなわち、1708において「NO」)、プロセス1700は1716に進むことができる。

1712において、プロセス1700は、明視野画像を前処理することができる。いくつかの実施形態において、明視野画像は、[0, 2¹⁶]の範囲のピクセル強度を有することができる。いくつかの実施形態において、プロセス1700は、明視野画像を符号なしバイト形式に変換することができ、値は[0, 255]の範囲内である。いくつかの実施形態において、プロセス1700は、明視野画像を、元のピクセル強度より少ないビットを有する別の形式に変換することができる。次いで、プロセス1700は、各ピクセル強度を所望の出力範囲に伸長し、クリップすることができる。いくつかの実施形態において、プロセス1700は、明視野画像に対する入力範囲を、明視野画像中のピクセル強度の第2および第98パーセンタイルを出力範囲[0, 255]に一様に伸長することによって決定することができる。

1716において、プロセス1700は、明視野画像を第1の訓練済みモデルに提供することができる。いくつかの実施形態において、第1の訓練済みモデルは、図16における第1の訓練済みモデル1604であってよい。いくつかの実施形態において、訓練済みモデルは、ニューラルネットワークであってよい。いくつかの実施形態において、ニューラルネットワークは、Mask-RCNNモデルを含むことができる。

1720において、プロセス1700は、(たとえば、64×64×1または32×32×1画像における)第1の訓練済みモデルから少なくとも1つの個別の腫瘍オルガノイドを受け取ることができる。各個別の腫瘍オルガノイドは、明視野画像の一部であってよい。

1724において、プロセス1700は、少なくとも1つの個別の腫瘍オルガノイドを第2の訓練済みモデルに提供することができる。いくつかの実施形態において、第2の訓練済みモデルは、図16における第2の訓練済みモデル1612を含むことができる。いくつかの実施形態において、プロセス1700は、各個別の腫瘍オルガノイドを第2の訓練済みモデルに順次提供することができる。

1728において、プロセス1700は、第2の訓練済みモデルから少なくとも1つの人工蛍光画像を受け取ることができる。各人工蛍光画像は、個別の腫瘍オルガノイドに基づき生成され得る。人工蛍光画像は、腫瘍オルガノイドに含まれる細胞が生きているか、または死んでいるかを示すことができる。

1732において、プロセス1700は、少なくとも1つの人工蛍光画像を出力させることができる。いくつかの実施形態において、プロセス1700は、少なくとも1つの人工蛍光画像をメモリ(たとえば、メモリ220および/またはメモリ240)および/またはディスプレイ(たとえば、ディスプレイ116、ディスプレイ208、および/またはディスプレイ228)のうちの少なくとも1つに出力させることができる。少なくとも1つの人工蛍光画像は、各個別のオルガノイド内の細胞の生/死カウントを提供するために使用され得る。いくつかの実施形態において、プロセス1700は、細胞の正確な生/死カウント、生存可能な細胞のパーセンテージ、および/または各オルガノイドに対する細胞カウントレポートを受け取るために、少なくとも1つの人工蛍光画像を自動細胞計数プロセスへ出力させることができる。たとえば、プロセス1700は、少なくとも1つの人工蛍光画像を、https://cellprofiler.orgから入手可能なCellProfilerに出力させることができる。いくつかの実施形態において、プロセス1700は、細胞カウントレポート、生存可能な細胞のパーセンテージ、および/または各オルガノイドにおける細胞の正確な生/死カウントを受け取るために少なくとも1つの人工蛍光画像のうちの1つまたは複数のチャネルを自動細胞計数プロセスへ出力させることができる。いくつかの実施形態において、プロセス1700は、細胞カウントレポート、生存可能な細胞のパーセンテージ、および/または人工蛍光画像内の細胞の正確な生/死カウントを受け取るために、人工蛍光画像を訓練済みモデルに出力させることができる。いくつかの実施形態において、プロセス1700は、細胞カウントレポート、生存可能な細胞のパーセンテージ、および/または人工蛍光画像内の細胞の正確な生/死カウントを受け取るために、明視野画像および人工蛍光画像の1つ、2つ、または3つのチャネルの組み合わせ(たとえば、連結によって組み合わされた画像埋め込み)を自動細胞計数プロセスへ出力させることができる。

いくつかの実施形態では、1732において、プロセス1700は、人工蛍光画像内の細胞を、チャネルの各々をグレースケールに変換し、斑点、リング形状、神経突起、暗穴などのいくつかの特徴を増強し、抑制し、全細胞チャネルに属す一次物体であって、これらの物体の典型的な直径(ピクセル単位の)が、1.3488の平滑スケールで最小交差エントロピー閾値化法により2から20までの間のどこかの値に設定される、一次物体を識別し、ここでもまた死細胞チャネルに属す一次物体であって、典型的な直径がピクセル単位で5から20までの間のどこかの値である、一次物体を識別することによって、識別することができる。このようにして、プロセス1700は、細胞カウントレポートを生成することができる。いくつかの実施形態において、プロセス1732は、細胞の生/死カウントまたは各オルガノイドに対する生存可能な細胞のパーセンテージに基づき薬物および/または投与量が腫瘍オルガノイド細胞を殺すのに有効であるかどうかを決定することができる。いくつかの実施形態では、1732において、プロセス1700は、単一の濃度でのオルガノイドの生存率の分布から用量反応を外挿することができる。

いくつかの実施形態において、プロセス1700は、細胞カウント、細胞カウントレポート、および/または人工蛍光画像に基づくレポートを生成することができる。いくつかの実施形態において、プロセス1700は、レポートをメモリ(たとえば、メモリ220および/またはメモリ240)および/またはディスプレイ(たとえば、ディスプレイ116、ディスプレイ208、および/またはディスプレイ228)のうちの少なくとも1つに出力させることができる。次いで、プロセス1700は終了することができる。

TO薬物反応を予測するためのニューラルネットワークベースのモデル、および蛍光標識がない場合の明視野画像からの応答予測。
いくつかの実施形態において、プロセスは、生存している(生きている)画像内の細胞のパーセンテージを受け取るために明視野画像および人工蛍光画像のうちの1つ、2つ、または3つのチャネルを自動細胞計数プロセス(たとえば、生存率推定プロセス)に出力させることができる。

図18は、明視野画像1804に基づき生存率1820を予測するためのフロー1800を示している。明視野画像1804は、腫瘍オルガノイドおよび/または細胞の3チャネル明視野画像であってよい。フロー1800は、明視野画像1804を生成器1808に提供することを含むことができる。いくつかの実施形態において、生成器1808は、明視野画像1804に基づき人工蛍光画像1812を生成することができる。フロー1800は、明視野画像1804および人工蛍光画像1812を識別器1816に提供することを含むことができる。識別器は、明視野画像1804および人工蛍光画像1812に基づき生存率1820を生成することができる。

次に図18さらには図19を参照すると、例示的な生成器1900および例示的な識別器1902が図示されている。いくつかの実施形態において、識別器1902は、生成器1900を訓練するために使用され得る。いくつかの実施形態において、生成器1900および識別器1902は、正則化条件付き敵対的(RCA)ネットワークに含まれ得る。

いくつかの実施形態において、生成器1900は、エンコーダ-デコーダU-Netネットワークを含むことができる。いくつかの実施形態において、U-Netはスキップ接続を含むことができる。いくつかの実施形態において、生成器1900は、2次元明視野画像(たとえば、1024×1024明視野画像)を受け取ることができる。いくつかの実施形態において、生成器1900は、明視野画像に基づき、正規化された3チャネル高解像度1024×1024×3出力蛍光画像を生成することができ、3つのチャネルは、Hoechst33342全核染色読み出し値、Caspase-3/7アポトーシス染色読み出し値、およびTOPRO-3死細胞染色読み出し値にそれぞれ対応する。

次に図18および図19さらには図20を参照すると、識別器1904は、明視野画像および人工蛍光画像に基づき生存率予測1924を生成することができる。識別器1904は、エンコーダブランチ1908および完全接続ブランチ1912を含むことができる。いくつかの実施形態において、エンコーダブランチ1908は、70×70patchGANを含むことができる。いくつかの実施形態において、エンコーダブランチ1908は、サイズ1024×1024×6の連結された明視野画像および蛍光画像1916を受け取ることができる。いくつかの実施形態において、エンコーダブランチ1908は、出力予測マップ1920(たとえば、サイズ126×126×1の出力予測マップ)を生成することができる。次いで、完全接続ブランチ1912は、出力予測マップ1920に基づき生存率予測1924を生成することができる。いくつかの実施形態において、完全接続ブランチ1912は、多数の完全接続層(たとえば、2つの完全接続層)と、生存率予測1924を出力するシグモイド活性化層とを含むことができる。生存率予測1924は、生存率を示すことができる。いくつかの実施形態において、生存率予測1924は、0(生存可能性なしを示す)から1(高い生存可能性を示す)までであり、および/またはその範囲である得る。

訓練
テストする際に、生成器1900および識別器1902は、TO-PRO-3生存率に基づく関連付けられている計算済み薬物反応を各々有する、結腸腺癌TOスクリーニング実験からの8415対の明視野および3チャネル蛍光画像で訓練された。いくつかの実施形態において、目的関数(たとえば、訓練に使用される損失関数)は、明視野画像毎の全体的な生存率を計算する識別器のブランチに対して回帰することを目的として識別器における追加の平均二乗誤差損失を含むことができる。識別器1902および生成器1900に対する例示的な損失関数は、以下で与えられる。
D_Loss=MSE_Loss{Real Prediction,1}+MSE_Loss{Fake Prediction,0}+ MSE_Loss{Predicted Viability,Viability}
G_Loss=MSE_Loss{Fake Prediction,1}+MAE_Loss{Fake Fluorescent,Real Fluorescent}+ SSIM{Fake Fluorescent,Real Fluorescent}
識別器1902に対する重みは、D_Lossを最小にすることによって更新され、生成器1900に対する重みは、G_Lossを最大にすることによって更新され得る。

検証
検証において、実蛍光と生成蛍光の代表的画像との比較から、ほとんど見分けが付かない視覚的マッチングがあることが実証された。これらの結果は、構造的類似性指数(SSIM)および平均二乗誤差の平方根(RMSE)という2つの定量的メトリックを使用して確認された。スクリーニング実験に使用された結腸腺癌TOの1,526個のサンプルにわたる報告された平均SSIMおよびRMSE値はそれぞれ0.90および0.13924であった。胃TO株については、9200個のサンプルにわたる報告された平均SSIMおよびRMSE値は、それぞれ0.898および0.136であった。

TOの説明、画像解析、および訓練データのための画像の生成
TOは、単一細胞に解離され、GFRマトリゲルと100細胞/μlの濃度の増殖培地との30:70%混合液中で再懸濁された。この溶液は、ウェル1つ当たり20μlで384ウェルアッセイプレート(Corning)に加えられ、最終濃度をウェル1つ当たり細胞2,000個とした。アッセイプレートは、蒸発を防ぐためにBreathe-Easyシーリング膜(Sigma Aldrich)で覆われた。TOは、薬物添加の前に72時間増殖された。薬物は、2.5μMのCaspase-3/7Green Apoptosis Assay Reagent(Essen Bioscience)を用いて増殖培地中で調製された。各分子の連続希釈液が、384ウェルポリスチレンプレート(Nunc)において調製された。7回分の10倍希釈液が、10μMの高用量の各化合物について作られた。選択化合物は、最大溶解度によって1μMの高用量に制限された。希釈された薬物は、Integra Assist Plus Pipetting Robot(Integra)に装着されたIntegra Viafloピペット(Integra)を使用してアッセイプレートに加えられた。アッセイプレートは、再び、Breathe-Easyシーリング膜で覆われ、TOは、撮像前のさらに72時間の間薬物に曝露された。

撮像の前に、TOは、4μM Hoechst33342(Fisher Scientific)および300nM TO-PRO-3Iodide(642/661)(Invitrogen)で1.5～2時間にわたってインキュベートされた。アッセイプレートは、ImageXpress Micro Confocal(Molecular Devices)を使用して、10Xの倍率で撮像され、それにより約100～200個のTOが、ウェル毎に撮像された。多重化蛍光画像は、1024×1024×3RGB画像であり、赤色は死細胞(TO-PRO-3)に、緑色はアポトーシス細胞(Caspase-3/7)に、青色は核(Hoechst33342)に対応する。すべての波長チャネルは、単純な強度再スケーリングのコントラスト増強技術を施され、それによりTO/細胞を明るくし鮮明にし、さらにはバックグラウンドノイズを除去した。

画像は、4×15μmのZスタックとして取得され、2D投影が解析されそれにより細胞生存率を評価した。共焦点画像は、MetaXpressソフトウェア(Molecular Devices)のカスタムモジュールエディタ機能を使用して解析され、それにより、Hoechst33342染色のクラスタによってTOを、Hoechst33342染色によって個別の細胞を、およびTO-PRO-3またはCaspase-3/7染色のいずれかによって死/死にゆく細胞を識別する分析モジュールを設計した。この分析モジュールの結果は、すべての個別のオルガノイドに対する生細胞および死細胞の数を詳細に示すスプレッドシートである。各生存率の値は、0以上(生存可能な細胞が0%)、および1以下(生存可能な細胞が100%)であった。

生存率計算=部位内のすべての生細胞の合計/部位内のすべての細胞の合計(部位毎の生細胞の比率を与える)。より効果の高い薬物は、より高い生存率を有する、効果の低い薬物と比べて、より高い用量で低い生存率(より多くの細胞が死ぬ)を有する。

部位毎のすべてのオルガノイドの平均生存率(たとえば、画像毎の)は、MetaXpressソフトウェアの読み出し値から取得された。生存率識別器を訓練するのに使用される訓練データセットに加えられた各画像について、画像は、ラベルまたはメタデータとしてその画像に関連付けられている平均生存率で保存された。画像は1024×1024の解像度を有し、訓練データとして使用される前にデータ増強ステップとしてランダムにフリップされた。

この例の訓練データセットは、15枚の培養プレートを表す7000枚の画像を含んでいた。

TO1つ当たりの生存可能細胞のパーセンテージは、上で説明されている画像解析結果に基づき計算された。3個未満の細胞を有するTO、サイズによって上位1パーセントより大きいTO、および20個より少ないTOが検出されたウェルは、分析から除外された。

別の実施例では、AUCは、訓練データを生成するためのメタデータまたはラベルとして使用され得る。所与の薬物濃度におけるすべてのTOに対する平均生存率が、AUCを計算するために用量反応曲線において使用された。AUCは、R Package PharmacoGx(v1.17.1)の「実際の」AUCに対する設定を使用するcomputeAUC関数を使用して計算された。AUC値のヒートマップは、RのPheatmapパッケージ(v1.0.12)を使用して生成された。AUC値の散布図は、Rのggplot2パッケージ(v3.3.0)を使用して生成された。

次に図18～図20、さらには図21を参照すると、生存率値を生成するためのプロセス2100が図示されている。プロセス2100は、1つもしくは複数のメモリまたは他の非一時的コンピュータ可読媒体におけるコンピュータ可読命令として実装されてよく、1つもしくは複数のメモリまたは他の媒体と通信する1つもしくは複数のプロセッサによって実行され得る。いくつかの実施形態において、プロセス2100は、メモリ220および/またはメモリ240におけるコンピュータ可読命令として実装され、プロセッサ204および/またはプロセッサ224によって実行され得る。

2104において、プロセス2100は、1つまたは複数のオルガノイドの明視野画像(たとえば、図18の明視野画像1804)を受け取ることができる。いくつかの実施形態において、明視野画像は、上で説明されているようにコントラストを増強するために前処理され得る。いくつかの実施形態において、明視野画像は、コントラスト増強などのいかなる前処理をも受けていない生画像であってよい。

2108において、プロセス2100は、明視野画像が未処理(すなわち、生)であるかどうかを決定することができる。明視野画像が未処理である場合(すなわち、2108において「YES」)、プロセス2100は2112に進むことができる。明視野画像が未処理でない場合(すなわち、2108において「NO」)、プロセス2100は2116に進むことができる。

2112において、プロセス2100は、明視野画像を前処理することができる。いくつかの実施形態において、明視野画像は、[0, 2¹⁶]の範囲のピクセル強度を有することができる。いくつかの実施形態において、プロセス2100は、明視野画像を符号なしバイト形式に変換することができ、値は[0, 255]の範囲内である。いくつかの実施形態において、プロセス2100は、明視野画像を、元のピクセル強度より少ないビットを有する別の形式に変換することができる。次いで、プロセス2100は、各ピクセル強度を所望の出力範囲に伸長し、クリップすることができる。いくつかの実施形態において、プロセス2100は、明視野画像に対する入力範囲を、明視野画像中のピクセル強度の第2および第98パーセンタイルを出力範囲[0, 255]に一様に伸長することによって決定することができる。

2116において、プロセス2100は、明視野画像を訓練済みモデルに提供することができる。いくつかの実施形態において、訓練済みモデルは、生成器(たとえば、生成器1808および/または生成器1900)および識別器(たとえば、識別器1816および/または識別器1904)を含むことができる。いくつかの実施形態において、プロセス2100は、明視野画像を生成器に提供することと、プロセスから人工蛍光画像を受け取ることと、明視野画像を人工蛍光画像と連結して連結済み画像を生成することと、連結済み画像を識別器に提供することとを含むことができる。

2120において、プロセス2100は、訓練済みモデルから生存率(たとえば、生存率値)を受け取ることができる。いくつかの実施形態において、プロセス2100は、識別器1904から生存率を受け取ることができる。いくつかの実施形態において、生存率は、生存率1820および/または生存率予測1924であってよい。

2124において、プロセス2100は、生存率を出力させることができる。いくつかの実施形態において、プロセス2100は、生存率をメモリ(たとえば、メモリ220および/またはメモリ240)および/またはディスプレイ(たとえば、ディスプレイ116、ディスプレイ208、および/またはディスプレイ228)のうちの少なくとも1つに出力させることができる。いくつかの実施形態において、プロセス2100は、生存率に基づきレポートを生成することができる。いくつかの実施形態において、プロセス2100は、レポートをメモリ(たとえば、メモリ220および/またはメモリ240)および/またはディスプレイ(たとえば、ディスプレイ116、ディスプレイ208、および/またはディスプレイ228)のうちの少なくとも1つに出力させることができる。次いで、プロセス2100は終了することができる。

本開示は、1つまたは複数の好ましい実施形態を説明しており、多くの等価形態、代替的形態、変更形態、および修正形態が、明示的に述べられているものを除き、可能であり、本発明の範囲内にあることは理解されるべきである。

100 システム
104 コンピューティングデバイス
108 二次コンピューティングデバイス
112 通信ネットワーク
116 ディスプレイ
120 オルガノイド画像データベース
124 訓練データデータベース
128 訓練済みモデルデータベース
132 オルガノイド画像解析アプリケーション
136 訓練済みモデル
200 例
204 プロセッサ
208 ディスプレイ
212 入力
216 通信システム
220 メモリ
224 プロセッサ
228 ディスプレイ
232 入力
236 通信システム
240 メモリ
300 フロー
304 ヒト患者
308 腫瘍標本
312 オルガノイド
316 薬物スクリーニング
320 オルガノイド
324 明視野および蛍光画像
400 フロー
404 入力された明視野画像
408 生成器
412 人工蛍光画像
416 識別器
420 目的関数値計算
424 グランドトゥルース蛍光画像
500 フロー
504 明視野画像
508 訓練済みモデル
512 人工蛍光画像
600 ニューラルネットワーク
604 入力画像
608 人工蛍光画像
700 識別器
704 明視野画像
708 蛍光画像
712 予測ラベル
800 プロセス
900 プロセス
924 プロセス
1004 明視野画像
1008 青色/全核チャネル蛍光画像
1012 緑色/アポトーシスチャネル蛍光画像
1016 赤色/ピンク色/死チャネル蛍光画像
1020 組み合わされた3チャネル蛍光画像
1024 明視野画像
1028 青色/全核チャネル蛍光画像
1032 緑色/アポトーシスチャネル蛍光画像
1036 赤色/ピンク色/死チャネル蛍光画像
1040 組み合わされた3チャネル蛍光画像
1100 フロー
1200 フロー
1300 プロセス
1504 第1の画像
1508 第2の画像
1512 第3の画像
1516 第4の画像
1520 第5の画像
1524 第6の画像
1528 第7の画像
1532 第8の画像
1536 第9の画像
1540 第10の画像
1600 明視野画像
1604 第1の訓練済みモデル
1608 オルガノイド
1612 第2の訓練済みモデル
1616 人工蛍光画像
1700 プロセス
1800 フロー
1804 明視野画像
1808 生成器
1812 人工蛍光画像
1816 識別器
1820 生存率
1900 生成器
1902 識別器
1904 識別器
1908 エンコーダブランチ
1912 完全接続ブランチ
1920 出力予測マップ
1924 生存率予測
2100 プロセス

Claims (22)

1. 腫瘍オルガノイドの群に含まれる細胞が生きているか、または死んでいるかを示す腫瘍オルガノイドの人工蛍光画像を生成する方法であって、
   明視野画像を受け取るステップと、
   前記明視野画像を訓練済みモデルに提供するステップと、
   前記訓練済みモデルから前記人工蛍光画像を受け取るステップと、
   前記人工蛍光画像をメモリまたはディスプレイのうちの少なくとも1つに出力するステップと
   を含む方法。
2. 前記明視野画像を前記人工蛍光画像に連結して連結済み画像を生成するステップと、
   前記連結済み画像に基づき生存率値を生成するステップと
   をさらに含む、請求項1に記載の方法。
3. 腫瘍オルガノイドの前記群は、結腸直腸癌、胃癌、乳癌、肺癌、子宮内膜癌、結腸癌、頭頸部癌、卵巣癌、膵臓癌、胃癌、肝胆道癌、または泌尿生殖器癌と関連付けられる、請求項1に記載の方法。
4. 前記訓練済みモデルは、人工ニューラルネットワークを含む、請求項1に記載の方法。
5. 前記人工ニューラルネットワークは、敵対的生成ネットワーク(GAN)を含む、請求項4に記載の方法。
6. 前記訓練済みモデルは、構造的類似性指数(SSIM)を含む損失関数に基づき訓練される、請求項1に記載の方法。
7. 前記訓練済みモデルは、識別器損失を含む損失関数に基づき訓練される、請求項1に記載の方法。
8. 前記訓練済みモデルは、生成器損失および識別器損失を含む損失関数に基づき訓練される、請求項1に記載の方法。
9. コントラストレベルを高めるように前記明視野画像を前処理するステップをさらに含む、請求項1に記載の方法。
10. 前処理する前記ステップは、
    前記明視野画像を符号なしバイト形式に変換するステップと、
    前記明視野画像に含まれる各ピクセル強度を[0～255]の所望の出力範囲に伸張しクリップするステップと
    を含み、伸張することは、前記明視野画像内のピクセル強度の第2および第98パーセンタイルを前記所望の出力範囲に一様に伸張することを含む、請求項9に記載の方法。
11. 前記訓練済みモデルを訓練するために使用される訓練データに含まれる明視野画像および蛍光画像を前処理するステップをさらに含む、請求項1に記載の方法。
12. 前記訓練済みモデルは、生成器を含み、前記生成器は、一部は識別器によって訓練される、請求項1に記載の方法。
13. 腫瘍オルガノイドの前記群は、少なくとも300個のウェルを含むウェルプレート上に蒔かれる、請求項1に記載の方法。
14. 前記人工蛍光画像を出力する前記ステップは、腫瘍オルガノイドの前記群を治療するために使用される薬物の有効性を決定するための薬物スクリーニングプロセスに前記人工蛍光画像を出力するステップを含む、請求項1に記載の方法。
15. 第2の明視野画像を前記訓練済みモデルに提供するステップと、
    前記訓練済みモデルから第2の人工蛍光画像を受け取るステップと
    をさらに含む、請求項1に記載の方法。
16. 前記第2の明視野画像は、腫瘍オルガノイドの第2の群を含み、前記第2の人工蛍光画像は、腫瘍オルガノイドの前記第2の群に含まれる細胞が生きているか、または死んでいるかを示す、請求項15に記載の方法。
17. 前記第2の明視野画像は、腫瘍オルガノイドの前記群のビューを含み、前記第2の明視野画像は前記明視野画像が生成された後の所定の期間に生成され、前記第2の人工蛍光画像は、腫瘍オルガノイドの前記群に含まれる細胞が生きているか、または死んでいるかを示す、請求項15に記載の方法。
18. 前記所定の期間は、少なくとも12時間である、請求項17に記載の方法。
19. 前記所定の期間は、少なくとも24時間である、請求項17に記載の方法。
20. 前記所定の期間は、少なくとも72時間である、請求項17に記載の方法。
21. 前記所定の期間は、少なくとも1週間である、請求項17に記載の方法。
22. 少なくとも1つのプロセッサと少なくとも1つのメモリとを備える腫瘍オルガノイド分析システムであって、
    腫瘍オルガノイドの群の明視野画像を受け取り、
    前記明視野画像を訓練済みモデルに提供し、
    腫瘍オルガノイドの前記群に含まれる細胞が生きているか、または死んでいるかを示す人工蛍光画像を前記訓練済みモデルから受け取り、
    前記人工蛍光画像をメモリまたはディスプレイのうちの少なくとも1つに出力する
    ように構成されたシステム。

Images