JP2023525743A - 各画像が捕捉された特定のビューに敏感な方法で医療画像内の解剖学的構造を自動的に識別する - Google Patents

Abstract

医療撮像画像を処理するための機構が記載されている。機構は、画像が対応するビューを認識するように訓練された第１の機械学習モデルと、画像内で視覚化された解剖学的特徴のセットのうちのいずれかを識別するように訓練された第２の機械学習モデルと、に適用される。機構は、認識されたビューに対応する画像の許容された解剖学的特徴のリストにアクセスし、アクセスされたリストにないものを除外するように識別された解剖学的特徴をフィルタリングする。機構は、アクセスされた画像を表示させ、フィルタリングされた識別された解剖学的特徴の各々の視覚的表示に重ね合わせる。

Description

（関連出願に対する相互参照）
本出願は、２０２０年５月１１日に出願された「ＣＬＡＳＳＩＦＹＩＮＧ ＯＵＴ－ＯＦ－ＤＩＳＴＲＩＢＵＴＩＯＮ ＲＥＳＵＬＴＳ ＦＲＯＭ ＯＢＪＥＣＴ ＤＥＴＥＣＴＩＯＮ ＯＲ ＳＥＧＭＥＮＴＡＴＩＯＮ ＯＦ ＵＬＴＲＡＳＯＵＮＤ ＩＭＡＧＥＳ」と題する米国仮特許出願第６３／０２２，９８６号、及び２０２０年６月２６日に出願された 「ＡＵＴＯＭＡＴＩＣＡＬＬＹ ＩＤＥＮＴＩＦＹＩＮＧ ＡＮＡＴＯＭＩＣＡＬ ＳＴＲＵＣＴＵＲＥＳ ＩＮ ＭＥＤＩＣＡＬ ＩＭＡＧＥＳ ＩＮ Ａ ＭＡＮＮＥＲ ＴＨＡＴ ＩＳ ＳＥＮＳＩＴＩＶＥ ＴＯ ＴＨＥ ＰＡＲＴＩＣＵＬＡＲ ＶＩＥＷ ＩＮ ＷＨＩＣＨ ＥＡＣＨ ＩＭＡＧＥ ＩＳ ＣＡＰＴＵＲＥＤ」と題する米国非仮特許出願第１６／９１３，３２２号の利益を主張し、これらの両方は、参照によりその全体が本明細書に組み込まれる。

本出願が参照により組み込まれる文書と矛盾する場合、本出願が管理する。

超音波撮像は、有用な医療画像化モダリティである。例えば、患者の身体の内部構造は、治療的介入の前、最中、又は後に画像化され得る。医療専門家は、典型的には、「トランスデューサ」と呼ばれる携帯型超音波プローブを患者に近接して保持し、必要に応じてトランスデューサを移動させて、患者の関心領域内の１つ以上の標的構造を視覚化することができる。トランスデューサは、体の表面上に配置されてもよく、又はいくつかの手順では、トランスデューサが患者の体内に挿入される。医療専門家は、三次元容積の二次元断面などの、スクリーン上の所望の表現を得るために、トランスデューサの動きを座標化する。

器官若しくは他の組織又は身体特徴（体液、骨、関節など）の特定のビューは臨床的に有意であり得る。そのようなビューは、標的器官、診断目的などに応じて、超音波オペレータが捕捉すべきビューとして臨床基準で規定され得る。

いくつかの超音波画像では、画像内で視覚化された解剖学的構造を識別することが有用である。例えば、特定の器官を示す超音波画像ビューでは、器官内の構成構造を識別することが有用であり得る。一例として、心臓のいくつかのビューでは、左及び右の心房、左心室及び右心室、並びに大動脈、僧帽弁、肺、及び三尖弁などの構成構造が可視である。

既存のソフトウェア解決策は、そのような構造を自動的に識別しようとしてきた。これらの既存の解決策は、それぞれが可視である境界ボックスを指定することによって構造を「検出」すること、又は画像内の各構造の境界を追跡することによって構造を「セグメント化」することを求める。

本開示の１つ以上の実施形態による、生理学的感知装置１０の概略図である。 コンピュータシステム及び機構が動作する他の装置の少なくともいくつかに典型的に組み込まれた構成要素のうちのいくつかを示すブロック図である。 医療画像のビューを予測し、構造を検出するために１つ以上の機械学習モデルを訓練するために、いくつかの実施形態において機構によって実行されるプロセスを示すフロー図である。 いくつかの実施形態において機構によって使用されるモデルアーキテクチャを示すモデル図である。 作成中の患者画像を処理するために、いくつかの実施形態において機構によって実行されるプロセスを示すフロー図である。 機構によってアクセスされるサンプル患者画像を示す医療画像図である。 機構によって識別された構造を示すために注釈付けされた、サンプル患者画像を示す医療画像図である。 様々なビューの許可された構造のリストを記憶するために、いくつかの実施形態において機構によって使用される表のサンプル内容を示す表図である。 機構によって識別された構造を示すために注釈付けされ、予測ビューに許可された構造にフィルタリングされたサンプル患者画像を示す医療画像図である。 いくつかの実施形態において機構内で発生するデータフローを示すデータフロー図である。

本発明者らは、超音波画像に示される器官の構成構造を自動的に識別するための従来のアプローチが重大な欠点を有することを認識した。特に、これらの従来のアプローチは、しばしば偽陽性を生成する。すなわち、これらは画像内に実際には存在しない構造を識別する。これは、心臓の４つの弁など、器官が同様のサイズ及び形状の複数の構造を含む場合に特に一般的である。場合によっては、従来のアプローチは、識別された構造を閾値よりも高い信頼値を有するものに制限する信頼閾値動作パラメータを大幅に上昇させることによって、偽陽性の問題を低減又は排除しようとする。ほとんど又は全ての偽陽性を排除するために、この信頼閾値は、反対の問題、すなわち、実際に見える構造が識別結果から除外される偽陰性を作り出すほど高く設定されなければならない。

これらの欠点を認識することに応答して、本発明者らは、各画像が捕捉された特定のビューに敏感な方法（「機構」）で、超音波及び画像などの医療画像内の解剖学的構造を自動的に識別するソフトウェア及び／又はハードウェア機構を考案及び実施した。そうすることにより、機構は、偽陰性の発生を最小限に抑えるように、信頼閾値動作パラメータを比較的低く設定することができる。同時に、機構は、識別された構造を、画像が捕捉されたビューにおいて典型的に見える構造に限定することによって、偽陽性の発生を最小限に抑える。いくつかの実施形態では、機構は、画像認識機械学習技術を使用して各画像が捕捉されたビューを自動的に決定する。

以下で更に説明する機構の動作の一例では、機構は、画像認識機械学習技術を使用して、人間の心臓の画像内の５つの候補構造を識別する。機構は、画像認識機械学習技術を使用して、この画像を心臓の「心尖部四腔」ビューからのものとして分類する。この分類に基づいて、機構は、このビューから捕捉された心臓の画像で識別されることができる構造のリストにアクセスする。許可された構造のこのリストを５つの識別された候補構造と比較することにより、機構は、識別された候補構造のうちの４つのみがリストに存在すると判定する。これに応答して、機構は、５つの識別された候補構造の中から、リスト内に存在する４つのみを識別する。

上述の方法のいくつか又は全てで動作することにより、機構は、従来よりも高い精度で医療画像内の解剖学的構造を自動的に識別する。

更に、機構は、特定のタスクを実行するために必要な動的表示領域、処理、ストレージ、及び／又はデータ伝送リソースを低減することなどによってコンピュータ又は他のハードウェアの機能を改善し、それによって、タスクをより少ない能力、容量性、及び／又は高価なハードウェア装置、及び／又はより短い待ち時間で実行すること、及び／又は他のタスクを実行する際に使用するための保存リソースのより多くの保存を可能にする。例えば、有意に少ない偽陽性で可視化された全ての構造をより頻繁に識別することによって初期医療画像の有用性を最大化することにより、機構は、再画像化が必要である多くのケースを回避する。再画像化の必要性を低減することにより、全体的に、追加の画像を捕捉し、追加の自動構造識別の追加ラウンドを実行するために機構が消費するメモリ及び処理リソースが少なくなる。

図１は、本開示の１つ以上の実施形態による、生理学的感知装置１０の概略図である。装置１０は、図示した実施形態では、ケーブル１７によってハンドヘルドコンピューティング装置１４に電気的に結合されたプローブ１２を含む。ケーブル１７は、プローブ１２をコンピューティング装置１４に取り外し可能に接続するコネクタ１８を含む。ハンドヘルドコンピューティング装置１４は、タブレットコンピュータ、スマートフォンなどの、ディスプレイを有する任意のポータブルコンピューティング装置であってもよい。いくつかの実施形態では、プローブ１２は、ハンドヘルドコンピューティング装置１４に電気的に結合されている必要はないが、ハンドヘルドコンピューティング装置１４とは独立して動作してもよく、プローブ１２は、無線通信チャネルを介してハンドヘルドコンピューティング装置１４と通信してもよい。

プローブ１２は、超音波信号を標的構造に向けて送信し、超音波信号の送信に応答して標的構造から戻って来たエコー信号を受信するように構成されている。プローブ１２は、様々な実施形態では、超音波信号を伝送し、その後のエコー信号を受信することができるトランスデューサ素子のアレイ（例えば、トランスデューサアレイ）を含み得る超音波センサ２０を含む。

装置１０は、処理回路及び駆動回路を更に含む。部分的には、処理回路は、超音波センサ２０からの超音波信号の送信を制御する。駆動回路は、例えば、処理回路から受信した制御信号に応答して、超音波信号の送信を駆動するための超音波センサ２０に動作可能に結合される。駆動回路及びプロセッサ回路は、プローブ１２及びハンドヘルドコンピューティング装置１４の一方又は両方に含まれてもよい。装置１０はまた、例えば、パルス波動作モード又は連続波動作モードで超音波信号を送信するための駆動回路に電力を供給する電源を含む。

プローブ１２の超音波センサ２０は、超音波信号を送信する１つ以上の送信トランスデューサ素子と、超音波信号の送信に応答して標的構造から戻って来るエコー信号を受信する１つ以上の受信トランスデューサ素子と、を含んでもよい。いくつかの実施形態では、超音波センサ２０のトランスデューサ素子の一部又は全部は、第１の期間中に送信トランスデューサ素子として機能し、第１の期間とは異なる第２の期間中に受信トランスデューサ素子として機能してもよい（すなわち、同じトランスデューサ素子が異なる時間に、超音波信号を送信し、エコー信号を受信するために使用可能であってもよい）。

図１に示すコンピューティング装置１４は、ディスプレイ画面２２及びユーザインターフェース２４を含む。ディスプレイ画面２２は、ＬＣＤ又はＬＥＤディスプレイ技術を含むがこれに限定されない、任意の種類のディスプレイ技術を組み込んだディスプレイであってもよい。ディスプレイ画面２２を使用して、超音波信号の送信に応答して受信されたエコー信号から得られたエコーデータから生成された１つ以上の画像を表示し、いくつかの実施形態では、ディスプレイ画面２２は、例えば、カラードプライメージング（ＣＤＩ）モードで提供され得るようなカラーフロー画像情報を表示するために使用されてもよい。更に、いくつかの実施形態では、ディスプレイ画面２２は、取得又は調整された聴診信号を表す波形などの音声波形を表示するために使用されてもよい。

いくつかの実施形態では、ディスプレイ画面２２は、画面にタッチするユーザから入力を受け取ることができるタッチスクリーンであってもよい。そのような実施形態では、ユーザインターフェース２４は、タッチを介してユーザ入力を受信することが可能な、ディスプレイ画面２２の一部分又は全体を含んでもよい。いくつかの実施形態では、ユーザインターフェース２４は、超音波装置１０のユーザから入力を受け取ることが可能な１つ以上のボタン、ノブ、スイッチなどを含んでもよい。いくつかの実施形態では、ユーザインターフェース２４は、音声コマンドなどの可聴入力を受け取ることができるマイクロフォン３０を含んでもよい。

コンピューティング装置１４は、取得又は調整された聴診信号又はエコー信号の可聴表現、ドップラー超音波撮像中の血流、又は装置１０の動作から導出された他の特徴を出力するために使用され得る１つ以上のオーディオスピーカ２８を更に含み得る。

プローブ１２は、プローブ１２の外側部分を形成するハウジングを含む。ハウジングは、ハウジングの遠位端付近に位置するセンサ部分、及びハウジングの近位端と遠位端との間に位置するハンドル部分を含む。ハンドル部分は、センサ部分に対して近位側に位置する。

ハンドル部分は、使用中にプローブ１２を保持、制御、及び操作するためにユーザによって把持される、ハウジングの一部分である。ハンドル部分は、１つ以上の滑り止めなどの把持機構を含んでもよく、いくつかの実施形態では、ハンドル部分は、ハンドル部分の遠位側又は近位側のハウジングの部分と同じ一般形状を有してもよい。

ハウジングは、例えば、駆動回路、処理回路、発振器、ビーム形成回路、フィルタリング回路などの電子機器を含む、プローブ１２の内部電子構成要素及び／又は回路を取り囲む。ハウジングは、感知面などのプローブ１２の外部に配置された部分を取り囲むか、又は少なくとも部分的に取り囲むように形成され得る。ハウジングは、水分、液体、又は他の流体がハウジングに入ることが防止されるように、封止されたハウジングであり得る。ハウジングは、任意の好適な材料で形成されてもよく、いくつかの実施形態では、ハウジングはプラスチック材料で形成される。ハウジングは、単一の部品（例えば、内部構成素子を取り囲むように成形される単一の材料）で形成されてもよく、あるいは、互いに接合されるか又は別の方法で互いに取り付けられる、２つ以上の部品（例えば、上側半体及び下側半体）で形成されてもよい。

いくつかの実施形態では、プローブ１２は、動きセンサを含む。動きセンサは、プローブ１２の動きを感知するように動作可能である。動きセンサは、プローブ１２内又はプローブ１２上に含まれ、例えば、プローブ１２の動きを感知するための１つ以上の加速度計、磁力計、又はジャイロスコープを含んでもよい。例えば、動きセンサは、プローブ１２の動きを感知することが可能な圧電式、ピエゾ抵抗式、又は静電容量式の加速度計のいずれかを含んでもよい。いくつかの実施形態では、動きセンサは、３つの軸のうちのいずれかの周りの動きを感知することが可能な３軸動きセンサである。いくつかの実施形態では、２つ以上の動きセンサ１６がプローブ１２内又はプローブ１２上に含まれる。いくつかの実施形態では、動きセンサは、少なくとも１つの加速度計及び少なくとも１つのジャイロスコープを含む。

動きセンサは、プローブ１２のハウジング内に少なくとも部分的に収容されてもよい。いくつかの実施形態では、動きセンサは、プローブ１２の感知面に又は感知面の近くに配置される。いくつかの実施形態では、感知面は、超音波撮像又は聴診感知などのための検査中に患者と動作可能に接触する表面である。超音波センサ２０及び１つ以上の聴診センサは、感知面上、その中、又はその近くに配置される。

いくつかの実施形態では、超音波センサ２０のトランスデューサアレイは、トランスデューサ素子の一次元（１Ｄ）アレイ又は二次元（２Ｄ）アレイである。トランスデューサアレイは、例えばチタン酸ジルコン酸鉛（lead zirconate titanate、ＰＺＴ）などの圧電セラミックを含んでもよく、又は微小電気機械システム（microelectromechanical system、ＭＥＭＳ）に基づいたものであってもよい。例えば、様々な実施形態では、超音波センサ２０は、微小電気機械システム（ＭＥＭＳ）ベースの圧電超音波トランスデューサである圧電微小加工超音波トランスデューサ（ＰＭＵＴ）を含み得るか、又は、超音波センサ２０は、静電容量の変化に起因してエネルギー変換が提供される静電容量式微小加工超音波トランスデューサ（ＣＭＵＴ）を含み得る。

超音波センサ２０は、トランスデューサアレイ上に配置することができ、かつ感知面の一部を形成することができる超音波集束レンズを更に含み得る。集束レンズは、トランスデューサアレイから患者に向かって送信された超音波ビームを集束させるように、及び／又は患者からトランスデューサアレイへと反射された超音波ビームを集束させるように動作可能な任意のレンズであってよい。いくつかの実施形態では、超音波集束レンズは、湾曲した表面形状を有し得る。超音波集束レンズは、所望の用途、例えば所望の動作周波数などに応じて、異なる形状を有してもよい。超音波集束レンズは、任意の好適な材料で形成されてもよく、いくつかの実施形態では、超音波集束レンズは、室温加硫（ＲＴＶ）ゴム材料で形成される。

いくつかの実施形態では、第１の膜及び第２の膜は、超音波センサ２０の互いに反対の側に隣接して位置付けられ、感知面の一部を形成する。膜は、任意の好適な材料で形成されてもよく、いくつかの実施形態では、膜は、室温加硫（ＲＴＶ）ゴム材料で形成される。いくつかの実施形態では、膜は、超音波集束レンズと同じ材料で形成される。

図２は、コンピュータシステム及び機構が動作する他の装置の少なくともいくつかに典型的に組み込まれた構成要素のうちのいくつかを示すブロック図である。様々な実施形態では、これらのコンピュータシステム及び他の装置２００は、サーバコンピュータシステム、他の構成のクラウドコンピューティングプラットフォーム又は仮想マシン、デスクトップコンピュータシステム、ラップトップコンピュータシステム、ネットブック、携帯電話、携帯情報端末、テレビ、カメラ、自動車コンピュータ、電子メディアプレーヤ、生理学的感知装置、及び／又はそれらの関連する表示装置などを含むことができる。様々な実施形態では、コンピュータシステム及び装置は、コンピュータプログラムを実行し、及び／又は機械学習モデルを訓練若しくは適用するための、ＣＰＵ、ＧＰＵ、ＴＰＵ、ＮＮＰ、ＦＰＧＡ、若しくはＡＳＩＣなどのプロセッサ２０１、機構及び関連データを含む、それらが使用されている間にプログラム及びデータを記憶するためのコンピュータメモリ２０２、カーネルを含むオペレーティングシステム、装置ドライバ、プログラム及びデータを持続的に記憶するためのハードドライブ又はフラッシュドライブなどの永続的記憶装置２０３、コンピュータ可読媒体に記憶されたプログラム及びデータを読み取るための、フロッピー、ＣＤ－ＲＯＭ、又はＤＶＤドライブなどのコンピュータ可読媒体ドライブ２０４、インターネット又は別のネットワーク、及びスイッチ、ルータ、リピータ、電気ケーブル及び光ファイバ、発光器及び受信器、無線送信器及び受信器などのそのネットワークハードウェアを介してなど、データを送信及び／又は受信するためにコンピュータシステムを他のコンピュータシステムに接続するためのネットワーク接続２０５、のうちの０以上を含む。上記のように構成されたコンピュータシステムは、典型的には、機構の動作を支持するために使用されるが、当業者は、機構が様々なタイプ及び構成の装置を使用して実装され、様々な構成要素を有することを理解するであろう。

図３は、医療画像のビューを予測し、構造を検出するために１つ以上の機械学習モデルを訓練するために、いくつかの実施形態において機構によって実行されるプロセスを示すフロー図である。いくつかの実施形態では、このプロセスはサーバ上で実行される。動作３０１では、機構はモデルを初期化する。

図４は、いくつかの実施形態において機構によって使用されるモデルアーキテクチャを示すモデル図である。モデルアーキテクチャ４００は、構造検出及びビュー分類の両方のために機構によって使用される共有層４１０、構造検出を実行するためにのみ機構によって使用されるオブジェクト検出層４３０、及びビュー分類を実行するためにのみ機構によって使用される分類器層４５０を含む。層の各々について、図４は、層タイプ及び層サイズを示す。層タイプは、以下の略語で表される。

例えば、タイプ略語「Ｃｏｎｖ」で示される層４１１は、畳み込み層である。層サイズは、ピクセル毎の出力値の数×水平方向のピクセル数×垂直方向のピクセル数という寸法で表される。例えば、寸法１６×３２０×３２０で示される層４１１は、３２０ピクセル×３２０ピクセルの矩形アレイにおいてピクセル当たり１６個の値を出力する。

図３に戻ると、動作３０２において、機構は訓練データにアクセスする。いくつかの実施形態では、訓練データは以下のように取得される。３～５秒の長い超音波ビデオクリップが捕捉され、専門の超音波検査技師又は心臓専門医によって注釈が付けられる。全ての可能なビューにわたって均等に分配された１００以上のビデオクリップの手動キュレーションされたテストセットは、最終評価のために確保される。残りのデータのうち、１０％は訓練中に検証セットとして保持される。検証セットは、装置タイプ及びビューによって等しく階層化される。残りのデータは訓練に使用される。モデル前処理のために、入力画像は３２０×３２０ピクセルにサイズ変更され、ピクセル値は０．０～１．０の間でスケーリングされる。訓練データのみの場合、訓練入力の多様性を高めるために、入力画像もランダムに増強される。増強変換は、様々な実施形態において、とりわけ、水平又は垂直、回転、スケーリング（ズームイン／アウト）、並進、ぼかし、コントラスト／輝度スケーリング、及びランダムな画素ロップアウトを反転させることを含む。

動作３０３では、機構は、アクセスされた訓練データを使用してモデルを訓練する。いくつかの実施形態では、モデル訓練は、２段階プロセスである。まず、モデルはオブジェクト検出タスクについてのみ訓練され、分類器層は使用されない。次いで、モデルは分類タスクについて訓練され、共有層のネットワーク重量パラメータは凍結され、オブジェクト検出層は使用されない。いくつかの実施形態では、各ステップについて、機構は、ＡＤＡＭオプティマイザを使用して１０００エポックで５１２のバッチサイズでネットワークを訓練し、指数関数的に減衰する学習速度は０．００１で始まり、０．０００１で終わる。

動作３０４では、機構は、訓練されたモデルを記憶する。いくつかの実施形態では、動作３０４は、訓練中に決定されたニューラルネットワーク接続重みを保存することを含む。いくつかの実施形態では、動作３０４は、訓練されたモデルを、いくつかの携帯型撮像装置の各々などの生成画像を評価するために使用される装置に分配することを含む。動作３０４の後、このプロセスは終了する。いくつかの実施形態では、このプロセスは、モデル精度を改善すること、新しいビュー、構造、撮像モダリティ、又は装置設計を追加すること、などを含む様々な目的のために繰り返すことができる。

当業者は、図３に示す動作及び以下に論じられる任意のフロー図は、様々な方法で変更され得ることを理解するであろう。例えば、動作の順序は並べ替えてもよく、いくつかの動作は、並列に実行されてもよく、図示された動作は省略されてもよく、又は他の動作が含まれてもよく、示された動作は、部分動作に分割されてもよく、又は複数の示された動作は、単一の動作に組み合わされてもよい、などである。

図５は、作成中の患者画像を処理するために、いくつかの実施形態において機構によって実行されるプロセスを示すフロー図である。いくつかの実施形態では、機構は、１つ以上の携帯型撮像装置の各々に対してこのプロセスを実行する。いくつかの実施形態では、機構は、これらの携帯型撮像装置のうちの１つによって捕捉された各患者画像に関してこのプロセスを実行する。いくつかの実施形態では、機構は、１つ以上の物理サーバ、及び／又は仮想クラウドサーバなどの１つ以上の仮想サーバでこのプロセスを実行する。動作５０１において、機構は患者画像にアクセスする。いくつかの実施形態では、患者画像は、超音波センサによって同時に捕捉された超音波画像である。

図６は、機構によってアクセスされるサンプル患者画像を示す医療画像図である。患者画像６００は、超音波画像である。以下に論じられる図７及び図９にも示されるこの超音波画像は、特許図面においてより容易かつ忠実に生成されるように、グレースケール反転されている。

図５に戻ると、動作５０２において、機構は、患者画像によって表されるビューと、どの構造が視覚化可能（すなわち、可視）であるか及びそれらの位置の両方を予測するために、動作５０１においてアクセスされた患者画像を１つ以上の訓練された機械学習モデルにかける。

図７は、機構によって識別された構造を示すために注釈付けされた、サンプル患者画像を示す医療画像図である。特に、患者画像７００は、各々が中央にドット及び境界矩形で示される以下の構造：右心室流出路７０１、右心室７０２、左心室７０３、三尖弁７０４、及び僧帽弁７０５を示すように注釈が付けられている。サンプル患者画像を処理する際に、機構はまた、それが心尖部四腔ビュー（図示せず）を表すと判定する。

図５に戻ると、動作５０３において、機構は、動作５０２で予測されたビューの許容可能な構造のリストにアクセスする。

図８は、様々なビューの許容構造のリストを記憶するために、いくつかの実施形態において機構によって使用される許可された構造表のサンプル内容を示す表図である。許容構造の表８００は、各々がビューとそのビューで許可された構造との様々な組み合わせに対応する、行８０１～８２８などの行から構成される。各行は、ビューを識別するビュー列８５１と、ビューの構造を識別及びラベル付けする許容構造列８５２とに分割される。例えば、行８０８は、心尖部四腔ビューにおいて、僧帽弁が許容構造であることを示す。様々な実施形態において、許容構造の表に示されるリストは、編集上の裁量の問題として手動で生成され、訓練画像上のラベルから自動的にコンパイルされる。

特定のビューの許容構造のリストにアクセスするために、機構は、そのビューがビュー列で発生する許容構造の表の行を選択し、選択された行から、許容構造の列で発生する構造を抽出する。予測ビューが心尖部四腔ビューである実施例の文脈では、機構は、以下の１０個の許容構造、すなわち大動脈、心房中隔、心室中隔、左心房、左心室、左心室流出路、僧帽弁、右心房、右心室、及び三尖弁を得るために行８０９～８１８を選択する。

図８は、その内容及び構成が人間の読み手によってより理解しやすくなるように設計された表を示しているが、当業者は、この情報を記憶するために機構によって使用される実際のデータ構造が、例えばそれらが異なる方法で構成することができ、示されているよりも多い又は少ない情報を含むことができ、符号化、圧縮、暗号化、及び／又は索引付けでき、示されているよりもはるかに多数の行を含むことができるという点で、示された表とは異なり得ることを理解するであろう。

図５に戻ると、動作５０４において、機構は、動作５０３でアクセスした許容構造のリストにないものを除外するために、動作５０２で予測された可視構造をフィルタリングする。実施例の文脈において、機構は、心尖部四腔ビューについて動作５０３でアクセスしたリストと以下の予測構造、すなわち右心室、左心室、三尖弁、及び僧帽弁を一致させる。右心室流出路が一致しない場合、機構はこの構造を除外し、上に列挙した４つの構造のみが残る。動作５０５では、機構は、動作５０１でアクセスした患者画像を増強して、動作５０４のフィルタリングによって除外されなかった動作５０２で予測された可視構造の全てを識別する。

図９は、機構によって識別された構造を示すために注釈付けされ、予測ビューに許可された構造にフィルタリングされたサンプル患者画像を示す医療画像図である。図９を図６と比較することによって、機構が右心室９０２、左心室９０３、三尖弁９０４、及び僧帽弁９０５の注釈を追加していることが分かる。いずれの場合も、示される注釈は、構造の完全名称又は略語、構造の中心のドット、及び境界矩形を含む。これらの注釈は、心尖部四腔ビューには許容されない、図７に示す左心室流出路７０１を省略している。いくつかの実施形態（図示せず）では、機構は、患者画像に注釈を付ける一部として、各識別された構造の境界をトレースする。

図５に戻ると、動作５０６において、機構は、患者画像を生成した医療撮像装置に統合又は接続された表示装置上などに、動作５０５で作成された拡張画像を表示させる。いくつかの実施形態（図示せず）では、機構はまた、拡張画像を永続的に記憶し、及び／又は記憶、レビュー、及び／又は分析のためにそれを他の場所に送信する。動作５０６の後、このプロセスは終了する。

図１０は、いくつかの実施形態において機構内で発生するデータフローを示すデータフロー図である。データフロー１０００では、患者画像１００１は、オブジェクト検出ネットワーク１０１０及びビュー分類器ネットワーク１０３０の両方に供される。上述のように、様々な実施形態では、これらのネットワークは独立しているか、交差するか、又は識別可能に合体されている。オブジェクト検出ネットワークは、患者画像で検出された構造のリスト１０２０を生成する。ビュー分類器ネットワークは、患者画像のビュー分類１０４０を生成する。このビュー分類から、機構は、許容構造のリスト１０５０を生成する。機構は、許容構造のリストを使用して、検出された構造のリストをフィルタリングし、検出された構造のフィルタリングされたリスト１０６０を取得する。機構は、検出された構造のフィルタリングされたリストを使用して、フィルタリングされた構造のリストを識別するために拡張された患者画像のコピー１０７０を生成する。

上に記載した様々な実施形態を組み合わせ、更なる実施形態を提供することができる。米国特許、本明細書で言及され、及び／又は出願データシートに列挙された米国特許出願公開、米国特許明細書、外国の特許、外国の特許明細書及び非特許刊行物は全て、その全体が参考として本明細書に援用される。実施形態の態様を改変し、必要な場合には、様々な特許、明細書及び刊行物の概念を使用して、更なる実施形態を提供することができる。

上記の発明を実施するための形態を考慮して、これら及び他の変更を実施形態に行うことができる。一般的に、以下の特許請求の範囲において、使用される用語は、特許請求の範囲を、明細書及び特許請求の範囲に開示される具体的な実施形態に限定するものと解釈すべきではないが、このような特許請求の範囲によって権利が与えられる全均等物の範囲に沿った全ての可能な実施形態を含むと解釈すべきである。したがって、特許請求の範囲は、本開示によって制限されるものではない。

Claims (25)

1. システムであって、
   超音波感知装置と、
   コンピューティング装置であって、
   前記超音波感知装置によって感知された超音波エコーデータを人から直接受信するように構成された通信インターフェースであって、前記受信された超音波エコーデータは超音波画像を含む、通信インターフェースと、
   メモリであって、
   超音波画像内の生理学的構造を識別するように訓練された１つ以上の第１のニューラルネットワークを記憶し、
   超音波画像を特定のビューで捕捉されたものとして分類するように訓練された１つ以上の第２のニューラルネットワークを記憶し、
   超音波ビューのセットの各々について、前記超音波ビュー内で識別するために許容された解剖学的構造のリストを記憶するように構成されている、メモリと、
   プロセッサであって、
   前記受信された超音波画像に、前記１つ以上の訓練された第１のニューラルネットワークを適用して、前記受信された超音波画像内の生理学的構造のセットを識別し、
   前記受信された超音波画像に、前記１つ以上の訓練された第２のニューラルネットワークを適用して、前記受信された超音波画像を特定のビューで捕捉されたものとして分類し、
   前記分類されたビューの許容された解剖学的構造のリストにアクセスし、
   前記受信された超音波画像内で識別された前記生理学的構造のセット内で、前記アクセスされたリスト内に存在するもののみを選択するように構成されている、プロセッサと、
   表示装置であって、
   前記受信された超音波画像を表示し、
   前記セットの前記選択された生理学的構造を視覚的に示す前記超音波画像の注釈を共に表示するように構成されている表示装置と、を備える、前記コンピューティング装置と、を備える、システム。
2. 前記超音波感知装置はトランスデューサを備える、請求項１に記載のシステム。
3. 前記超音波ビューのセットの各々は、特定の器官を対象とするビューであり、前記超音波ビューのセットの各々について列挙された前記許容された解剖学的構造は、その器官の構成構造である、請求項１に記載のシステム。
4. コンピューティングシステムに方法を実行させるように構成されたコンテンツを集合的に有するコンピュータ可読媒体の１つ以上のインスタンスであって、前記方法は、
   医療撮像画像にアクセスすることと、
   画像が対応するビューを認識するように訓練された第１の機械学習モデルにアクセスすることと、
   前記アクセスされた画像に前記第１の機械学習モデルを適用して、前記アクセスされた画像が対応するビューを認識することと、
   前記認識されたビューに対応する画像の許容された解剖学的特徴のリストにアクセスすることと、
   画像内で視覚化された解剖学的特徴のセットのうちのいずれかを識別するように訓練された第２の機械学習モデルにアクセスすることと、
   前記アクセスされた画像に前記第２の機械学習モデルを適用して、前記アクセスされた画像内で視覚化された前記解剖学的特徴のセットのいずれかを識別することと、
   前記識別された解剖学的特徴をフィルタリングして、前記アクセスされたリスト上にないものを除外することと、
   前記アクセスされた画像を、前記フィルタリングされた識別された解剖学的特徴の各々の視覚的表示と重ね合わせて表示させることと、を含む、コンピュータ可読媒体の１つ以上のインスタンス。
5. フィルタリングされた識別された解剖学的特徴の各重ね合わされた視覚的表示は、前記フィルタリングされた識別された解剖学的特徴の前記アクセスされた画像内の視覚化内の少なくとも１つの点を識別する、請求項４に記載のコンピュータ可読媒体の１つ以上のインスタンス。
6. フィルタリングされた識別された解剖学的特徴の各重ね合わされた視覚的表示は、前記フィルタリングされた識別された解剖学的特徴の前記アクセスされた画像内の視覚化を含む境界ボックスである、請求項４に記載のコンピュータ可読媒体の１つ以上のインスタンス。
7. フィルタリングされた識別された解剖学的特徴の各重ね合わされた視覚的表示は、前記フィルタリングされた識別された解剖学的特徴の前記アクセスされた画像内の視覚化の境界のトレースである、請求項４に記載のコンピュータ可読媒体の１つ以上のインスタンス。
8. フィルタリングされた識別された解剖学的特徴の各重ね合わされた視覚的表示は、前記フィルタリングされた識別された解剖学的特徴の前記アクセスされた画像内の視覚化のカバーマップオーバーレイである、請求項４に記載のコンピュータ可読媒体の１つ以上のインスタンス。
9. フィルタリングされた識別された解剖学的特徴の各重ね合わされた視覚的表示は、前記フィルタリングされた識別された解剖学的特徴がそれによって既知である名前である、請求項４に記載のコンピュータ可読媒体の１つ以上のインスタンス。
10. 前記認識されたビューは特定の器官を対象とし、前記認識されたビューのために列挙された前記許容された解剖学的特徴は、その器官の構成構造を備える、請求項４に記載のコンピュータ可読媒体の１つ以上のインスタンス。
11. 前記認識されたビューは特定の器官を対象とし、前記認識されたビューのために列挙された前記許容された解剖学的特徴は、その器官のランドマークを備える、請求項４に記載のコンピュータ可読媒体の１つ以上のインスタンス。
12. 前記方法は、
    前記第１の機械学習モデルを訓練することと、
    前記第２の機械学習モデルを訓練することと、を更に含む、請求項４に記載のコンピュータ可読媒体の１つ以上のインスタンス。
13. 前記アクセスされた医療撮像画像は超音波画像である、請求項４に記載のコンピュータ可読媒体の１つ以上のインスタンス。
14. 機械学習モデルを訓練するためのコンピューティングシステムにおける方法であって、
    注釈付き超音波画像訓練観察の本体にアクセスすることと、
    注釈付き訓練観察の前記本体の少なくとも一部を使用して、第１の機械学習モデルを訓練して、超音波画像に基づいて、それが表すビューを予測させることと、
    注釈付き訓練観察の前記本体の少なくとも一部を使用して、第２の機械学習モデルを訓練して、超音波画像に基づいて、それが視覚化する解剖学的構造を予測させることと、
    前記訓練された第１及び第２の機械学習モデルを永続的に記憶することであって、それにより、生成された超音波画像は、それが表すビューを予測するために第１の機械学習モデルに供されることができ、及びそれが視覚化する解剖学的構造を予測するために第２の機械学習モデルに供されることができる、ことと、を含む、方法。
15. 前記生成された超音波画像を前記第２の機械学習モデルに供することによって予測される前記解剖学的構造をフィルタリングして、前記生成された超音波画像を前記第１の機械学習モデルに供することによって予測される前記ビューについて記憶された前記表示によって示されない解剖学的構造を除外することができるように、超音波画像によって表される複数のビューの各々について、前記ビューを表す超音波画像内で視覚化可能であると予想される１つ以上の解剖学的構造の表示を永続的に記憶すること、
    を更に備える、請求項１４に記載の方法。
16. 前記第２の機械学習モデルの一部は、前記第１の機械学習モデルと共有され、
    前記第２のモデルは、前記第２の機械学習モデルの前記共有部分の訓練された状態を含む前記第２の機械学習モデルの訓練された状態を取得するように訓練され、
    前記第２のモデルが訓練された後、前記第２の機械学習モデルと共有されない前記第１の機械学習モデルの一部は、前記第１の機械学習モデルと共有される前記第２の機械学習モデルの前記一部の前記訓練された状態を使用して訓練される、請求項１４に記載の方法。
17. 注釈付き超音波画像訓練観察を複製し、それらについて予測される前記ビュー及び構造に意味的に影響を及ぼすべきではない１つ以上の方法で前記複製超音波画像を修正することによって、前記注釈付き超音波画像訓練観察の前記本体を拡張することを更に含む、請求項１４に記載の方法。
18. データ構造を集合的に記憶するコンピュータ可読媒体の１つ以上のインスタンスであって、前記データ構造は、
    機械学習モデルであって、
    放射線画像に基づいて、それが表すビューを予測するように訓練された第１の部分と、
    放射線画像に基づいて、それが視覚化する解剖学的構造を予測するように訓練された第２の部分と、を備え、
    それにより、前記モデルは、それが表すビュー及びそれが視覚化する解剖学的構造を予測するために、区別された放射線画像に適用することができる、機械学習モデルを備える、コンピュータ可読媒体の１つ以上のインスタンス。
19. 前記モデルの前記第１及び前記第２の部分がそれに基づいて予測するように訓練される前記放射線画像は超音波画像である、請求項１８に記載のコンピュータ可読媒体の１つ以上のインスタンス。
20. 前記モデルの前記第１及び第２の部分は別個である、請求項１８に記載のコンピュータ可読媒体の１つ以上のインスタンス。
21. 前記モデルの前記第１及び第２の部分は、共有部分で交差する、請求項１８に記載のコンピュータ可読媒体の１つ以上のインスタンス。
22. 前記モデルの前記第１及び第２の部分の各々は、１つ以上の人工ニューラルネットワークから構成される、請求項１８に記載のコンピュータ可読媒体の１つ以上のインスタンス。
23. 前記データ構造は、
    区別された放射線画像によって視覚化されると予測される解剖学的構造がフィルタリングされて、区別された放射線画像が表すと予測されるビューのリストにない解剖学的構造を除外することができるように、１つ以上のビューの各々について、ビューを表す放射線画像内でその表示が許容されている構造のリストを更に備える、請求項１８に記載のコンピュータ可読媒体の１つ以上のインスタンス。
24. 前記モデルの前記第２の部分が前記区別された放射線画像に適用される場合、前記区別された放射線画像が前記第１のモデルによって表すように予測されるビューにも適用できるように、前記モデルの前記第２の部分はビューを独立変数としてとる、請求項１８に記載のコンピュータ可読媒体の１つ以上のインスタンス。
25. 前記モデルは、前記モデルの第２の部分が前記区別された放射線画像に適用される場合、前記区別された放射線画像が表すと前記第１のモデルによって予測される前記ビューの第２の部分が適用のために選択され得るように、複数のビューの各々について異なる第２の部分を含む、請求項１８に記載のコンピュータ可読媒体の１つ以上のインスタンス。

Images