JP2020154630A - 医用情報収集装置 - Google Patents

Abstract

【課題】学習用データを収集することである。【解決手段】医用情報収集装置は、第１入力部と、取得部と、収集部と、記憶制御部と、出力部とを備える。前記第１入力部は、診療内容の経歴を指定する入力を受け付ける。前記取得部は、診療内容の記録を示す電子カルテ情報を患者ごとに管理するデータベースから、前記第１入力部が受け付けた前記経歴に適合する前記電子カルテ情報を取得する。前記収集部は、前記取得部が取得した前記電子カルテ情報に関連付けられた読影レポートで特定される医用画像を収集する。前記記憶制御部は、前記収集部が収集した前記医用画像を記憶部に記憶させる。前記出力部は、前記記憶部に記憶された前記医用画像を出力する。【選択図】図４

Description

本発明の実施形態は、医用情報収集装置に関する。

従来、モダリティの進歩とともに医用画像の枚数は増加傾向にある。医用画像の増加に伴い読影対象の医用画像も増加するため読影にかかる時間が増え、読影医への負担が大きくなっている。そこで、読影医の負担の軽減のために人工知能による診断支援が行われている。

このような人工知能は、ディープラーニング等の機械学習を実行することで生成される。そして、学習では、様々なパターンを人工知能に学ばせることで処理精度を向上させているため、膨大な数の学習用データが必要不可欠である。また、学習用データは、対象の人工知能に応じて異なっている。そのため、人工知能に学習させる度に、対象の人工知能に応じた医用画像が膨大に必要となる。しかしながら、学習用データは、医師等が手作業によりを収集しており負担が大きかった。

特開２００５−３０１４５３号公報 特開２００７−０８００７７号公報

本発明が解決しようとする課題は、人工知能に応じた医用画像を学習用データとして収集することである。

実施形態の医用情報収集装置は、第１入力部と、取得部と、収集部と、記憶制御部と、出力部とを備える。前記第１入力部は、診療内容の経歴を指定する入力を受け付ける。前記取得部は、診療内容の記録を示す電子カルテ情報を患者ごとに管理するデータベースから、前記第１入力部が受け付けた前記経歴に適合する前記電子カルテ情報を取得する。前記収集部は、前記取得部が取得した前記電子カルテ情報に関連付けられた読影レポートで特定される医用画像を収集する。前記記憶制御部は、前記収集部が収集した前記医用画像を記憶部に記憶させる。前記出力部は、前記記憶部に記憶された前記医用画像を出力する。

図１は、本実施形態に係る医用情報収集システムの構成の一例を示す図である。 図２は、本実施形態に係る操作端末の構成の一例を示すブロック図である。 図３は、ハイパーリンクによる関連付ける操作手順を説明する説明図である。 図４は、本実施形態に係る医用情報収集装置の構成の一例を示すブロック図である。 図５は、肺がんが発生した患者の診療記録の一例を示す説明図である。 図６は、肺がんと診断されたが病理検査で器質化肺炎と診断された患者の診療記録の一例を示す説明図である。 図７は、本実施形態に係る医用情報収集装置が実行する収集処理の処理手順を示すフローチャートである。 図８は、本実施形態に係る医用情報収集装置が実行する出力処理の処理手順を示すフローチャートである。

以下、図面を参照して、医用情報収集装置の実施形態を説明する。なお、一つの実施形態又は変形例に記載した内容は、他の実施形態又は他の変形例にも同様に適用されてもよい。

図１は、本実施形態に係る医用情報収集システム１の構成の一例を示す図である。医用情報収集システム１は、人工知能（ＡＩ：Artificial Intelligence）の学習に使用する学習用データを収集するシステムである。ここで、人工知能とは、入力された医用画像に対して判定や推定等の各種処理を行う技術である。人工知能は、深層学習（ディープラーニング）等の機械学習により生成される。なお、人工知能は、深層学習（ディープラーニング）に限らず、教師有り学習により生成されてもよい。図１に示すように、医用情報収集システム１は、電子カルテシステム１０、モダリティ２０、ＰＡＣＳ（Picture Archiving and Communication System）３０、病理システム４０、操作端末５０、及び医用情報収集装置６０を備えている。そして、各システム及び各装置は、ネットワークを介して通信可能に接続されている。また、図１に示す構成はあくまでも一例であり、各システム及び各装置の台数は任意に変更してもよい。また、図１に示されていない装置がネットワークに接続されていてもよい。

電子カルテシステム１０は、電子カルテ情報を患者ごとに管理する。例えば、電子カルテシステム１０は、サーバやワークステーション等のコンピュータ機器によって実現される。例えば、電子カルテ情報には、患者情報や、所見情報や、オーダ情報等が含まれる。患者情報は、患者に関する各種情報である。例えば、患者情報には、患者ＩＤ（IDentifer）、患者名、性別、身長、体重、年齢、及び血液型等が含まれる。所見情報は、患者について医師等の医療従事者が任意に入力した文字列等により構成される情報である。例えば、所見情報は、患者の傷病等に対する所見が含まれる。そして、所見情報は、患者情報と関連付けられている。オーダ情報は、検査の実施を指示する情報である。オーダ情報には、病理検査の実施を指示する検査オーダ情報や、モダリティ２０で患者を撮影することを指示する撮影オーダ情報等がある。モダリティ２０での撮影を指示する撮影オーダ情報には、撮影を実行するモダリティ２０の種別情報と、検査対象となる患者の部位を示す部位情報とが含まれている。そして、オーダ情報は、患者情報と関連付けられている。なお、電子カルテ情報は、電子カルテシステム１０の記憶回路等に記憶されていてもよいし、他の装置の記憶回路等に記憶されていてもよい。

モダリティ２０は、被検体を撮像して医用画像を生成する。例えば、モダリティ２０は、Ｘ線ＣＴ（Computed Tomography）装置や、ＭＲＩ（Magnetic Resonance Imaging）装置、Ｘ線診断装置、超音波診断装置等の画像診断装置である。モダリティ２０は、撮影オーダ情報で指定された患者等の被検者に対して、撮影オーダ情報で指定された部位を撮影して、医用画像を生成する。そして、モダリティ２０は、生成した医用画像をＰＡＣＳ３０に送信する。なお、モダリティ２０は、放射線科情報システム（Radiology Information Systems：ＲＩＳ）において、放射線科医等が撮影オーダ情報に基づいて入力した設定等で撮影することで医用画像を生成してもよい。

ＰＡＣＳ３０は、モダリティ２０が生成した医用画像を保管する。例えば、ＰＡＣＳ３０は、サーバやワークステーション等のコンピュータ機器によって実現される。更に詳しくは、ＰＡＣＳ３０は、モダリティ２０から医用画像を受信する。また、ＰＡＣＳ３０は、患者の医用画像を読影した読影結果等が記載された読影レポートを記憶している。そして、ＰＡＣＳ３０は、受信した医用画像と、医用画像に対する読影レポートとを、医用画像の被写体である患者の電子カルテ情報に関連付けて自装置の記憶回路等に記憶させる。読影レポートには、読影医等が記入した任意の文字列と、医用画像とを関連付けるハイパーリンクが含まれている。更に詳しくは、読影レポートには、読影医等が記入した任意の文字列に、医用画像を特定可能なハイパーリンク情報が設定されている。また、ＰＡＣＳ３０は、病変位置及び病変形状を示す病変情報を記憶していてもよい。病変位置は、病変の位置を示す情報である。例えば、病変位置は、ＰＡＣＳ３０に記憶された医用画像において、病変の位置を示す情報である。医用画像が二次元画像の場合には、病変位置は、二次元において病変がある位置を示す二次元座標等である。また、医用画像が三次元の場合には、病変位置は、病変があるスライスやフレーム等を示す情報、及び病変がある位置を示す二次元座標等から構成される。病変形状は、病変の形状を示す情報である。例えば、病変形状は、ＰＡＣＳ３０に記憶された医用画像において、病変の形状を示す情報である。

病理システム４０は、病理検査の結果である病理情報を保管する。例えば、病理システム４０は、サーバやワークステーション等のコンピュータ機器によって実現される。病理情報には、確定診断名、及び病変名等が含まれる。確定診断名は、病理検査によって確定した病気の名称である。病変名は、病理検査によって確定した病変の名称である。そして、病理システム４０は、病理情報を自装置の記憶回路等に記憶させる。また、病理情報は、電子カルテシステム１０からオーダされた場合には電子カルテ情報と関連付けられている。また、病理検査のオーダは、電子カルテシステム１０に限らず、病理システム４０のオーダリングシステムから受け付けてもよい。

操作端末５０は、各種情報を入力する装置である。操作端末５０は、パーソナルコンピュータや、タブレット端末等のコンピュータ機器によって実現される。例えば、操作端末５０は、読影レポートに含まれる任意の文字列と、ＰＡＣＳ３０に記憶された医用画像とをハイパーリンクにより関連付ける。ここで、ハイパーリンクとは、文字列と、医用画像とを関連付ける技術である。例えば、ハイパーリンクでは、読影レポートに含まれる文字列に、医用画像を特定可能なハイパーリンク情報を設定する。ハイパーリンク情報には、医用画像を特定するアドレス情報や、医用画像を特定するために割り付けられた識別情報等が含まれている。この様にして、操作端末５０は、読影レポートに含まれる任意の文字列と、医用画像とを関連付ける。そして、操作端末５０は、ハイパーリンクに指定された文字列が選択された場合に、関連付けられた医用画像を表示させる。

医用情報収集装置６０は、医用画像や、医用画像に対する確定された診療内容を含む医用情報を人工知能の学習に使用される学習用データとして収集する。ここで、確定された診療内容とは、例えば病理検査により病名等の診断内容が確定していることを示している。例えば、医用情報収集装置６０は、サーバやワークステーション等のコンピュータ機器によって実現される。医用情報収集装置６０は、ハイパーリンクに基づいて、医用情報を収集する。また、医用情報収集装置６０は、指定された形式で、医用情報を出力する。

さらに、医用情報収集装置６０は、操作端末５０と同様の機能を有していてもよい。すなわち、医用情報収集装置６０は、読影レポート画面を表示してもよいし、読影レポートに含まれる任意の文字列とＰＡＣＳ３０に記憶された医用画像とをハイパーリンクにより関連付ける操作を受け付けてもよい。また、本実施形態では、医用情報収集装置６０が一台の装置により構成されている場合を例に説明する。しかし、医用情報収集装置６０は、複数台の装置により構成されていてもよい。

次に、本実施形態に係る操作端末５０の構成について説明する。

図２は、本実施形態に係る操作端末５０の構成の一例を示すブロック図である。図２に示すように、本実施形態に係る操作端末５０は、ネットワークインタフェース５１０と、記憶回路５２０と、入力インタフェース５３０と、ディスプレイ５４０と、処理回路５５０とを有する。

ネットワークインタフェース５１０は、処理回路５５０に接続されており、ネットワークを介して、電子カルテシステム１０、モダリティ２０、ＰＡＣＳ３０、病理システム４０、及び医用情報収集装置６０との間で行われる各種データの伝送及び通信を制御する。更に詳しくは、ネットワークインタフェース５１０は、各システムから各種の情報を受信し、受信した情報を処理回路５５０に出力する。例えば、ネットワークインタフェース５１０は、ネットワークカードやネットワークアダプタ、ＮＩＣ（Network Interface Controller）等によって実現される。

記憶回路５２０は、処理回路５５０に接続されており、各種データを記憶する。例えば、記憶回路５２０は、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。

入力インタフェース５３０は、操作者から受け付けた入力操作を電気信号に変換して処理回路５５０に出力する。例えば、入力インタフェース５３０は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力インタフェース、音声入力インタフェース等の入力装置によって実現される。なお、入力インタフェース５３０は、操作端末５０とは別体に設けられた操作装置から操作に対応する電子信号を受け付ける接続インタフェース等の制御回路であってもよい。

ディスプレイ５４０は、処理回路５５０から出力される各種情報や各種画像を表示する。例えば、ディスプレイ５４０は、有機ＥＬ（Electro Luminescence）モニタや、液晶モニタや、ＣＲＴ（Cathode Ray Tube）モニタや、タッチパネル等の表示装置によって実現される。例えば、ディスプレイ５４０は、操作者の指示を受け付けるためのＧＵＩ（Graphical User Interface）や、各種の表示用の画像データ、処理回路５５０による各種の処理結果を表示する。

処理回路５５０は、操作端末５０が有する各構成要素を制御する。例えば、処理回路５５０は、プロセッサによって実現される。さらに詳しくは、本実施形態に係る処理回路５５０は、表示制御機能５５１、操作機能５５２、及びリンク機能５５３を有する。

ここで、例えば、図２に示す処理回路５５０の構成要素である表示制御機能５５１、操作機能５５２、及びリンク機能５５３が実行する各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路５２０に記憶されている。処理回路５５０は、各プログラムを記憶回路５２０から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路５５０は、図２の処理回路５５０内に示された各機能を有することとなる。

なお、表示制御機能５５１、操作機能５５２、及びリンク機能５５３の全ての処理機能がコンピュータによって実行可能な１つのプログラムの形態で、記憶回路５２０に記録されていてもよい。例えば、このようなプログラムは、医用情報関連付けプログラムとも称される。この場合、処理回路５５０は、医用情報関連付けプログラムを記憶回路５２０から読み出し、読み出した医用情報関連付けプログラムを実行することで操作プログラムに対応する表示制御機能５５１、操作機能５５２、及びリンク機能５５３を実現する。

表示制御機能５５１は、各種画面を表示させる。例えば、表示制御機能５５１は、患者の各種情報が示された読影レポート画面を表示させる。また、読影レポート画面は、読影レポートを構成する文字列を入力する入力領域を有している。

操作機能５５２は、読影レポートを入力する操作を受け付ける。例えば、操作機能５５２は、読影レポートの文字列と、ＰＡＣＳ３０に記憶された医用画像とをハイパーリンクにより関連付ける操作を受け付ける。更に詳しくは、操作機能５５２は、読影レポートを構成する文字列を入力する操作を受け付ける。また、操作機能５５２は、入力された文字列のうち、ハイパーリンクに指定する文字列を選択させる操作を受け付ける。また、操作機能５５２は、ＰＡＣＳ３０に記憶された一又は複数の医用画像のうち、ハイパーリンクにより関連付ける医用画像を選択させる操作を受け付ける。三次元医用画像は、複数の二次元医用画像を有している。この場合には、操作機能５５２は、三次元医用画像が有する複数の二次元医用画像からハイパーリンクにより関連付ける医用画像を選択させる操作を受け付ける。

リンク機能５５３は、操作機能５５２が受け付けた操作に基づいて、読影レポートの文字列と、ＰＡＣＳ３０に記憶された医用画像とをハイパーリンクにより関連付ける。すなわち、リンク機能５５３は、読影レポートの文字列に対して、医用画像を特定可能なハイパーリンク情報を設定する。

ここで、読影レポートの文字列と、ＰＡＣＳ３０に記憶された医用画像とを関連付ける操作手順について説明する。図３は、ハイパーリンクによる関連付ける操作手順を説明する説明図である。表示制御機能５５１は、読影レポート画面を表示させる。読影レポート画面には、患者情報表示領域や、読影レポート領域等が含まれる。患者情報表示領域は、患者情報を表示する領域である。読影レポート領域は、患者の医用画像を読影した読影医の所見等を入力する領域である。

操作機能５５２は、表示制御機能５５１が表示した読影レポート画面の読影レポート領域において、任意の文字列を入力する操作を受け付ける。操作機能５５２は、ハイパーリンクを設定する文字列を選択させる操作を受け付ける。さらに、操作機能５５２は、一又は複数の二次元医用画像を有する三次元医用画像から、文字列に関連付ける二次元医用画像の選択させる操作を受け付ける。リンク機能５５３は、選択された文字列に対して、選択された二次元医用画像を特定することが可能なハイパーリンク情報を設定する。この様にして、操作端末５０は、読影レポートの文字列と、医用画像とを関連付ける。表示制御機能５５１は、ハイパーリンクが設定された文字列が選択された場合に、文字列に関連付けられた医用画像を表示させる。

次に、本実施形態に係る医用情報収集装置６０の構成について説明する。

図４は、本実施形態に係る医用情報収集装置６０の構成の一例を示すブロック図である。図４に示すように、本実施形態に係る医用情報収集装置６０は、ネットワークインタフェース６１０と、記憶回路６２０と、入力インタフェース６３０と、ディスプレイ６４０と、処理回路６５０とを有する。

ネットワークインタフェース６１０は、処理回路６５０に接続されており、ネットワークを介して、電子カルテシステム１０、モダリティ２０、ＰＡＣＳ３０、病理システム４０、及び操作端末５０との間で行われる各種データの伝送及び通信を制御する。更に詳しくは、ネットワークインタフェース６１０は、各システムから各種の情報を受信し、受信した情報を処理回路６５０に出力する。例えば、ネットワークインタフェース６１０は、ネットワークカードやネットワークアダプタ、ＮＩＣ等によって実現される。

記憶回路６２０は、処理回路６５０に接続されており、各種データを記憶する。例えば、記憶回路６２０は、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。例えば、記憶回路６２０は、学習用データテーブル６２１を記憶する。

学習用データテーブル６２１は、記憶部の一例である。学習用データテーブル６２１は、医用情報収集装置６０が収集した医用情報を記憶するデータテーブルである。すなわち、学習用データテーブル６２１は、人工知能に学習させる学習用データを記憶するデータテーブルである。学習用データテーブル６２１は、学習用データＩＤごとに、医用情報を記憶する。学習用データＩＤは、医用情報を取得した患者ごとに設定される識別情報である。医用情報は、学習用データＩＤに対応する患者の医療に関する情報である。

例えば、医用情報には、日時情報と、診療情報と、医用画像とが含まれる。日時情報は、医用情報が生成された日時を示す情報である。診療情報は、医用画像に対する確定された診療内容を示す情報である。すなわち、診療情報には、所見情報や、読影レポートや、オーダ情報や、病理情報や、病変情報が含まれる。そして、診療情報には、所見情報と、読影レポートと、オーダ情報と、病理情報と、病変情報との全てに限らず、何れか一部の情報が含まれていればよい。医用画像は、電子カルテ情報に関連付けられた読影レポートに含まれる文字列に設定されたハイパーリンク情報により特定される医用画像である。そして、医用情報には、医用画像と、診療情報との両方に限らず、何れか一方が含まれていればよい。なお、学習用データテーブル６２１は、医用情報収集装置６０に限らず、他の装置が記憶していてもよい。

入力インタフェース６３０は、操作者から受け付けた入力操作を電気信号に変換して処理回路６５０に出力する。例えば、入力インタフェース６３０は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力インタフェース、音声入力インタフェース等の入力装置によって実現される。なお、入力インタフェース６３０は、医用情報収集装置６０とは別体に設けられた操作装置から操作に対応する電子信号を受け付ける接続インタフェース等の制御回路であってもよい。

ディスプレイ６４０は、処理回路６５０から出力される各種情報や各種画像を表示する。例えば、ディスプレイ６４０は、有機ＥＬモニタや、液晶モニタや、ＣＲＴモニタや、タッチパネル等の表示装置によって実現される。例えば、ディスプレイ６４０は、操作者の指示を受け付けるためのＧＵＩや、各種の表示用の画像データ、処理回路６５０による各種の処理結果を表示する。

処理回路６５０は、医用情報収集装置６０が有する各構成要素を制御する。例えば、処理回路６５０は、プロセッサによって実現される。さらに詳しくは、本実施形態に係る処理回路６５０は、経歴指定機能６５１、取得機能６５２、収集機能６５３、記憶制御機能６５４、特徴指定機能６５５、画像抽出機能６５６、形式指定機能６５７、画像変換機能６５８、及び出力機能６５９を有する。

ここで、例えば、図４に示す処理回路６５０の構成要素である経歴指定機能６５１、取得機能６５２、収集機能６５３、記憶制御機能６５４、特徴指定機能６５５、画像抽出機能６５６、形式指定機能６５７、画像変換機能６５８、及び出力機能６５９が実行する各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路６２０に記憶されている。処理回路６５０は、各プログラムを記憶回路６２０から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路６５０は、図４の処理回路６５０内に示された各機能を有することとなる。

なお、経歴指定機能６５１、取得機能６５２、収集機能６５３、記憶制御機能６５４、特徴指定機能６５５、画像抽出機能６５６、形式指定機能６５７、画像変換機能６５８、及び出力機能６５９の全ての処理機能がコンピュータによって実行可能な１つのプログラムの形態で、記憶回路６２０に記録されていてもよい。例えば、このようなプログラムは、医用情報収集プログラムとも称される。この場合、処理回路６５０は、医用情報収集プログラムを記憶回路６２０から読み出し、読み出した医用情報収集プログラムを実行することで操作プログラムに対応する経歴指定機能６５１、取得機能６５２、収集機能６５３、記憶制御機能６５４、特徴指定機能６５５、画像抽出機能６５６、形式指定機能６５７、画像変換機能６５８、及び出力機能６５９を実現する。

経歴指定機能６５１は、第１入力部の一例である。経歴指定機能６５１は、診療内容の経歴を指定する入力を受け付ける。更に詳しくは、経歴指定機能６５１は、医用情報収集装置６０が医用情報を収集する収集条件として、患者の診療内容の経歴を指定する入力を受け付ける。ここで、診療内容とは、例えばモダリティ２０の種別情報、検査対象の部位を示す部位情報、確定診断名、病変名、病変位置、病変形状、所見、読影レポート、又はこれらの組み合わせ等である。

また、経歴指定機能６５１は、例えばキーワード等により診療内容の経歴の指定を受け付ける。なお、経歴指定機能６５１は、キーワードに限らず、プログラムにより特徴の指定を受け付けてもよいし、ＧＵＩにより特徴の指定を受け付けてもよいし、他の方法により出力条件の指定を受け付けてもよい。

また、経歴指定機能６５１は、診療内容の属性を指定する入力を受け付けてもよい。ここで、属性とは、例えば所見情報、読影レポート、病理情報、病変情報、又はオーダ情報等の診療内容が含まれている情報の属性である。また、経歴指定機能６５１は、診療内容が記録された順番を指定する入力を受け付けてもよい。

取得機能６５２は、取得部の一例である。取得機能６５２は、診療内容の記録を示す電子カルテ情報を患者ごとに管理するデータベースから、経歴指定機能６５１が受け付けた経歴に適合する電子カルテ情報を取得する。更に詳しくは、取得機能６５２は、電子カルテ情報を患者ごとに管理するデータベースの一例である電子カルテシステム１０から、経歴指定機能６５１が受け付けた経歴に適合する電子カルテ情報を取得する。

また、取得機能６５２は、経歴指定機能６５１で属性が指定されている場合に、診療内容が指定された属性で記録された電子カルテ情報を取得する。さらに、取得機能６５２は、経歴指定機能６５１で診療内容が記録された順番が指定されている場合に、診療内容が指定された順番で記録された電子カルテ情報を取得する。例えば、経歴指定機能６５１が診療内容「肺がん」、属性「所見情報」、順番「１」とする指定を受け付け、診療内容「器質性肺炎」、属性「病理情報の確定診断名」順番「２」とする指定を受け付けたとする。この場合、取得機能６５２は、当初肺がんとの所見が所見情報に記録されたが、その後の病理検査で器質性肺炎との確定診断名が病理情報に記録された電子カルテ情報を取得する。

収集機能６５３は、収集部の一例である。収集機能６５３は、取得機能６５２が取得した電子カルテ情報に関連付けられた読影レポートで特定される医用画像を収集する。更に詳しくは、収集機能６５３は、取得機能６５２が取得した電子カルテ情報に関連付けられた読影レポートを抽出する。そして、収集機能６５３は、抽出した読影レポートに含まれる文字列に設定されたハイパーリンク情報により特定される医用画像をＰＡＣＳ３０から収集する。すなわち、収集機能６５３は、電子カルテ情報に関連付けられた読影レポートに含まれる文字列に関連付けられた医用画像を収集する。

ここで、収集機能６５３は、収集条件が満たされた場合に、医用画像をＰＡＣＳ３０から収集する。なお、収集機能６５３は、収集指示に限らず、所定期間が経過するごとに医用画像をＰＡＣＳ３０から収集してもよいし、電子カルテ情報が更新されるごとに医用画像をＰＡＣＳ３０から収集してもよい。

また、収集機能６５３は、収集対象の患者の病理情報や電子カルテ情報に対して確定診断名が入力された場合に、確定診断名でラベリングした医用画像を収集してもよい。例えば、収集機能６５３は、患者が診察を開始してから確定診断名の病気の治療が終了したと入力されるまでの間に撮影された医用画像を確定診断名でラベリングする。または、収集機能６５３は、医用画像から病期を判定可能な場合には、確定診断名及び病期とでラベリングしてもよい。例えば、収集機能６５３は、医用画像に含まれる異常陰影の大きさ等により、病期を判定する。

また、収集した医用画像がどの様な医用画像であるかは、該当の医用画像と読影レポートを介して関連付けられた電子カルテ情報や、電子カルテ情報に関連付けられた読影レポート、オーダ情報、病理情報、及び病変情報に記録されている場合が多い。また、学習用データは、より正確な情報であることが求められる。そこで、収集機能６５３は、医用画像と、医用画像に対する確定された診療内容が示された診療情報とを収集する。そして、収集機能６５３は、所見情報や、読影レポートや、オーダ情報や、病理情報や、病変情報を収集することで診療情報を生成する。

記憶制御機能６５４は、記憶制御部の一例である。記憶制御機能６５４は、収集機能６５３が収集した医用画像を学習用データテーブル６２１に記憶させる。更に詳しくは、記憶制御機能６５４は、収集機能６５３が収集した医用画像を、医用画像の患者に対応した学習用データＩＤに関連付けて学習用データテーブル６２１に記憶させる。

また、記憶制御機能６５４は、収集機能６５３が収集した医用画像を確定診断名でラベリングした場合に、確定診断名ごとに医用画像の学習用データテーブル６２１に記憶させてもよい。

また、収集機能６５３が診療情報と、医用画像とを収集した場合には、記憶制御機能６５４は、収集機能６５３が収集した診療情報と、医用画像とを学習用データテーブル６２１に記憶させる。この時、記憶制御機能６５４は、収集機能６５３が収集した診療情報及び医用画像に、日時情報を関連付けて医用情報として学習用データテーブル６２１に記憶させる。

特徴指定機能６５５は、第２入力部の一例である。特徴指定機能６５５は、出力機能６５９に出力させる医用画像の特徴を指定する入力を受け付ける。例えば、特徴指定機能６５５は、出力機能６５９に出力させる医用画像の特徴を示すキーワード等を受け付ける。キーワードとは、例えば、モダリティ２０の種別情報、検査対象の部位を示す部位情報、確定診断名、病変名、病変位置、病変形状、所見、読影レポート、又はこれらを組み組み合わせた文字列等である。なお、特徴指定機能６５５は、キーワードに限らず、プログラムにより特徴の指定を受け付けてもよいし、ＧＵＩにより特徴の指定を受け付けてもよいし、他の方法により出力条件の指定を受け付けてもよい。

画像抽出機能６５６は、抽出部の一例である。画像抽出機能６５６は、特徴指定機能６５５が受け付けた特徴に適合する医用画像を学習用データテーブル６２１から抽出する。更に詳しくは、画像抽出機能６５６は、特徴指定機能６５５が受け付けた特徴を有する診療情報を抽出する。そして、画像抽出機能６５６は、抽出した診療情報に関連付けられている医用画像を抽出する。例えば、画像抽出機能６５６は、特徴指定機能６５５が受け付けたキーワードを有する診療情報に関連付けられている医用画像を抽出する。

ここで、特徴指定機能６５５が診療記録と、医用画像の特徴との指定を受け付けた場合に、画像抽出機能６５６が実行する医用画像の抽出処理について例を挙げて説明する。図５は、肺がんが発生した患者の診療記録の一例を示す説明図である。２０１８年２月１日の医用情報には、医用画像に診療情報が関連付けられている。診療情報には、ＣＴ検査の読影結果として微小な異常陰影があることが記録されている。２０１８年１０月１日の医用情報には、医用画像に診療情報が関連付けられている。診療情報には、ＣＴ検査の読影結果として肺がんの疑いがあることが記録されている。２０１８年１０月８日の医用情報には、診療情報が含まれている。診療情報には、確定診断名が「肺がん」と記録されている。そのため、収集機能６５３は、図５に示す医用画像を「肺がん」とラベリングする。さらに、収集機能６５３は、２０１８年２月１日の医用画像に含まれている異常陰影の大きさ等に基づいて、「肺がん」の病期を「ステージ１期」とラベリングする。２０１８年１０月１３日の医用情報には、医用画像に診療情報が関連付けられている。診療情報には、手術前のＣＴ検査として医用画像を撮影したことが記録されている。２０１８年１０月１９日の医用情報には、医用画像に診療情報が関連付けられている。診療情報には、手術後のＣＴ検査として医用画像を撮影したことが記録されている。２０１８年１１月２４日の医用情報には、医用画像に診療情報が関連付けられている。診療情報には、放射線治療第１クール終了後のＣＴ検査として医用画像を撮影したことが記録されている。

図５に示す場合において、ステージ１期の肺がんの医用画像を抽出する処理について説明する。ステージ１期を見つけるため人工知能を生成する場合、必要な学習用データは、２０１８年２月１日の医用画像である。この場合、特徴指定機能６５５は、医用画像の特徴として「肺がんステージ１期」とのキーワードの入力を受け付ける。ここで、２０１８年２月１日の診療情報には、「肺がん」及び「ステージ１期」とラベリングされている。そのため、画像抽出機能６５６は、「肺がんステージ１期」とのキーワードを有する２０１８年２月１日の診療情報に関連付けられている２０１８年２月１日の医用画像を抽出する。

図５に示す場合において、肺がんの手術後に行われた放射線治療後の医用画像を抽出する処理について説明する。肺がんの手術後に放射線治療を行っている箇所を見つけるための人工知能を生成する場合、必要な学習用データは、２０１８年１１月２４日の医用画像である。

経歴指定機能６５１は、診療内容の経歴として「肺がん」「手術」「放射線治療」とのキーワードの入力を受け付ける。取得機能６５２は、肺がんの手術後に放射線治療を行っている患者の電子カルテ情報を取得する。収集機能６５３は、取得機能６５２が取得した電子カルテ情報に関連付けられた読影レポートで特定される医用画像、及び電子カルテ情報及び電子カルテ情報に関連付けられた情報を収集することで医用画像に対する確定された診療内容を示す診療情報を収集する。そして、記憶制御機能６５４は、収集機能６５３が収集した医用画像及び診療情報を学習用データテーブル６２１に記憶する。これにより、学習用データテーブル６２１には、肺がんの手術後に放射線治療を行っている患者の医用画像が記憶されている。しかし、必要な医用画像は、肺がんの手術後に放射線治療を行っている時の医用画像である。そのため、特徴指定機能６５５は、「放射線治療」とのキーワードの入力を受け付ける。そして、画像抽出機能６５６は、肺がんの手術後に放射線治療を行っている患者の医用画像のうち、「放射線治療」とのキーワードを有する診療情報に関連付けられている医用画像を抽出する。

また、図５には図示していないが、放射線治療を実施したが、肺がんから骨転移があった場合の医用画像を抽出する処理について説明する。経歴指定機能６５１は、診療内容の経歴として診療記録として「肺がん」「手術」「放射線治療」「骨転移」とのキーワードの入力を受け付ける。取得機能６５２は、肺がんの手術後に放射線治療を行ったが骨移転が発生した患者の電子カルテ情報を取得する。収集機能６５３は、取得機能６５２が取得した電子カルテ情報に関連付けられた読影レポートで特定される医用画像、及び電子カルテ情報及び電子カルテ情報に関連付けられた情報を収集することで医用画像に対する確定された診療内容を示す診療情報を収集する。そして、記憶制御機能６５４は、収集機能６５３が収集した医用画像及び診療情報を学習用データテーブル６２１に記憶する。これにより、学習用データテーブル６２１には、肺がんの手術後に放射線治療を行ったが骨移転が発生した患者の医用画像が蓄積されている。しかし、必要な医用画像は、骨移転の医用画像である。そのため、特徴指定機能６５５は、「骨移転」とのキーワードの入力を受け付ける。そして、画像抽出機能６５６は、学習用データテーブル６２１から「骨移転」とのキーワードを有する診療情報に関連付けられている医用画像を抽出する。

図６は、肺がんと診断されたが病理検査で器質化肺炎と診断された患者の診療記録の一例を示す説明図である。２０１８年２月１日の医用情報には、医用画像に診療情報が関連付けられている。診療情報には、ＣＴ検査の読影結果として肺がんの疑いありと診断されたことが記録されている。２０１８年２月１日の医用情報には、診療情報が含まれている。診療情報には、病理検査の結果として確定診断名が「器質性肺炎」と診断されたことが記録されている。そのため、収集機能６５３は、図６に示す医用画像を「器質性肺炎」とラベリングする。また、収集機能６５３は、２０１８年２月１日の医用画像の異常陰影の大きさに基づいて、２０１８年２月１日の医用画像に対して「ステージ１期」の肺がんとラベリングする。

図６に示す場合において、肺がんとの所見が示されたが、その後の病理検査で器質化肺炎と診断された場合において、肺がんと誤った所見が示された医用画像を抽出する処理について説明する。経歴指定機能６５１は、診療内容の経歴として診療記録として「肺がん」「器質性肺炎」とのキーワードの入力を受け付ける。この時、経歴指定機能６５１は、「肺がん」の属性として所見情報が指定され、「肺がん」が記録された順番が「１」と指定される。また、経歴指定機能６５１は、「器質性肺炎」の属性として病理情報が指定され、「器質性肺炎」が記録された順番が「２」と指定される。これにより、取得機能６５２は、所見情報に「肺がん」が記録された後に、病理情報に「器質性肺炎」が記録された患者の電子カルテ情報を取得する。そして、記憶制御機能６５４は、収集機能６５３が収集した医用画像及び診療情報を学習用データテーブル６２１に記憶する。特徴指定機能６５５は、「器質性肺炎」とのキーワードの入力を受け付ける。画像抽出機能６５６は、２０１８年１０月１日の医用画像は「器質性肺炎」とラベリングされているため、２０１８年１０月１日の医用画像を抽出する。

形式指定機能６５７は、第３入力部の一例である。形式指定機能６５７は、出力機能６５９が出力する医用画像の形式を指定する入力を受け付ける。医用画像を使用してどのように機械学習させるかは人工知能に応じて異なる。そこで、形式指定機能６５７は、出力機能６５９が出力する医用画像の形式を指定する入力を受け付ける。例えば、形式指定機能６５７は、ＸＭＬ（Extensible Markup Language）形式、ＪＳＯＮ（Java（登録商標） Script Object Notation）形式、ＣＳＶ（Comma-Separated Values）形式に変換する指定を受け付ける。または、形式指定機能６５７は、Ｇｒｏｏｖｙや、ＦｉｅｌｄＭａｐ等のカスタマイズ可能な表現に変換する指定を受け付ける。

また、近年の人工知能は、様々なライブラリが使用される。そして、使用するライブラリによって医用画像の使用方法が異なる。例えば、使用方法には、一枚の医用画像の全部を使用する場合や、医用画像から切り取った画像を使用する場合や、病変部分を切り取った医用画像を使用する場合等がある。そこで、形式指定機能６５７は、医用画像から切り出す対象を指定する入力を受け付ける。

画像変換機能６５８は、変換部の一例である。画像変換機能６５８は、形式指定機能６５７が受け付けた形式に、医用画像を変換する。例えば、画像変換機能６５８は、ＸＭＬ形式、ＪＳＯＮ形式、ＣＳＶ形式に変換する。または、画像変換機能６５８は、Ｇｒｏｏｖｙや、ＦｉｅｌｄＭａｐ等のカスタマイズ可能な表現に変換する。

また、画像変換機能６５８は、形式指定機能６５７が医用画像から切り出す対象を指定する入力を受け付けている場合に、医用画像から指定された対象を切り出す処理を実行する。例えば、形式指定機能６５７が切り出す対象として病変部位が指定された場合に、画像変換機能６５８は、医用画像から病変部位を切り出す。

出力機能６５９は、出力部の一例である。出力機能６５９は、学習用データテーブル６２１に記憶された医用画像を出力する。更に詳しくは、出力機能６５９は、画像抽出機能６５６が学習用データテーブル６２１から抽出した医用画像を出力する。また、出力機能６５９は、画像変換機能６５８が変換した後の医用画像を出力する。また、画像変換機能６５８が医用画像から病変部位を切り出した場合には、画像変換機能６５８は、画像変換機能６５８が切り出した医用画像を出力する。そして、出力機能６５９は、医用画像を他の装置に送信する。なお、出力機能６５９による出力形態は、送信に限らず、他の形態であってもよい。また、出力機能６５９は、医用画像に限らず、医用画像と関連付けられた診療情報とを出力してもよい。

次に、本実施形態に係る医用情報収集装置６０が医用画像を収集する収集処理について説明する。図７は、本実施形態に係る医用情報収集装置６０が実行する収集処理の処理手順を示すフローチャートである。

収集機能６５３は、医用画像を収集する収集条件が満たされたか否かを判定する（ステップＳ１１）。収集条件が満たされていない場合に（ステップＳ１１；Ｎｏ）、収集機能６５３は、収集条件が満たされるまで待機する。

収集条件が満たされた場合に（ステップＳ１１；Ｙｅｓ）、取得機能６５２は、経歴指定機能６５１が受け付けた診療内容の経歴に適合する電子カルテ情報を取得する（ステップＳ１２）。

収集機能６５３は、取得機能６５２が取得した電子カルテ情報に関連付けられた読影レポートで特定される医用画像を収集する（ステップＳ１３）。この時、収集機能６５３は、医用画像と共に、医用画像に対する確定された診療内容を示す診療情報を収集してもよい。

記憶制御機能６５４は、収集機能６５３が収集した医用画像を学習用データテーブル６２１に記憶させる（ステップＳ１４）。記憶制御機能６５４は、収集機能６５３が診療情報を収集した場合には、医用画像と、診療情報とを学習用データテーブル６２１に記憶させる。

以上により、医用情報収集装置６０は、収集処理を終了する。

次に、本実施形態に係る医用情報収集装置６０が医用画像を出力する出力処理について説明する。図８は、本実施形態に係る医用情報収集装置６０が実行する出力処理の処理手順を示すフローチャートである。

特徴指定機能６５５は、医用画像の特徴を指定する入力を受け付けたか否かを判定する（ステップＳ２１）。

医用画像の特徴を指定する入力を受け付けた場合に（ステップＳ２１；Ｙｅｓ）、画像抽出機能６５６は、学習用データテーブル６２１から指定された特徴に適合する医用画像を抽出する（ステップＳ２２）。

医用画像の特徴を指定する入力を受け付けていない場合に（ステップＳ２１；Ｎｏ）、画像抽出機能６５６は、学習用データテーブル６２１に記憶された全ての医用情報を抽出する（ステップＳ２３）。

形式指定機能６５７は、出力する医用画像の形式を指定する入力を受け付けたか否かを判定する（ステップＳ２４）。医用画像の形式を指定する入力を受け付けた場合に（ステップＳ２４；Ｙｅｓ）、画像変換機能６５８は、指定された形式に医用画像を変換する（ステップＳ２５）。

医用画像の形式を指定する入力を受け付けていない場合に（ステップＳ２４；Ｎｏ）、医用情報収集装置６０は、医用画像の形式を変換せずにステップＳ２６に移行する。

出力機能６５９は、医用画像を出力する（ステップＳ２６）。

以上により、医用情報収集装置６０は、収集処理を終了する。

以上のように、本実施形態に係る医用情報収集装置６０は、指定された診療内容の経歴を有する電子カルテ情報を取得する。また、医用情報収集装置６０は、電子カルテ情報に関連付けられた読影レポートで特定される医用画像を収集する。そして、医用情報収集装置６０は、収集した医用画像を出力する。ここで、医師等の医療従事者は、ハイパーリンクにより医用画像を関連付ける場合、一又は複数の医用画像のうち最も特徴的な医用画像を所見情報と関連付けることが一般的であると想定される。医用情報収集装置６０は、ハイパーリンクにより関連付けられた医用画像を収集することで、特徴的な部分の無い医用画像ではなく、特徴的な部分を有する医用画像を収集することができる。すなわち、医用情報収集装置６０は、人工知能の学習に適した医用画像を収集することができる。以上により、本実施形態に係る医用情報収集装置６０は、人工知能に応じた医用画像を学習用データを収集することができる。

また、上述した実施形態では、単一の処理回路５５０によって各処理機能が実現される場合の例を説明したが、実施形態はこれに限られない。例えば、処理回路５５０は、複数の独立したプロセッサを組み合わせて構成され、各プロセッサが各プログラムを実行することにより各処理機能を実現するものとしても構わない。また、処理回路５５０が有する各処理機能は、単一又は複数の処理回路５５０に適宜に分散又は統合されて実現されてもよい。

上述した各実施形態の説明で用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。ここで、メモリにプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合には、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。また、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて一つのプロセッサとして構成され、その機能を実現するようにしてもよい。

ここで、プロセッサによって実行されるプログラムは、ＲＯＭ（Read Only Memory）や記憶部等に予め組み込まれて提供される。なお、このプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでＣＤ（Compact Disk）−ＲＯＭ、ＦＤ（Flexible Disk）、ＣＤ−Ｒ（Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記憶媒体に記録されて提供されてもよい。また、このプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードされることにより提供又は配布されてもよい。例えば、このプログラムは、各機能部を含むモジュールで構成される。実際のハードウェアとしては、ＣＰＵが、ＲＯＭ等の記憶媒体からプログラムを読み出して実行することにより、各モジュールが主記憶装置上にロードされて、主記憶装置上に生成される。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。更に、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、或いは、ワイヤードロジックによるハードウェアとして実現され得る。

また、上述した実施形態で説明した医用情報収集方法は、予め用意されたプログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。このプログラムは、インターネット等のネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。

以上説明した少なくとも一つの実施形態によれば、人工知能に応じた医用画像を学習用データとして収集することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 医用情報収集システム
１０ 電子カルテシステム
２０ モダリティ
３０ ＰＡＣＳ
４０ 病理システム
５０ 操作端末
６０ 医用情報収集装置
５５１ 表示制御機能
５５２ 操作機能
５５３ リンク機能
６２１ 学習用データテーブル
６５１ 経歴指定機能
６５２ 取得機能
６５３ 収集機能
６５４ 記憶制御機能
６５５ 特徴指定機能
６５６ 画像抽出機能
６５７ 形式指定機能
６５８ 画像変換機能
６５９ 出力機能

Claims (8)

1. 診療内容の経歴を指定する入力を受け付ける第１入力部と、
   診療内容の記録を示す電子カルテ情報を患者ごとに管理するデータベースから、前記第１入力部が受け付けた前記経歴に適合する前記電子カルテ情報を取得する取得部と、
   前記取得部が取得した前記電子カルテ情報に関連付けられた読影レポートで特定される医用画像を収集する収集部と、
   前記収集部が収集した前記医用画像を記憶部に記憶させる記憶制御部と、
   前記記憶部に記憶された前記医用画像を出力する出力部と、
   を備える医用情報収集装置。
2. 前記医用画像の特徴を指定する入力を受け付ける第２入力部と、
   前記第２入力部が受け付けた前記特徴に適合する前記医用画像を前記記憶部から抽出する抽出部と、を備え、
   前記出力部は、前記抽出部が抽出した前記医用画像を出力する、
   請求項１に記載の医用情報収集装置。
3. 前記第１入力部は、前記診療内容の属性を指定する入力を受け付け、
   前記取得部は、前記診療内容が指定された前記属性で記録された前記電子カルテ情報を取得し、
   前記収集部は、前記取得部が取得した前記電子カルテ情報に関連付けられた前記読影レポートで特定された前記医用画像を収集する、
   請求項１又は２に記載の医用情報収集装置。
4. 前記第１入力部は、前記診療内容が記録された順番を指定する入力を受け付け、
   前記取得部は、前記診療内容が指定された順番で記録された前記電子カルテ情報を取得し、
   前記収集部は、前記取得部が取得した前記電子カルテ情報に関連付けられた前記読影レポートで特定された前記医用画像を収集する、
   請求項１乃至３の何れか一項に記載の医用情報収集装置。
5. 前記出力部が出力する前記医用画像の形式を指定する入力を受け付ける第３入力部と、
   前記第３入力部が受け付けた前記形式に、前記医用画像を変換する変換部と、を備え、
   前記出力部は、前記変換部が変換した後の前記医用画像を出力する、
   請求項１乃至４の何れか一項に記載の医用情報収集装置。
6. 前記変換部は、前記医用画像から病変部位を切り出し、
   前記出力部は、前記変換部が切り出した前記医用画像を出力する、
   請求項５に記載の医用情報収集装置。
7. 前記収集部は、前記電子カルテ情報に関連付けられた前記読影レポートに含まれる文字列に設定されたハイパーリンク情報により特定される前記医用画像を収集する、
   請求項１乃至６の何れか一項に記載の医用情報収集装置。
8. 前記収集部は、前記医用画像と、当該医用画像に対する確定された前記診療内容を示す診療情報とを収集し、
   前記記憶制御部は、前記医用画像と、前記診療情報とを記憶させ、
   前記出力部は、前記医用画像と、前記診療情報とを出力する、
   請求項１乃至７の何れか一項に記載の医用情報収集装置。