Nothing Special   »   [go: up one dir, main page]

JP2011181015A - 診断情報配信装置および病理診断システム - Google Patents

診断情報配信装置および病理診断システム Download PDF

Info

Publication number
JP2011181015A
JP2011181015A JP2010047182A JP2010047182A JP2011181015A JP 2011181015 A JP2011181015 A JP 2011181015A JP 2010047182 A JP2010047182 A JP 2010047182A JP 2010047182 A JP2010047182 A JP 2010047182A JP 2011181015 A JP2011181015 A JP 2011181015A
Authority
JP
Japan
Prior art keywords
pathologist
diagnosis
information
image
diagnostic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010047182A
Other languages
English (en)
Inventor
Yoko Yamamoto
洋子 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2010047182A priority Critical patent/JP2011181015A/ja
Priority to EP11750661A priority patent/EP2544141A1/en
Priority to PCT/JP2011/054657 priority patent/WO2011108551A1/ja
Publication of JP2011181015A publication Critical patent/JP2011181015A/ja
Priority to US13/601,010 priority patent/US20120327211A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

【課題】病理医による迅速な診断を実現すること。
【解決手段】本発明のある実施の形態において、情報配信器5は、診断対象の染色標本を撮像した染色標本画像から要診断領域を抽出する要診断領域抽出処理部541と、複数の病理診断装置7を操作する病理医の中から診断を依頼する依頼先病理医を確定する診断依頼可否判定部562と、少なくとも要診断領域の画像データに対し、予め設定されている依頼先病理医の観察手技に応じた画像処理を施して提供情報を作成する提供情報作成部544と、依頼先病理医の病理診断装置7に提供情報を少なくとも含む診断情報を配信する提供情報配信処理部563とを備える。
【選択図】図3

Description

本発明は、標本を診断するための診断情報を配信する診断情報配信装置および病理診断システムに関するものである。
例えば病理診断では、臓器摘出や針生検によって得た組織検体を厚さ数ミクロン程度に薄切して標本を作成し、様々な所見を得るために顕微鏡を用いて拡大観察することが広く行われている。中でも光学顕微鏡を用いた透過観察は、機材が比較的安価で取り扱いが容易である上、歴史的に古くから行われてきたこともあって、最も普及している観察方法の一つである。ここで、生体から採取した検体は光をほとんど吸収および散乱せず、無色透明に近い。このため、標本の作成に際し、色素による染色を施すのが一般的である。
染色手法としては種々のものが提案されており、その総数は100種類以上にも達するが、特に病理標本に関しては、色素として青紫色のヘマトキシリンと赤色のエオジンとの2つを用いるヘマトキシリン−エオジン染色(以下、「H&E染色」と呼ぶ。)が標準的に用いられている。
H&E染色された病理標本に対する診断では、病理医は、観察したい組織の形状や分布を総合的に判断する。場合によっては、病理標本にH&E染色とは異なる特殊染色を施し、観察したい組織の色を変えて視覚的に強調する手法が臨床的に用いられている。この特殊染色は、例えば、H&E染色では確認が難しい組織を観察する場合や、癌の進行によって観察したい組織の形態が崩れて視認が難しい場合等に用いられる。しかしながら、この特殊染色は、その染色工程に2日〜3日を要し、診断を迅速に行えないという問題がある。加えて、特殊染色の実施によって技師による作業工程が増加するという問題もあった。このため、近年では、病理標本を撮像し、得られた画像データを画像処理することによって、実際に特殊染色を施すことなく病理標本内の組織を特定しようとする試みがなされている。
一方で、医療の現場では、従来から、例えば診断が困難な症例や希少症例等について、他の病理医と意見交換するといったことが行われてる。また、近年では、主治医以外の医師に意見を求める所謂セカンド・オピニオンに対する認知度が高まっている。このようなセカンド・オピニオン等のコンサルテーションでは、その症例に応じて意見を求めるのに適した病理医を選ぶ必要がある。加えて、意見を求める病理医に対して診断に必要な情報を提供する必要がある。
ここで、遠隔地に在る病理医間で行うコンサルテーションに関する技術として、例えば、コンサルティング可能な病理医の専門分野、経歴等の病理医情報を画面に表示し、この病理医情報をもとに担当病理医が選定した病理医に画像情報を送信するようにしたものが知られている(特許文献1を参照)。この特許文献1の技術によれば、担当病理医は、表示された病理医情報をもとに診断を依頼するのに適切な病理医を選定することで、選定した病理医との間での意見交換を行うことができる。
特開平11−195077号公報
"Color Correction of Pathological Images Based on Dye Amount Quantification",OPTICAL REVIEW Vol.12,No.4(2005),p.293−300 "Development of support systems for pathology using spectral transmittance - The quantification method of stain conditions",Proceedings of SPIE - Image Processing Vol.4684,p.1516-1523 ナチュラルビジョン(次世代映像表示・伝送システム)の研究開発プロジェクト[動画]の研究開発最終報告書,平成18年3月31日,独立行政法人情報通信研究機構(拠点研究推進部門)
しかしながら、診断の仕方(以下、「観察手技」と呼ぶ。)は多種多様であり、病理医によって異なる場合があった。例えば、上記したような病理標本に対する診断では、一般に病理医は、病理標本を画像化して画面表示し、画面上で観察・診断を行っている。ここで、画像化の手法は1種類ではなく、診断に用いる画像の種類は病理医によって異なる場合があった。病理医は、普段診断に用いているのとは異なる種類の画像では慣れ親しんだ観察手技での診断ができず、診断を迅速に行えないという問題があった。
本発明は、上記した従来の問題点に鑑みて為されたものであり、病理医による迅速な診断を実現することができる診断情報配信装置および病理診断システムを提供することを目的とする。
上記した課題を解決し、目的を達成するための、本発明のある態様にかかる診断情報配信装置は、異なる病理医が操作する複数の病理診断装置と通信接続可能に構成され、前記病理診断装置に対して診断情報を配信する診断情報配信装置であって、診断対象の標本を撮像した標本画像を取得する画像取得手段と、前記標本画像から要診断領域を抽出する要診断領域抽出手段と、前記複数の病理診断装置を操作する病理医の中から診断を依頼する依頼先病理医を選択する病理医選択手段と、少なくとも前記要診断領域の画像データに対し、予め設定されている前記依頼先病理医の観察手技に応じた画像処理を施して提供情報を作成する提供情報作成手段と、前記依頼先病理医の前記病理診断装置に前記提供情報を含む診断情報を配信する提供情報配信手段と、を備えることを特徴とする。
この態様にかかる診断情報配信装置によれば、複数の病理診断装置を操作する病理医の中から診断を依頼する依頼先病理医を選択するとともに、少なくとも標本画像から抽出した要診断領域の画像データに対し、予め設定されている依頼先病理医の観察手技に応じた画像処理を施して提供情報を作成することができる。そして、依頼先病理医の病理診断装置に作成した提供情報を含む診断情報を配信することができる。したがって、診断情報を受信した病理診断装置の依頼先病理医は、慣れ親しんだ観察手技で診断を行うことができるので、病理医による迅速な診断が実現できる。
また、本発明の別の態様にかかる病理診断システムは、診断情報配信装置と、異なる病理医が操作する複数の病理診断装置とがネットワークを介して接続された病理診断システムであって、前記診断情報配信装置は、診断対象の標本を撮像した標本画像を取得する画像取得手段と、前記標本画像から要診断領域を抽出する要診断領域抽出手段と、前記複数の病理診断装置を操作する病理医の中から診断を依頼する依頼先病理医を選択する病理医選択手段と、少なくとも前記要診断領域の画像データに対し、予め設定されている前記依頼先病理医の観察手技に応じた画像処理を施して提供情報を作成する提供情報作成手段と、前記依頼先病理医の前記病理診断装置に前記提供情報を少なくとも含む診断情報を配信する提供情報配信手段と、を備え、前記病理診断装置は、前記提供情報を表示部に表示処理する表示処理手段を備えることを特徴とする。
本発明によれば、病理医による迅速な診断が実現することができるという効果を奏する。
図1は、病理診断システムの全体構成の一例を示すブロック図である。 図2は、バーチャルスライド顕微鏡の構成例を説明する模式図である。 図3は、情報配信器の機能構成の一例を示すブロック図である。 図4は、病理診断システムにおけるデータフローを示す図である。 図5は、バーチャルスライド顕微鏡が行う処理手順を示すフローチャートである。 図6は、バーチャルスライド画像生成処理の処理手順を示すフローチャートである。 図7は、スライドガラス標本の一例を示す図である。 図8は、標本領域画像の一例を示す図である。 図9は、フォーカスマップのデータ構成例を説明する図である。 図10は、情報配信器、病理診断装置および情報統合器が行う処理手順を示すフローチャートである。 図11は、要診断領域情報作成処理の処理手順を示すフローチャートである。 図12は、要診断領域抽出画面の一例を示す図である。 図13は、HE色素量分布図の一例を示す図である。 図14は、細胞核のスペクトル(吸光度値)を示す図である。 図15は、要診断領域の一例を示す図である。 図16は、血管領域の特定原理を説明する図である。 図17は、要診断領域の他の例を示す模式図である。 図18は、核境界の不整度合いの算出原理を説明する説明図である。 図19は、線維密集度の算出原理を説明する説明図である。 図20は、形状不正度の算出原理を説明する説明図である。 図21は、癌可能性度推定テーブルの一例を示す図である。 図22は、病理医選出処理の処理手順を示すフローチャートである。 図23は、病理医DBのデータ構成例を示す図である。 図24−1は、診断臓器/組織のデータセットの一例を示す図である。 図24−2は、診断臓器/組織のデータセットの他の例を示す図である。 図25は、標本属性情報および要診断領域情報の一例を示す図である。 図26は、病理診断装置に画面表示される診断可否返答依頼の一例を示す図である。 図27は、病理診断装置に画面表示されるアクセス可能な旨の通知の一例を示す図である。 図28は、病理診断装置に画面表示される定員に達した旨の通知の一例を示す図である。 図29は、H色素量画像の一例を示す図である。 図30は、E色素量画像の一例を示す図である。 図31は、デジタルステイン画像の一例を示す図である。 図32は、診断画面の一例を示す図である。 図33は、報告書作成画面の一例を示す図である。
以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。なお、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
(実施の形態)
図1は、本実施の形態の病理診断システム1の全体構成の一例を示すブロック図である。図1に示すように、病理診断システム1は、観察部としてのバーチャルスライド顕微鏡2と、染色標本DB4と、診断情報配信装置である情報配信器5と、病理医DB6と、病理診断装置7(7−1,7−2,7−3,・・・)と、情報統合器8とを含む。そして、この病理診断システム1では、情報配信器5と、病理医DB6と、病理診断装置7と、情報統合器8とがネットワークNを介して接続されている。
情報配信器5、病理診断装置7および情報統合器8は、CPU、メインメモリ等の主記憶装置、ハードディスクや各種記憶媒体等の外部記憶装置、通信装置、表示装置や印刷装置等の出力装置、入力装置、各部を接続し、あるいは外部入力を接続するインターフェース装置等を備えた公知のハードウェア構成で実現でき、例えばワークステーションやパソコン等の汎用コンピュータを利用することができる。また、ネットワークNは、例えば電話回線網やインターネット、LAN、専用回線、イントラネット等の各種通信網を適宜採用して用いることができる。
バーチャルスライド顕微鏡2は、バーチャル顕微鏡システムを適用した顕微鏡装置であり、観察対象の標本を撮像してバーチャルスライド画像を生成する。顕微鏡装置を用いて標本を観察する場合、1度に観察可能な範囲(視野範囲)は、主に対物レンズの倍率によって決定される。ここで、対物レンズの倍率が高いほど高精細な画像が得られる反面、視野範囲が狭くなる。この種の問題を解決するため、従来から、標本を載置する電動ステージを動かす等して視野範囲を移動させながら、倍率の高い対物レンズを用いて標本像を部分毎に撮像し、撮像した部分毎の画像を繋ぎ合わせることによって高精細でかつ広視野の画像を生成するといったことが行われており、バーチャル顕微鏡システムと呼ばれている。バーチャルスライド画像は、このバーチャル顕微鏡システムで生成される高精細かつ広視野の画像のことである。このバーチャル顕微鏡システムによれば、実際に標本が存在しない環境であっても観察が行える。また、生成したバーチャルスライド画像をネットワークを介して閲覧可能に公開しておけば、時間や場所を問わずに標本の観察が行える。近年では、このバーチャル顕微鏡システムは、上記したような遠隔地に在る病理医間で行うセカンド・オピニオン等のコンサルテーションで用いられ始めている。
より詳細には、本実施の形態のバーチャルスライド顕微鏡2は、H&E染色された病理標本等の生体組織標本(以下、「染色標本」と呼ぶ。)を観察対象とする。そして、バーチャルスライド顕微鏡2は、この観察対象の染色標本をマルチバンド撮像し、マルチスペクトル情報を有するマルチバンドのバーチャルスライド画像(分光スペクトル画像)を生成する。
染色標本DB4は、バーチャルスライド顕微鏡2によってバーチャルスライド画像が生成された染色標本に関するデータを蓄積したデータベース(DB)である。この染色標本DB4には、例えば染色標本を特定するための識別情報である染色標本IDと対応付けて、その染色標本に関する標本属性情報、バーチャルスライド画像を含む染色標本の標本画像(以下、「染色標本画像」と呼ぶ。)の画像データ、要診断領域情報、提供情報および診断結果統合情報が登録・保存される。以下、これら標本属性情報、染色標本画像の画像データ、要診断領域情報、提供情報および診断結果統合情報を包括して適宜「染色標本情報」と呼ぶ。
情報配信器5は、バーチャルスライド画像から要診断領域を抽出し、病理医DB6に登録されている病理医情報を参照し、要診断領域について意見を求めるのに最適な病理医を検索する。そして、最終的に診断の依頼先として確定した病理医(以下、「依頼先病理医」と呼ぶ。)の観察手技に従ってバーチャルスライド画像を加工し、提供情報を作成して該当する病理診断装置7に配信する。
病理医DB6は、病理医に関するデータを蓄積したデータベースである。この病理医DB6には、病理医記憶部として、例えば病理医を識別するための病理医IDと対応付けて、例えば所属や連絡先、経歴、専門分野、過去に診断した症例(過去症例)、観察手技、スケジュール等が適宜登録される。
病理診断装置7は、病理医DB6に登録されている病理医が診断に用いる端末装置であり、例えば、その病理医の勤務する医療施設に設置される。この病理診断装置7は、病理医が提供情報等を閲覧しながら診断を行い、診断結果や所見等を返信するためのものであり、情報配信器5から配信された提供情報等を表示し、操作入力に応じた診断報告書情報を作成して情報統合器8に送信する。
情報統合器8は、病理診断装置7から送信された診断報告書情報をもとに該当する染色標本の染色標本情報を染色標本DB4から取得し、これらを統合して確定診断結果情報を作成する。
ここで、バーチャルスライド顕微鏡2および情報配信器5の構成について順次説明する。図2は、バーチャルスライド顕微鏡2の構成例を説明する模式図である。以下、図2に示す対物レンズ27の光軸方向をZ方向とし、Z方向と垂直な平面をXY平面として定義する。
図2に示すように、バーチャルスライド顕微鏡2は、観察対象の染色標本Sが載置される電動ステージ21と、側面視略コの字状を有し、電動ステージ21を支持するとともにレボルバ26を介して対物レンズ27を保持する顕微鏡本体24と、顕微鏡本体24の底部後方(図2の右方)に配設された光源28と、顕微鏡本体24の上部に載置された鏡筒29とを備える。また、鏡筒29には、染色標本Sの標本像を目視観察するための双眼部31と、染色標本Sの標本像を撮像するためのTVカメラ32が取り付けられている。
電動ステージ21は、XYZ方向に移動自在に構成されている。具体的には、電動ステージ21は、モータ221およびこのモータ221の駆動を制御するXY駆動制御部223によってXY平面内で移動自在である。XY駆動制御部223は、顕微鏡コントローラ33の制御のもと、図示しないXY位置の原点センサによって電動ステージ21のXY平面における所定の原点位置を検知し、この原点位置を基点としてモータ221の駆動量を制御することによって、染色標本S上の観察箇所を移動させる。そして、XY駆動制御部223は、観察時の電動ステージ21のX位置およびY位置を適宜顕微鏡コントローラ33に出力する。また、電動ステージ21は、モータ231およびこのモータ231の駆動を制御するZ駆動制御部233によってZ方向に移動自在である。Z駆動制御部233は、顕微鏡コントローラ33の制御のもと、図示しないZ位置の原点センサによって電動ステージ21のZ方向における所定の原点位置を検知し、この原点位置を基点としてモータ231の駆動量を制御することによって、所定の高さ範囲内の任意のZ位置に染色標本Sを焦準移動させる。そして、Z駆動制御部233は、観察時の電動ステージ21のZ位置を適宜顕微鏡コントローラ33に出力する。
レボルバ26は、顕微鏡本体24に対して回転自在に保持され、対物レンズ27を染色標本Sの上方に配置する。対物レンズ27は、レボルバ26に対して倍率(観察倍率)の異なる他の対物レンズとともに交換自在に装着されており、レボルバ26の回転に応じて観察光の光路上に挿入されて染色標本Sの観察に用いる対物レンズ27が択一的に切り換えられるようになっている。なお、本実施の形態では、レボルバ26は、対物レンズ27として、例えば2倍,4倍といった比較的倍率の低い対物レンズ(以下、適宜「低倍対物レンズ」と呼ぶ。)と、10倍,20倍,40倍といった低倍対物レンズの倍率に対して高倍率である対物レンズ(以下、適宜「高倍対物レンズ」と呼ぶ。)とを少なくとも1つずつ保持していることとする。ただし、低倍および高倍とした倍率は一例であり、少なくとも一方の倍率が他方の倍率に対して高ければよい。
顕微鏡本体24は、底部において染色標本Sを透過照明するための照明光学系を内設している。この照明光学系は、光源28から射出された照明光を集光するコレクタレンズ251、照明系フィルタユニット252、視野絞り253、開口絞り254、照明光の光路を対物レンズ27の光軸に沿って偏向させる折曲げミラー255、コンデンサ光学素子ユニット256、トップレンズユニット257等が、照明光の光路に沿って適所に配置されて構成される。光源28から射出された照明光は、照明光学系によって染色標本Sに照射され、観察光として対物レンズ27に入射する。
また、顕微鏡本体24は、その上部においてフィルタユニット30を内設している。フィルタユニット30は、標本像として結像する光の波長帯域を所定範囲に制限するためのものであり、TVカメラ32によって標本像をマルチバンド撮像する際に用いられる。対物レンズ27を経た観察光は、このフィルタユニット30を経由して鏡筒29に入射する。
フィルタユニット30は、例えば、チューナブルフィルタや、チューナブルフィルタを透過する光の波長を調整するフィルタ制御器等で構成される。チューナブルフィルタは、透過光の波長を電気的に調整可能なフィルタであって、例えば1〔nm〕以上の任意の幅(以下、「選択波長幅」と呼ぶ。)の波長帯域を選択可能なものを用いる。具体的には、ケンブリッジリサーチアンドインストルメンテーション社製の液晶チューナブルフィルタ「VariSpec(バリスペック)」等、市販のものを適宜用いることができる。このフィルタユニット30を介して染色標本Sの標本像をTVカメラ32の撮像素子上に投影することで、標本像の画像データがマルチバンド画像として得られる。ここで、得られる画像データを構成する各画素の画素値は、チューナブルフィルタによって任意に選択した波長帯域における光の強度に相当し、染色標本Sの各点について選択した波長帯域の画素値が得られる。なお、染色標本Sの各点とは、投影された撮像素子の各画素に対応する染色標本S上の各点のことであり、以下では、染色標本S上の各点が得られる画像データの各画素位置に対応しているものとする。マルチバンド撮像する際のチューナブルフィルタの選択波長幅は予め設定しておけばよく、任意の値を設定できる。
なお、フィルタユニット30の構成としてチューナブルフィルタを用いた構成を例示したが、これに限定されるものではなく、染色標本Sの各点における光の強度情報が取得できればよい。例えば、特開平7−120324号公報に開示されている撮像方式を適用してフィルタユニット30を構成してもよい。すなわち、所定枚数(例えば16枚)のバンドパスフィルタをフィルタホイールで回転させて切り替える構成とし、面順次方式で染色標本Sをマルチバンド撮像する構成としてもよい。
鏡筒29は、フィルタユニット30を経た観察光の光路を切り換えて双眼部31またはTVカメラ32へと導くビームスプリッタ291を内設している。染色標本Sの標本像は、このビームスプリッタ291によって双眼部31内に導入され、接眼レンズ311を介して検鏡者に目視観察される。あるいはTVカメラ32によって撮像される。TVカメラ32は、標本像(詳細には対物レンズ27の視野範囲)を結像するCCDやCMOS等の撮像素子を備えて構成され、標本像を撮像し、標本像の画像データを制御部35に出力する。
そして、バーチャルスライド顕微鏡2は、顕微鏡コントローラ33とTVカメラコントローラ34とを備える。顕微鏡コントローラ33は、制御部35の制御のもと、バーチャルスライド顕微鏡2を構成する各部の動作を統括的に制御する。例えば、顕微鏡コントローラ33は、レボルバ26を回転させて観察光の光路上に配置する対物レンズ27を切り換える処理や、切り換えた対物レンズ27の倍率等に応じた光源28の調光制御や各種光学素子の切り換え、あるいはXY駆動制御部223やZ駆動制御部233に対する電動ステージ21の移動指示等、染色標本Sの観察に伴うバーチャルスライド顕微鏡2の各部の調整を行うとともに、各部の状態を適宜制御部35に通知する。TVカメラコントローラ34は、制御部35の制御のもと、自動ゲイン制御のON/OFF切換、ゲインの設定、自動露出制御のON/OFF切換、露光時間の設定等を行ってTVカメラ32を駆動し、TVカメラ32の撮像動作を制御する。
また、バーチャルスライド顕微鏡2は、装置内の適所に収められた制御部35を備え、バーチャルスライド顕微鏡2を構成する各部の動作を制御してバーチャルスライド顕微鏡2を統括的に制御する。制御部35は、マイクロコンピュータ等で構成され、操作部351や表示部353、記憶部355等と接続されている。操作部351は、ボタンスイッチやスライドスイッチ、ダイヤル等の各種操作部材、タッチパネル、キーボード、マウス等で実現される。表示部353は、LCDやELディスプレイ等で実現される。記憶部355は、更新記憶可能なフラッシュメモリ等のROMやRAMといった各種ICメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、CD−ROM等の情報記憶媒体およびその読取装置等で実現され、バーチャルスライド顕微鏡2の動作に必要なプログラムや、このプログラムの実行中に使用されるデータ等が記憶される。
そして、制御部35は、操作部351から入力される入力信号や、顕微鏡コントローラ33から入力されるバーチャルスライド顕微鏡2各部の状態、TVカメラ32から入力される画像データ、記憶部355に記憶されるプログラムやデータ等をもとに顕微鏡コントローラ33やTVカメラコントローラ34に対するバーチャルスライド顕微鏡2各部の動作指示を行い、バーチャルスライド顕微鏡2全体の動作を統括的に制御する。また、バーチャルスライド顕微鏡2は、AF(自動焦点)の機能を有しており、制御部35は、TVカメラ32から入力される画像データをもとに各Z位置における画像のコントラストを評価し、合焦している焦点位置(合焦位置)を検出するAFの処理を行う。
この制御部35は、標本像の低解像画像および高解像画像を取得してバーチャルスライド画像を生成する。バーチャルスライド画像は、バーチャルスライド顕微鏡2によって撮像した1枚または2枚以上の画像を繋ぎ合せて生成した画像のことであるが、以下では、高倍対物レンズを用いて染色標本Sを部分毎に撮像した複数の高解像画像を繋ぎ合せて生成した画像であって、染色標本Sの全域を映した広視野で且つ高精細のマルチバンド画像のことをバーチャルスライド画像と呼ぶ。すなわち、制御部35は、バーチャルスライド顕微鏡2各部の動作指示を行って、標本像の低解像画像を取得する。この低解像画像は、染色標本Sの観察に低倍対物レンズを用い、例えばRGB画像として取得されるようになっている。また、制御部35は、バーチャルスライド顕微鏡2各部の動作指示を行って、標本像の高解像画像を取得する。この高解像画像は、染色標本Sの観察に高倍対物レンズを用い、マルチバンド画像として取得されるようになっている。
次に、情報配信器5の構成について説明する。図3は、情報配信器5の機能構成の一例を示すブロック図である。図3に示すように、情報配信器5は、入力部51と、表示部52と、通信部53と、画像処理部54と、記憶部55と、装置各部を制御する制御部56とを備える。
入力部51は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、操作入力に応じた入力信号を制御部56に出力する。表示部52は、LCDやELディスプレイ等のフラットパネルディスプレイ、あるいはCRTディスプレイ等の表示装置によって実現されるものであり、制御部56から入力される表示信号に従って各種画面を表示する。通信部53は、図1に示したネットワークNを介して外部とのデータ通信を行う。この通信部53は、モデムやTA、通信ケーブルのジャックや制御回路等によって実現される。
画像処理部54は、CPU等のハードウェアによって実現される。この画像処理部54は、要診断領域抽出手段としての要診断領域抽出処理部541と、特徴量算出手段および統計量算出手段としての要診断領域情報作成部542と、癌可能性度推定部543と、提供情報作成手段としての提供情報作成部544とを含む。要診断領域抽出処理部541は、診断対象の染色標本の染色標本画像からセカンド・オピニオンが必要な領域である要診断領域を抽出する。要診断領域情報作成部542は、要診断領域抽出処理部541によって抽出された要診断領域の所定の特徴量を算出するとともに、算出した特徴量をもとに所定の統計量を算出する。癌可能性度推定部543は、要診断領域情報作成部542によって算出された統計量をもとに要診断領域の癌可能性度を推定する。提供情報作成部544は、制御部56の後述する病理医検索部561によって検索され、後述する診断依頼可否判定部562によって診断を依頼するとして確定された依頼先病理医の観察手技をもとに依頼先病理医に応じた提供情報を作成する。この提供情報作成部544は、識別画像生成手段および色素量画像生成手段としての画像加工処理部545を備える。この画像加工処理部545は、依頼先病理医の観察手技に従って診断対象の染色標本のバーチャルスライド画像を加工する。
記憶部55は、更新記憶可能なフラッシュメモリ等のROMやRAMといった各種ICメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、CD−ROM等の情報記憶媒体およびその読取装置等によって実現されるものである。この記憶部55には、情報配信器5を動作させ、この情報配信器5が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が一時的または永続的に記憶される。
制御部56は、CPU等のハードウェアによって実現される。この制御部55は、入力部51から入力される入力信号、記憶部55に格納されるプログラムやデータ、あるいは染色標本DB4や病理医DB6から取得される各種情報等をもとに情報配信器5を構成する各部への指示やデータの転送等を行い、情報配信器5全体の動作を統括的に制御する。
また、制御部56は、病理医検索部561と、診断依頼可否判定部562と、提供情報配信手段としての提供情報配信処理部563とを含む。ここで、病理医検索部561および診断依頼可否判定部562は、病理医選択手段として機能する。病理医検索部561は、例えば染色標本DB4から取得した標本属性情報や癌可能性度推定部543によって推定された要診断領域の癌可能性度等をもとに、病理医DB6に登録されている病理医情報を参照して診断を依頼する病理医を検索して依頼先病理医の候補(以下、「依頼先候補病理医」と呼ぶ。)を選出する。診断依頼可否判定部562は、病理医検索部561によって検索され、選出された依頼先候補病理医の病理診断装置7に診断可否返答依頼を通知し、この診断可否返答依頼に応答して病理診断装置7から通知された受託可否情報をもとに、依頼先病理医を確定する。提供情報配信処理部563は、提供情報作成部544によって作成された提供情報を、診断依頼可否判定部562によって確定された依頼先病理医の病理診断装置7に配信する。
次に、病理診断システム1を構成する各装置間でのデータの流れについて説明する。図4は、病理診断システム1におけるデータフローを示す図である。病理診断システム1では、バーチャルスライド顕微鏡2において観察対象の染色標本の標本属性情報が取得され、染色標本のバーチャルスライド画像が生成される。そして、図4に示すように、取得された標本属性情報および生成されたバーチャルスライド画像を含む染色標本画像の画像データ(D1)は染色標本DB4に送信され、染色標本情報として登録される(a1)。標本属性情報は、臓器種類、注目組織種類、染色方法、患者情報、緊急度(図4では不図示,図25を参照)等を含む。
一方、情報配信器5では、以上のようにして染色標本DB4に登録される染色標本情報の中から診断対象の染色標本の染色標本情報である標本属性情報および染色標本画像(D3)が取得され(a3)、この標本属性情報および染色標本画像をもとに要診断領域情報が作成される。ここで、要診断領域情報は、染色標本画像中で抽出された要診断領域に関する情報であり、抽出された要診断領域毎に作成される。この要診断領域情報は、位置情報や重心位置、特徴量、統計量、癌可能性度等を含む。特徴量は、例えば色素量、色情報補正係数、細胞核や線維、血管等についての構成要素情報等である。統計量は、例えば核統計量、線維統計量、血管統計量等である。癌可能性度は、適宜グレードを含む。
その後、情報配信器5において病理医DB6に登録されている病理医が検索される。そして、情報配信器5において診断を依頼する依頼先病理医の病理医情報(D5)が取得され(a5)、この病理医情報をもとに提供情報が作成される。病理医情報は、該当する病理医の経歴や専門分野、臓器や組織等についての過去症例、観察手技、スケジュール等を含み、提供情報は、この病理医情報の観察手技をもとに染色標本画像の画像データを加工することで作成される。例えば、提供情報は、RGB画像、色素量画像、デジタルステイン画像あるいは擬似微分干渉画像等である。依頼先病理医が複数いる場合には、提供情報は、依頼先病理医毎に該当する病理医情報の観察手技をもとに個別に作成される。
そして、情報配信器5において取得され、あるいは作成された診断対象の染色標本の標本属性情報、染色標本画像、要診断領域情報および提供情報(D7)は、診断情報として依頼先病理医の病理診断装置7に配信される(a7)。依頼先病理医が2人以上の場合には、それぞれの病理診断装置7にデータD7(提供情報については、依頼先病理医(配信先の病理診断装置7の病理医)に応じた提供情報)が配信される。
また、情報配信器5において作成された要診断領域情報および提供情報(D9)は染色標本DB4に送信され、診断対象の染色標本の染色標本情報として追加登録される(a9)。
そして、病理診断装置7では、配信された診断情報であるデータD7が例えば画面表示され、依頼先病理医に提示される。依頼先病理医は、これら提示されるデータD7を見ながら診断を行い、診断結果を入力する。病理診断装置7では、このようにして依頼先病理医によって入力された診断結果をもとに診断報告書情報が作成され、この診断報告書情報(D11)が情報統合器8に送信される(a11)。診断報告書情報は、所見や診断結果を含む。また、このとき依頼先病理医によって診断された診断内容情報(D13)が病理医DB6に送信されるようになっており、この依頼先病理医の病理医情報(例えば過去症例等)が更新される(a13)。
そして、情報統合器8では、染色標本DB4から診断対象の染色標本の染色標本情報である標本属性情報、染色標本画像、要診断領域情報および提供情報(D15)が取得され(a15)、このデータD15が病理診断装置7から送信された診断報告書情報(D11)と統合されて確定診断結果情報が作成される。作成された確定診断結果情報(D17)は染色標本DB4に送信され、診断対象の染色標本の染色標本情報として追加登録される(a17)。
次に、病理診断システム1における処理の流れについて説明する。先ず、染色標本のバーチャルスライド画像を生成して染色標本DB4に登録・保存するまでの処理の流れについて説明する。図5は、バーチャルスライド顕微鏡2が行う処理手順を示すフローチャートである。
バーチャルスライド顕微鏡2では、図5に示すように、制御部35が先ず、ユーザ操作に従って染色標本Sの標本属性情報を取得する(ステップb1)。例えば、制御部35は、標本属性入力画面を表示部353に表示して標本属性の登録依頼を通知する処理を行う。標本属性の項目としては、検体を採取した臓器の種類(臓器種類)、注目すべき組織の種類(注目組織種類)、染色標本Sに施されている染色の種類(染色方法)、患者の名前や性別、年齢、過去の病歴といった患者情報等が挙げられる。そして、制御部35は、この登録依頼の通知に応答してユーザが操作入力した標本属性毎の属性値を標本属性情報として取得する。また、このとき、併せて染色標本Sの診断に対する緊急度の入力を受け付け、標本属性情報として取得する。例えば、「緊急」「急ぎ」「通常」の3段階で入力を受け付け、「緊急」が入力された場合に緊急度の値を「1」、「急ぎ」が入力された場合に緊急度の値を「2」、「通常」が入力された場合に緊急度の値を「1」として設定する。
続いて、制御部35は、バーチャルスライド画像生成処理を行う(ステップb3)。図6は、バーチャルスライド画像生成処理の処理手順を示すフローチャートである。
図6に示すように、先ず制御部35は、染色標本Sの観察に用いる対物レンズ27を低倍対物レンズに切り換える指示を顕微鏡コントローラ33に出力する(ステップc1)。これに応答して顕微鏡コントローラ33は、必要に応じてレボルバ26を回転させ、低倍対物レンズを観察光の光路上に配置する。
続いて、制御部35は、顕微鏡コントローラ33やTVカメラコントローラ34に対するバーチャルスライド顕微鏡2各部の動作指示を行って、標本像の低解像画像(RGB画像)を取得する(ステップc3)。
図7は、電動ステージ21上に載置されるスライドガラス標本200の一例を示す図である。図2に示した電動ステージ21上の染色標本Sは、実際には、図7に示すように、スライドガラス210上に染色標本Sを載置したスライドガラス標本200として電動ステージ21上に載置される。染色標本Sは、スライドガラス210上の予め定められた所定の領域(例えば、スライドガラス210の図7に向かって左側の例えば縦:25mm×横:50mmの領域)である標本サーチ範囲211に載置されるようになっている。そして、このスライドガラス210には、標本サーチ範囲211に載置した染色標本Sに関する情報を記載したシール212が予め定められた所定の領域(例えば標本サーチ範囲211の右側の領域)に貼付される。このシール212には、例えば、染色標本Sに割り当てられた染色標本IDを所定の規格に従ってコード化したバーコードが印字され、バーチャルスライド顕微鏡2を構成する図示しないバーコードリーダによって読み取られるようになっている。
図6のステップc3の制御部35による動作指示に応答して、バーチャルスライド顕微鏡2は、図7に示すスライドガラス210の標本サーチ範囲211の画像を撮像する。具体的には、ステップc1で切り換えた低倍対物レンズの倍率に応じて定まる視野範囲(換言すると、染色標本Sの観察に低倍対物レンズを用いたときのTVカメラ32の撮像範囲)のサイズをもとに標本サーチ範囲211を分割し、分割した区画サイズに従って電動ステージ21をXY平面内で移動させながら、標本サーチ範囲211の標本像を区画毎にTVカメラ32で順次撮像していく。ここで撮像された画像データは、標本像の低解像画像として制御部35に出力される。
そして、制御部35は、図6に示すように、ステップc3で取得した区画毎の低解像画像を結合し、図7の標本サーチ範囲211を映した1枚の画像をスライド標本全体画像として生成する(ステップc5)。
続いて、制御部35は、染色標本Sの観察に用いる対物レンズ27を高倍対物レンズに切り換える指示を顕微鏡コントローラ33に出力する(ステップc7)。これに応答して顕微鏡コントローラ33は、レボルバ26を回転させ、高倍対物レンズを観察光の光路上に配置する。
続いて、制御部35は、ステップc5で生成したスライド標本全体画像をもとに、図7の標本サーチ範囲211内の実際に染色標本Sが載置されている標本領域213を自動抽出して決定する(ステップc9)。この標本領域の自動抽出は、公知の手法を適宜採用して行うことができる。例えば、スライド標本全体画像の各画素を2値化して標本の有無を画素毎に判定し、染色標本Sを映した画素と判定された画素範囲を囲う矩形領域を標本領域として決定する。なお、操作部351を介してユーザによる標本領域の選択操作を受け付け、操作入力に従って標本領域を決定することとしてもよい。
続いて、制御部35は、スライド標本全体画像からステップc9で決定した標本領域の画像(標本領域画像)を切り出し、この標本領域画像の中から合焦位置を実測する位置を選出してフォーカス位置を抽出する(ステップc11)。
図8は、スライド標本全体画像から切り出した標本領域画像215の一例を示す図であり、図8では、図7の標本領域213の画像を示している。先ず制御部35は、図8に示すように、標本領域画像215を格子状に分割し、複数の小区画を形成する。ここで、小区画の区画サイズは、ステップc7で切り換えた高倍対物レンズの倍率に応じて定まる視野範囲(換言すると、染色標本Sの観察に高倍対物レンズを用いたときのTVカメラ32の撮像範囲)のサイズに相当する。
続いて、制御部35は、形成した複数の小区画の中から、フォーカス位置とする小区画を選出する。これは、全ての小区画について合焦位置を実測しようとすると処理時間が増大してしまうためであり、例えば各小区画の中から所定数の小区画をランダムに選出する。あるいは、フォーカス位置とする小区画を例えば所定数の小区画を隔てて選出する等、所定の規則に従って選出してもよい。また、小区画の数が少ない場合には、全ての小区画をフォーカス位置として選出するようにしてもよい。そして、制御部35は、標本領域画像215の座標系(x,y)における選出した小区画の中心座標を算出するとともに、算出した中心座標を電動ステージ21の座標系(X,Y)に変換してフォーカス位置を得る。なお、この座標変換は、染色標本Sの観察に用いる対物レンズ27の倍率、あるいはTVカメラ32を構成する撮像素子の画素数や画素サイズ等に基づいて行われ、例えば特開平9−281405号公報に記載の公知技術を適用して実現できる。
続いて、制御部35は、図6に示すように、顕微鏡コントローラ33やTVカメラコントローラ34に対するバーチャルスライド顕微鏡2各部の動作指示を行って、フォーカス位置の合焦位置を測定する(ステップc13)。このとき、制御部35は、抽出した各フォーカス位置を顕微鏡コントローラ33に出力する。これに応答して、バーチャルスライド顕微鏡2は、電動ステージ21をXY平面内で移動させて各フォーカス位置を順次対物レンズ27の光軸位置に移動させる。そして、各フォーカス位置で電動ステージ21をZ方向に移動させながらTVカメラ32によってフォーカス位置の画像データを取り込む。取り込まれた画像データは制御部35に出力される。制御部35は、これら各Z位置における画像データのコントラストを評価することによって、各フォーカス位置における染色標本Sの合焦位置(Z位置)を測定する。なお、本実施の形態では、後述する図11のステップe3で線維についての構成要素情報を作成する際や、図22のステップf13で擬似微分干渉画像を生成する際に用いるため、このステップc13において、合焦位置以外の例えば少しピントがずれた少なくとも2点の焦点位置をさらに測定する。例えば、前焦点の位置および後焦点の位置を測定する。そして、ここで測定した一方の焦点位置を図11のステップe3で焦点位置Fとして用いる。また、測定した2つの焦点位置を図22のステップf13で焦点位置Fα,Fβとして用いる。なお、これら焦点位置F,Fα,Fβは前焦点位置および後焦点位置に限定されるものではなく、適宜の位置としてよい。また、測定する合焦位置以外の焦点位置の数は2点に限定されるものではなく、適宜の数の焦点位置を測定することとしてよい。
制御部35は、以上のようにして各フォーカス位置における合焦位置を測定したならば、続いて、各フォーカス位置の合焦位置の測定結果をもとにフォーカスマップを作成する(ステップc15)。具体的には、制御部35は、ステップc11でフォーカス位置として抽出されなかった小区画の合焦位置を、近傍するフォーカス位置の合焦位置で補間演算することによって全ての小区画について合焦位置を設定し、フォーカスマップを作成する。作成したフォーカスマップのデータは、記憶部355に記憶される。また、このとき、フォーカス位置として抽出されなかった小区画の前焦点位置および後焦点位置についても近傍するフォーカス位置の前焦点位置および後焦点位置で補間演算し、全ての小区画について前焦点位置および後焦点位置を設定する。なお、各小区画における前焦点位置および後焦点位置は、フォーカスマップのデータとともに記憶部355に記憶される。
図9は、フォーカスマップのデータ構成例を説明する図である。図9に示すように、フォーカスマップは、配列番号と電動ステージ位置とを対応付けたデータテーブルである。配列番号は、図8に示した標本領域画像215の各小区画を示している。具体的には、xで示す配列番号は、左端を初順としてx方向に沿って各列に順番に付した通し番号であり、yで示す配列番号は、最上段を初順としてy方向に沿って各行に順番に付した通し番号である。なお、zで示す配列番号は、バーチャルスライド画像を3次元画像として生成する場合に設定される値である。電動ステージ位置は、対応する配列番号が示す標本領域画像の小区画について合焦位置と設定された電動ステージ21のX,Y,Zの各位置である。例えば、(x,y,z)=(1,1,−)の配列番号は、図8の小区画216を示しており、座標系(x,y)における小区画216の中心座標を電動ステージ21の座標系(X,Y)に変換したときのX位置及びY位置が、X11およびY11にそれぞれ相当する。また、この小区画について設定した合焦位置(Z位置)がZ11に相当する。
続いて、制御部35は、標本画像生成手段として、図6に示すように、フォーカスマップを参照しながら顕微鏡コントローラ33やTVカメラコントローラ34に対するバーチャルスライド顕微鏡2各部の動作指示を行って、標本領域画像の小区画毎に標本像をマルチバンド撮像し、高解像画像を取得する(ステップc17)。このとき、制御部35は、フィルタユニット30を構成するチューナブルフィルタの選択波長幅をマルチバンド撮像時の幅に設定する指示を顕微鏡コントローラ33に出力する。これに応答して、バーチャルスライド顕微鏡2は、チューナブルフィルタの選択波長幅をマルチバンド撮像時の幅に設定した上で、電動ステージ21を移動させながら標本領域画像の小区画毎の標本像をそれぞれの合焦位置においてTVカメラ32で順次撮像していく。ここで撮像された画像データは、標本像の高解像画像として制御部35に出力される。また、このとき、各小区画の前焦点位置および後焦点位置をもとに、前焦点位置および後焦点位置の高解像画像についてもそれぞれ取得する。
そして、制御部35は、ステップc17で取得した標本領域画像の小区画毎の高解像画像を結合し、図7の標本領域213の全域を映した1枚の画像をバーチャルスライド画像として生成する(ステップc19)。以上説明したバーチャルスライド画像生成処理の結果、染色標本Sの全域を映した広視野で且つ高精細なマルチバンド画像が得られる。また、このとき、前焦点位置の小区画毎の高解像画像を結合し、前焦点位置のバーチャルスライド画像を生成するとともに、後焦点位置の小区画毎の高解像画像を結合し、後焦点位置のバーチャルスライド画像を生成する。
その後、制御部35は、図6に示すように、バーチャルスライド画像が有するマルチスペクトル情報をもとにRGB画像(染色標本RGB画像)を合成する(ステップc21)。具体的には、染色標本RGB画像の合成に先立ち、例えば照明光を照射した状態で標本なしの背景を撮像して背景(照明光)のマルチバンド画像を取得しておく。そして、背景のマルチバンド画像をI0とし、診断対象の染色標本のマルチバンド画像をIとして、次式(1)に従って各画素位置の分光透過率t(x,λ)を算出する。ここで、診断対象の染色標本のマルチバンド画像Iが、バーチャルスライド画像に相当する。また、このとき、前焦点位置および後焦点位置の各バーチャルスライド画像についても、各画素位置の分光透過率t(x,λ)を算出する。xはマルチバンド画像の画素を表す位置ベクトルであり、λは波長である。また、I(x,λ)はマルチバンド画像Iの波長λにおける画素位置(x)の画素値を表し、I0(x,λ)はマルチバンド画像I0の波長λにおける画素位置(x)の画素値を表す。
Figure 2011181015
そして、このようにして求めた各画素位置の分光透過率をRGB値に変換することで、染色標本RGB画像を生成する。バーチャルスライド画像上の任意の画素位置(x)における分光透過率をT(x)とすると、RGB値GRGB(x)は、次式(2)で表される。
RGB(x)=HT(x) ・・・(2)
式(2)のHは、次式(3)で定義される行列である。この行列Hはシステム行列とも呼ばれており、Fはチューナブルフィルタの分光透過率、Sはカメラの分光感度特性、Eは照明の分光放射特性をそれぞれ表す。
H=FSE ・・・(3)
染色標本RGB画像を合成したならば、バーチャルスライド画像生成処理を終え、図5のステップb3にリターンしてステップb5に移る。
そして、図5のステップb5では、制御部35は、図6のステップc19で生成したバーチャルスライド画像およびステップc21で合成した染色標本RGB画像を染色標本画像の画像データとし、この染色標本画像の画像データと、図5のステップb1で取得した標本属性情報とを染色標本DB4に送信して書込要求を通知する。より詳細には、これら標本属性情報および染色標本画像の画像データとともに、図7のシール212から読み取った染色標本IDを送信する。これに応答し、染色標本DB4において標本属性情報と染色標本画像の画像データとが染色標本IDと対応付けられ、染色標本Sに関する染色標本情報として染色標本DB4に登録・保存される。なお、このとき、例えば染色標本RGB画像の合成過程で算出した各画素位置の分光透過率のデータ等のその他の染色標本Sに関するデータを染色標本DB4に送信し、染色標本情報に含めて保存する構成としてもよい。
次に、以上のようにして染色標本DB4に染色標本情報が登録された染色標本を診断する処理の流れについて説明する。図10は、情報配信器5、病理診断装置7および情報統合器8が行う処理手順を示すフローチャートである。
図10に示すように、先ず、情報配信器5において、制御部56が、画像取得手段として、診断対象とする染色標本の染色標本情報を染色標本DB4から取得する(ステップd1)。ここで、診断対象の染色標本は、例えば事前にユーザによる染色標本IDの選択操作を受け付けることで選択する。そして、ステップd1では、ユーザが選択した染色標本IDをもとに、染色標本DB4から染色標本情報を取得する。このとき取得される染色標本情報は、少なくとも標本属性情報と染色標本画像(バーチャルスライド画像および染色標本RGB画像)の画像データとを含む。選択された染色標本IDの染色標本について既に1度以上診断が行われている場合には、その際に作成された細胞核特定情報や要診断領域情報、提供情報、診断結果統合情報が染色標本情報としてさらに取得される。続いて、要診断領域情報作成処理に移る(ステップd3)。図11は、要診断領域情報作成処理の処理手順を示すフローチャートである。
図11に示すように、要診断領域情報作成処理では先ず、要診断領域抽出処理部541が、ユーザ(例えば診断対象の染色標本についての診断を依頼する依頼元の病理医)による要診断領域の選択操作を受け付けて要診断領域を抽出する(ステップe1)。例えば、要診断領域抽出処理部541は、要診断領域抽出画面を表示部52に表示し、要診断領域の選択入力依頼をユーザに通知する処理を行う。そして、要診断領域抽出処理部541は、ユーザの操作入力に従って要診断領域を抽出する。
なお、ここでは、要診断領域の選択操作を受け付けて染色標本画像内の要診断領域を抽出する処理を情報配信器5で行うこととして説明するが、これに限定されるものではない。例えば、病理診断装置7等のネットワークNを介して情報配信器5と接続された別の装置で行い、抽出された位置情報を情報配信器5に送信する構成としてもよい。そして、情報配信器5は、これら別の装置から送信された要診断領域の位置情報を用いてステップe3以降の処理を行うこととしてよい。また、図10のステップd1で取得された染色標本情報に要診断領域情報が含まれる場合には、この要診断領域情報に従って要診断領域を特定することとしてもよい。すなわち、診断対象の染色標本について過去に診断が行われた際に抽出された要診断領域を用いてステップe3以降の処理で用いることとしてもよい。
図12は、要診断領域抽出画面の一例を示す図である。図12に示すように、要診断領域抽出画面は、染色標本画像表示部W11を備える。この染色標本画像表示部W11には、例えば図6のステップc21で取得された染色標本RGB画像が表示される。また、要診断領域抽出画面には、選択モードメニューM11と、メモボタンB11と、やり直しボタンB13と、OKボタンB15とが配置されている。
選択モードメニューM11には、要診断領域の選択モードとして「square」「auto square」「ellipse」「auto ellipse」「auto picker」または「manual」を択一的に選択可能なラジオボタンRB11が配置されている。「square」は、染色標本画像表示部W11上の矩形範囲を選択する選択モードであり、ユーザが入力部51を構成するマウスによって染色標本画像表示部W11上をドラッグ操作することで選択した矩形範囲を要診断領域として抽出する。「ellipse」は、染色標本画像表示部W11上の楕円形(円形)の範囲を選択する選択モードであり、ユーザが染色標本画像表示部W11上をドラッグ操作することで選択した楕円形(円形)の範囲を要診断領域として抽出する。「auto square」は、所定のブロックサイズの矩形範囲を選択する選択モードであり、ユーザがクリックした位置を始点とした所定のブロックサイズの矩形範囲を要観察察領域として抽出する。ブロックサイズは、後述する入力ボックスIB11で入力したブロックサイズである。「auto ellipse」は、所定のブロックサイズに例えば内接する楕円形(円形)の範囲を選択する選択モードである。「auto picker」は、ユーザがクリックした位置の画素値をもとに要診断領域を自動抽出する選択モードであり、例えば染色標本RGB画像からクリックした位置と輝度値が類似する画素を自動的に抽出し、抽出した画素の領域を要診断領域とする。「manual」は、ユーザ操作に従って要診断領域を手動で選択する選択モードであり、ユーザがクリックした位置を始点とし、染色標本画像表示部W11上をドラッグ操作することで選択した閉領域を要診断領域として抽出する。
また、選択モードメニューM11には、ブロックサイズを入力する入力ボックスIB11が配置されており、所望の値を設定することができる。このブロックサイズは、染色標本画像表示部W11上で指定する領域のサイズであり、図12中に例示するように例えば入力ボックスIB11に「3」を入力した場合には、1つの領域は3×3画素のサイズとされる。
例えば、選択モードとして「square」を選んで領域を選択する場合の操作手順を例に挙げると、ユーザは先ず、入力部51を構成するマウスによって染色標本画像表示部W11上の所望の位置をクリックし、染色標本画像表示部W11上をドラッグ操作することで要診断領域とする領域、具体的には例えば、癌が疑われる領域、あるいは周囲と様態が異なる領域を選択する。このとき、染色標本画像表示部W11上には、選択した領域を示すマーカ(例えばマーカMK11)が表示される。
領域の選択操作を取り消したい場合には、その領域を示すマーカ(例えばマーカMK11)をクリックして選択状態とし、やり直しボタンB13をクリックする。この結果マーカMK11は削除され、このマーカMK11による領域の選択操作が取り消される。また、所望の領域を示すマーカ(例えばマーカMK11)をクリックして選択状態とし、メモボタンB11をクリックすると、マーカMK11が示す領域についてコメントを記入することができる。例えば、選択した領域に対して所見や疑問点、質問等を付記したい場合には、その内容を記入することができ、依頼先病理医との円滑な意思疎通が図れる。要診断領域としたい領域が複数ある場合には、染色標本画像表示部W11上の別の領域の位置を再度クリック等することで、新たな領域を選択することができる(例えばマーカMK13,MK15)。領域の選択操作を確定する場合には、OKボタンB15をクリックする。
そして、以上のようにして操作を確定すると、要診断領域抽出処理部541は、図11のステップe1の処理として、選択された領域を要診断領域として抽出する。例えば、図12の例であれば、染色標本画像表示部W11上のマーカMK11で囲まれた画素位置、マーカMK13で囲まれた画素位置およびマーカMK15で囲まれた画素位置を個別の要診断領域として抽出する。このとき、要診断領域抽出処理部541は、抽出した要診断領域毎に重心位置を算出する。そして、ラスタ形式の配列順に従って各要診断領域に固有の要診断領域IDを割り当て、要診断領域の画素位置を設定した位置情報と重心位置とを該当する要診断領域IDを割り当てた要診断領域に関する情報として記憶部55に記憶しておく。
続いて、要診断領域情報作成部542が、ステップe1で抽出した要診断領域毎にその特徴量を算出する(ステップe3)。算出する特徴量としては、例えば、色素量、色情報補正係数、構成要素情報等が挙げられる。以下、これら各特徴量の算出手順について順次説明する。なお、特徴量としてこれら全てを算出する必要はなく、いずれか1つ以上を算出することとしてもよい。また、ここで挙げた特徴量は一例であって、バーチャルスライド画像が有するマルチスペクトル情報や染色標本RGB画像のRGB値等をもとに別の値を算出し、特徴量としてもよい。算出した特徴量の値は、該当する要診断領域IDを割り当てた要診断領域に関する情報として記憶部55に記憶しておく。
色素量は、染色標本を染色している色素の色素量であり、バーチャルスライド画像が有するマルチスペクトル情報をもとに推定する。なお、この色素量、後述する細胞核についての構成要素情報および核統計量のうちの核数については、例外的にバーチャルスライド画像を構成する全ての画素位置について算出する。本実施の形態では、H&E染色された染色標本を観察・診断対象としているため、推定の対象とする色素は、ヘマトキシリン(色素H)およびエオジン(色素E)の2種類である。
ここで、従来から、染色標本のマルチバンド画像をもとに染色標本上の点を染色している染色色素の色素量を定量推定する手法が知られている。例えば、非特許文献1には、色素量を推定し、推定した色素量をもとに染色標本画像の色情報を補正する手法が開示されている。また、非特許文献2には、推定した色素量をもとに標本の染色状態を定量評価する手法が開示されている。ここでは、これら非特許文献1,2に開示されている公知の技術を適用して色素量を推定する。なお、本実施の形態では、上記したように、染色標本上の各点が、得られる画像データの各画素位置に対応している。したがって、バーチャルスライド画像の画素毎に処理を行うことで、染色標本上の各点を染色している色素Hおよび色素Eの色素量を推定することができる。
以下、推定の手順を簡単に説明すると、先ず、上記した式(1)に従って各画素位置の分光透過率t(x,λ)を算出する。各画素位置の分光透過率が染色標本DB4に保存されており、図10のステップd1において染色標本情報として取得されている場合には、これを用いることとしてよい。
この分光透過率t(x,λ)に関しては、ランベルト・ベール(Lambert-Beer)の法則が成り立つ。例えば、染色標本が色素Hおよび色素Eの2種類の染色色素で染色されている場合、ランベルト・ベールの法則により、各波長λにおいて次式(4)が成り立つ。
Figure 2011181015
式(4)において、kH(λ)およびkE(λ)は、波長λに依存して決まる物質固有の係数であり、kH(λ)は色素Hに対応する係数、kE(λ)は色素Eに対応する係数である。例えば、kH(λ),kE(λ)の各値は、染色標本を染色している色素Hおよび色素Eの分光特性値である。また、dH(x),dE(x)は、マルチバンド画像の各画素位置(x)に対応する染色標本の各標本点における色素Hおよび色素Eの色素量に相当する。より詳細には、dH(x)は、色素Hのみで染色された染色標本における色素Hの色素量を「1」としたときのこの色素量に対する相対的な値として求められる。同様に、dE(x)は、色素Eのみで染色された染色標本における色素Eの色素量を「1」としたときのこの色素量に対する相対的な値として求められる。なお、色素量は、濃度とも呼ばれる。
ここで、上記式(4)は、波長λ毎に独立して成り立つ。また、式(4)はdH(x),dE(x)の線形式であり、これを解く手法は一般には重回帰分析として知られている。例えば、2つ以上の異なる波長について式(4)を連立させれば、これらを解くことができる。
例えば、M個(M≧2)の波長λ1,λ2,・・・,λMについて式を連立させると、次式(5)のように表記できる。[]tは転置行列、[]-tは逆行列を表す。
Figure 2011181015
そして、最小二乗推定を用いて上記式(5)を解くと次式(6)が得られ、色素Hの色素量の推定値d^H(x)および色素Eの色素量の推定値d^E(x)がそれぞれ求まる。なお、d^は、dの上に推定値を表す記号「^(ハット)」が付いていることを示す。
Figure 2011181015
そして、この式(6)によって、染色標本上の任意の標本点における色素Hおよび色素Eの色素量の推定値が得られる。
色情報補正係数は、前述のように推定される色素Hおよび色素Eの色素量を調整するための係数であり、公知の手法を適用して算出することができる。例えば、非特許文献1に開示されている手法を適用し、所定組織に含まれる色素量分布をもとに色情報補正係数を決定することとしてもよい。あるいは、非特許文献2に開示されている手法を用い、染色の選択性の悪さを示す係数と色素量との比率をもとに色情報補正係数を決定することとしてもよい。
構成要素情報は、要診断領域内の例えば細胞核や弾性線維、血管等の所定の構成要素の領域を設定したものであり、構成要素毎の識別画素条件を用いて作成する。以下、細胞核、弾性線維等の線維および血管についての構成要素情報の作成方法について説明するが、これら以外の構成要素について構成要素情報を作成することとしてもよい。また、細胞核、弾性線維および血管の全てについて構成要素情報を作成しなくてもよい。この場合、細胞核、弾性線維および血管のいずれについて構成要素情報を作成するかは、例えば入力部51を介してユーザ操作を受け付け、ユーザが指定した構成要素について構成要素情報を作成するようにしてもよい。
先ず、細胞核についての構成要素情報の作成方法について説明するが、細胞核については、上記したように、染色標本画像の全域を対象として構成要素情報を作成することとする。色素Hは、細胞核を選択的に染色するため、色情報から細胞核の画素か否かを判別することが可能である。そこで、1つめの作成方法では、例えば、細胞核の識別画素条件として、予めB値/R値に対する閾値ThB/Rを設定しておく。そして先ず、染色標本RGB画像における要診断領域の画素位置のRGB値をもとに、そのB値/R値の値を算出する。続いて、算出した値を閾値ThB/Rを用いて閾値処理し、各画素が細胞核の画素か否かを判定する。そして、細胞核と判定した画素を設定して細胞核についての構成要素情報とする。
2つめの作成方法では、上記したように算出(推定)した色素Hの色素量および色素Eの色素量によって定まる色素量空間内での判別境界を細胞核の識別画素条件として用い、構成要素情報を作成する。図13は、HE色素量分布図の一例を示す図であり、横軸を色素Hの色素量、縦軸を色素Eの色素量としたHE色素量空間における細胞核、細胞質、赤血球、弾性線維や膠原線維等の線維およびガラスの分布を示している。ここで、バーチャルスライド画像には、細胞核や細胞質、赤血球、線維の他に、染色標本が載置されるスライドガラス210(図7を参照)が映る。ガラスは、このスライドガラス210が映る画素の写像点に相当する。バーチャルスライド画像の各画素位置を、その色素Hおよび色素Eの色素量に従ってHE色素量空間にプロットすると、図13中に破線で示す判別境界L2によって、細胞核の画素と、細胞核以外の画素とを判別することができる。本作成方法では、この判別境界を細胞核の識別画素条件として用いる。
判別境界は、サポートベクターマシン(SVM)等の判別器を用いることで設定できる。例えば、要診断領域内の各画素の色素Hおよび色素Eの色素含有率Rを特徴量として用い、細胞核の画素と細胞核以外の画素とを分類する判別境界を学習する。そして、学習した判別境界を識別画素条件として用いて構成要素情報を作成する。色素Hおよび色素Eの色素含有率Rは、上記したように式(6)に従って算出した色素Hの色素量の推定値d^H(x)および色素Eの色素量の推定値d^E(x)をもとに、次式(7)に従って算出する。
Figure 2011181015
SVMを用いることによれば、細胞核、細胞質、赤血球、線維およびガラスに属する色素含有率データ(パターン)のうち、境界に最も近いパターンとの距離を最大にするように判別境界を決定することができる。このため、未知データを識別する確率が統計的にも高く、この作成方法を適用すれば、細胞核の画素と細胞核以外の画素とを高精度に識別することが可能である。
3つめの作成方法では、予め色素含有比率Rに対する閾値ThRを細胞核の識別画素条件として設定しておく。この場合には、先ず、要診断領域を構成する画素毎に上記した式(7)に従って色素含有比率Rを算出する。そして、算出した値を閾値ThRを用いて閾値処理し、各画素が細胞核の画素か否かを判定することによって構成要素情報を作成する。
4つ目の作成方法では、H&E染色された染色標本内における細胞核の画素のスペクトルを取得する等して細胞核の代表的なスペクトルを事前に設定しておく。そして、スペクトルの形状の類似度を識別画素条件として用い、構成要素情報を作成する。図14は、横軸を波長(波長数)とし、縦軸を吸光度値として細胞核のスペクトル(吸光度値)を表した図である。この場合には、バーチャルスライド画像において要診断領域を構成する各画素のマルチスペクトル情報をもとに、図14のスペクトルの形状との類似度が予め設定される類似度閾値よりも大きい画素を細胞核の画素と判定する。
以上、細胞核についての構成要素情報の4つの作成方法について説明したが、いずれか1つの作成方法を採用することとしてもよいし、例示した画素識別条件を複数組み合わせて用い、各画素識別条件を満たす画素を抽出して構成要素情報を作成することとしてもよい。
次に、線維の1つである弾性線維についての構成要素情報の作成方法について説明する。例えば先ず、バーチャルスライド画像において要診断領域を構成する各画素のマルチスペクトル情報をもとに、SVM等を用いた学習判別処理によって弾性線維に該当する画素を抽出する。そして、抽出した画素を設定して弾性線維についての構成要素情報とする。なお、弾性線維は、ある特定のバンドにおいて分光透過率が1.0以上となる現象が起こることがあるため、この現象に基づいて弾性線維の画素を抽出してもよい。
また、線維についての構成要素情報を作成する場合には、先ず、バーチャルスライド画像において要診断領域を構成する各画素位置のマルチスペクトル情報をもとに、要診断領域の変化率分光画像を生成する。具体的には、図6のステップc13で測定した前焦点位置または後焦点位置を焦点位置Fとして用いる。そして、この焦点位置Fとした前焦点位置または後焦点位置のバーチャルスライド画像の各画素位置について図6のステップc21で上記した式(1)に従って算出した分光透過率を参照し、要診断領域内の各画素の分光透過率を取得する。続いて、任意の波長λ1,λ2間の変化率(波長間変化率;所定の波長間の分光透過率の差分の絶対値)を画素毎に算出する。変化率を算出する波長は適宜選択してよい。そして、算出した波長間変化率が最大となる画素の画素値を例えば「255」、波長間変化率がゼロである画素の画素値を「0(ゼロ)」として波長間変化率の大きさに応じた画素値を各画素に割り当て、変化率分光画像を作成する。その後、作成した変化率分光画像に対し、平滑化や2値化、エッジ抽出、モフォロジー(膨張・収縮)といった公知の画像処理を適宜選択的に組み合わせて行い、線維の画素を抽出する。そして、抽出した画素を設定して線維についての構成要素情報とする。
なお、要診断領域の変化率分光画像にかえて差分分光画像を生成するようにしてもよい。この場合には、例えば、図6のステップc13で測定した合焦位置以外の前焦点位置および後焦点位置を焦点位置Fα,Fβとして用いる。そして、前焦点位置および後焦点位置のバーチャルスライド画像の各画素位置について算出されている分光透過率を参照し、要診断領域内の各画素の分光透過率を取得する。そして、共通の画素間で所定波長λにおける分光透過率の差分を算出し、差分量に応じた画素値を各画素に割り当てて差分分光画像を生成する。その後、作成した差分分光画像に対して公知の画像処理を適宜選択的に組み合わせて行い、線維の画素を抽出して線維の構成要素情報としてもよい。
次に、血管についての構成要素情報の作成方法について説明する。図15は、要診断領域の一例であり、中央に血管が映る領域を示している。血管についての構成要素情報を作成する場合には先ず、図15に示す血管や空孔を特定する。ここで、染色標本内の血管内腔や、血管周囲の組織が存在していない領域(空孔)は、図15に示すように白く映り、高輝度画素を持つ領域として現れる。そこで、要診断領域から高輝度領域を抽出し、血管領域または空孔領域として特定する。
具体的には先ず、上記した弾性線維についての構成要素情報の作成方法と同様の要領で、要診断領域内の弾性線維の画素を抽出する。続いて、要診断領域から高輝度領域を抽出する。上記したように、要診断領域内の高輝度領域は、血管領域であるか、または組織が存在していない空孔領域であると考えられる。このため、要診断領域の各画素のRGB値をもとに、要診断領域の画像をグレースケール画像に変換する。そして、各画素の輝度値を予め設定される閾値を用いて閾値処理し、閾値以上である画素を高輝度画素として選出する。その後、選出した高輝度画素のうち、連結している画素集合を1つの高輝度領域として抽出する。
そして、以上のように高輝度領域を抽出したならば、抽出した高輝度領域のうち、周囲に弾性線維がある高輝度領域を血管領域として特定する。具体的には先ず、抽出した高輝度領域の輪郭や重心位置、周囲長等を算出し、高輝度領域を楕円近似して楕円を設定するとともに、この楕円をK倍したK倍楕円を設定する。図16は、血管領域の特定原理を説明する図であり、抽出した高輝度領域L3について求めた重心位置G3と、この高輝度領域L3を楕円近似して設定した楕円E3およびK倍楕円Ek3とを示している。K倍楕円とは、楕円と重心位置が同一であって、楕円のK倍の面積を有するものをいう。Kの値は適宜設定できる。なお、図16に示す高輝度領域L3は、図15に示す要診断領域において中央に白く映る血管の領域に相当している。
その後、高輝度領域と弾性線維との位置関係を判定する。そして、高輝度領域の輪郭位置に近い周囲に弾性線維が存在する場合に、その高輝度領域を血管領域として特定する。具体的には、高輝度領域L3の輪郭線とK倍楕円Ek3とで区画された図16中のハッチングを付した領域E31内において弾性線維が所定量以上存在しているか否かを判定する。例えば、領域E31内の弾性線維の画素数を計数し、予め設定される所定の閾値以上の場合に所定量以上存在していると判定する。そして、弾性線維が所定量以上存在していると判定した高輝度領域L3の画素を設定して血管についての構成要素情報とする。
以上のように要診断領域毎に特徴量を算出したならば、要診断領域情報作成部542は、図11に示すように、算出した特徴量をもとに要診断領域毎の統計量を算出する(ステップe5)。算出する統計量としては、例えば、細胞核についての統計量(核統計量)、線維についての統計量(線維統計量)、血管についての統計量(血管統計量)等が挙げられる。以下、これら各統計量の算出手順について順次説明する。なお、統計量としてこれら全てを算出する必要はなく、いずれか1つ以上を算出することとしてもよい。また、ここで挙げた統計量は一例であって、要診断領域の特徴量をもとに別の値を算出し、統計量としてもよい。算出した統計量の値は、該当する要診断領域IDを割り当てた要診断領域に関する情報として記憶部55に記憶しておく。
先ず、核統計量について説明する。癌の部位では、細胞核が局所的に集中して存在することが知られている。また、細胞核は、癌が進行すると、正常な場合と比べて歪みが生じる等その形状に変化が生じる。このため、核統計量として、例えば要診断領域内の細胞核の数(核数)、細胞核間の距離(核間距離)、核異型性等を算出する。
先ず、特徴量として算出した細胞核についての構成要素情報をもとに、細胞核の画素(以下、「核画素」と呼ぶ。)で構成される閉領域を個別の細胞核領域として特定する。なお、上記したように、核数については染色標本画像の全域を対象として計数する。このため、染色標本画像の全域を対象として細胞核領域を特定する。
具体的には、核画素を連結成分毎に区切り、区切った画素集合をそれぞれ1つの細胞核領域として特定する。連結性の判断は、適宜公知の手法を用いて行えばよく、例えば8近傍で連結性を判断する。そして、連結成分毎に固有のラベル(核ラベル)NLを付与することによって、連結成分毎の画素集合のそれぞれを細胞核領域として特定する。ラベル付けの方法は公知の手法を適宜採用してよい。例えば、ラスタスキャンの順序(要診断領域の最上段のラインから下に向かって1ラインずつ、左から右に走査する順序)で各画素にラベル付けを行う手法等が挙げられ、各連結成分毎に核ラベルNL=1,2,3,・・・が整数(昇順)で付与される。
ラベル付けを終えたならば、特定した染色標本画像内の細胞核領域の数(核数)を計数する。また、要診断領域毎に核数を計数する。
その後は、要診断領域毎に処理を行う。具体的には先ず、細胞核領域間の距離を核間距離として算出する。図17は、要診断領域の一例を示す模式図であり、核ラベルNL=1,2,3がそれぞれ付与された3つの細胞核領域E41,E42,E43を示している。核間距離を算出する際には、先ず、各細胞核領域E41,E42,E43の重心位置を算出する。ここで、核ラベルNL=1の細胞核領域E41の重心位置をg1(x1,y1)とし、核ラベルNL=2の細胞核領域E42の重心位置をg2(x2,y2)とすると、細胞核領域E41と細胞核領域E42との核間距離d1,2は、次式(8)で表される。同様に、細胞核領域E41と細胞核領域E43との核間距離や細胞核領域E42と細胞核領域E43との核間距離も算出する。
Figure 2011181015
また、特定した細胞核領域毎に、核異型性度のレベル判定を行う。ここでは、正常な細胞核と比べて形状がどの程度異なるのかを示す指標として、例えば細胞核の大きさS、核境界の不整度合いσおよび円形の歪み度合いCを用い、レベル判定を行う。
先ず、細胞核の大きさSは、該当する細胞核領域を構成する画素数を計数することで得る。
核境界の不整度合いσは、細胞核領域の輪郭を形成する画素位置間を結ぶ直線の分散を算出することで得る。ここで、分散が小さいほど輪郭形状が滑らかであることを示しており、核境界の不整度合いσは、分散の大小で決定される。
図18は、核境界の不整度合いσの算出原理を説明する説明図であり、(a)〜(c)の各図において細胞核領域E45を示している。先ず、図18(a)に示すように、ハッチングを付して示した細胞核領域E45の輪郭画素P45を抽出する。続いて、隣接する輪郭画素P45間の傾きを順次算出していく。例えば、図18(b)に示すように、抽出した輪郭画素P45の中から1つの輪郭画素P451を選択し、先ず、選択した輪郭画素P451と、この輪郭画素P451の例えば図18(b)中に一点鎖線の矢印で示す時計回り方向に隣接する輪郭画素P452とに注目する。そして、これら輪郭画素P451,P452間を結ぶ直線L451の傾きを算出する。ここで、輪郭画素P451を画素A、輪郭画素P452を画素Bとし、画素Aの座標を(xA,yA)、画素Bの座標を(xB,yB)とすると、画素Aと画素Bとを結ぶ直線L451の傾きaA,Bは、次式(9)で表される。
Figure 2011181015
その後は、輪郭画素P452を画素Aとし、輪郭画素P452の時計回り方向に隣接する輪郭画素P453を画素Bとして注目を移し、画素A,B間の傾きを算出する。そして、同様の処理を繰り返し行い、図18(c)に示すように、全ての輪郭画素P45間の傾きを算出する。そして、得られた傾きの分散を算出し、核境界の不整度合いσとして得る。
また、特定した細胞核領域毎に、その円形度を算出して円形の歪み度合いCを得る。ここで、円形度は、例えば、その細胞核領域の形状が真円のときに最大となり、輪郭形状が複雑になるほど小さな値として得られる値であり、例えば、細胞核領域の大きさや周囲長(輪郭画素の数)を用いて算出する。
そして、以上のようにして算出した細胞核領域の大きさS、核境界の不整度合いσ、円形の歪度合いCを閾値処理することによって核異型性度のレベル判定を行う。具体的には、大きさSに適用する閾値をThSとして予め設定しておき、次式(10)を判定する。また、核境界の不整度合いσに適用する閾値をThσとして予め設定しておき、次式(11)を判定する。そして、円形の歪度合いCに適用する閾値をThCとして予め設定しておき、次式(12)を判定する。そして、大きさS、核境界の不整度合いσ、円形の歪度合いCの各値のうち、対応する各式(10)〜(12)に該当した数を核異型性度のレベルとして判定する。
Figure 2011181015
次に、線維統計量について説明する。線維統計量としては、例えば線維密集度等が挙げられる。先ず、特徴量として算出した線維(弾性線維)についての構成要素情報をもとに、線維の画素で構成される閉領域を個別の線維領域として特定する。具体的には、線維の画素を連結成分毎に区切り、区切った画素集合をそれぞれ1つの線維領域として特定する。連結性の判断は、上記した細胞核領域の特定と同様に行う。なお、線維領域の場合、複数の線維領域が交差する可能性も考えられるが、ここでは、上記した核画素を連結成分毎に区切る場合と同様の手法で線維領域を特定する。すなわち、ラスタスキャンの順序で各画素にラベルを付与する。このため、別個の線維領域がその一部の領域で交差あるいは接触していたとしても、異なるラベルを付与できるので、区別することが可能である。
続いて、細線化処理を施すことによって、ノイズ等による線維領域の位置的な曖昧さを除去する。この細線化処理によって線維領域の骨格線が取得され、以降の処理において、線維領域を線状の領域として扱うことが可能となる。
続いて、細線化処理された線維領域の骨格線を構成する画素について、別の線維領域の骨格線を構成する画素との位置関係をもとに線維密集度を算出する。具体的には、一方の骨格線を構成する全ての画素について他方の骨格線との平均距離を算出し、線維密集度として得る。図19は、線維密集度の算出原理を説明する説明図であり、2つの線維領域の骨格線L51,L53を示している。先ず、一方の骨格線(骨格線1)L51を構成する画素P5について、骨格線(骨格線2)L53を構成する全ての画素P53との間の距離を算出する。そして、算出した距離のうちの最小値を画素P5と骨格線(骨格線2)L53との距離dAとする。その後、同様にして骨格線(骨格線1)L51を構成する全ての画素について骨格線(骨格線2)L53との距離を算出し、その平均値を平均距離AD1,2、すなわち線維密集度として算出する。
なお、線維を含むその他の所定組織の形状不正度を算出する場合(例えば、前立腺の腺構造(腺房)等)には、予め臓器毎に正常組織画像を用意するとともに、正常組織の形状特徴量を定義して記憶部55に記憶しておくこととしてもよい。そして、標本属性情報として設定されている診断対象の染色標本の臓器種類に応じて該当する臓器の正常組織画像および形状特徴量を読み出し、これらとの類似度を算出することによって形状不正度を算出することとしてもよい。
次に、血管統計量について説明する。血管統計量としては、例えば形状不正度等が挙げられる。この形状不正度の算出には、血管領域を特定する際、血管領域として特定した高輝度領域について算出した輪郭およびこの高輝度領域を楕円近似して得た楕円とを用いる。
図20は、形状不正度の算出原理を説明する説明図であり、血管領域L3として特定された高輝度領域(図16を参照)と、この高輝度領域である血管領域L3を楕円近似して得た楕円E3とを示している。先ず、血管領域L3の輪郭線と楕円E3とで区画された図20中のハッチングを付した領域E33の領域面積を算出する。そして、楕円E3の面積に対する領域E33の領域面積の比率PSを算出し、形状不正度として得る。ここで、血管領域L3の輪郭線と楕円E3とによって囲まれた領域E33の領域面積をRS,楕円E3の面積をESとすると、比率PSは、次式(13)で表される。この比率PSである形状不正度は、値が小さいほど血管の形状が崩れていることを示している。
Figure 2011181015
以上のように要診断領域毎に統計量を算出したならば、図11に示すように、癌可能性度推定部543が、ステップe5で算出した要診断領域毎の統計量をもとに、各要診断領域に映る部位が癌である可能性の度合い(癌可能性度)を推定する(ステップe7)。例えば、癌可能性度推定部543は、要診断領域の統計量を、診断の際に病理医が判断する一般的な指標(診断指標)および過去の希少症例と比較することによって、要診断領域が癌である可能性が高いか否かを推定する。診断指標は、予め設定して記憶部55に記憶しておくものとする。具体的には、この診断指標は、発生し易い癌の種類やその癌における細胞核や線維、血管等の変性状態等であり、例えば、上記した統計量あるいはこの統計量から算出される値に対する閾値として設定される。また、過去の希少症例については、例えば過去に希少症例と診断された染色標本について算出された統計量の値を設定しておく。そして、癌可能性度は、例えば「レベル1:癌の可能性は非常に低い」「レベル2:変性のみである」「レベル3:癌の可能性が高い」「レベル4:確実に癌である」「レベル5:希少症例の疑いあり」の5段階で推定される。
推定手順としては例えば、要診断領域の統計量を過去の希少症例と比較することによって希少症例か否かを判定し、希少症例と判定した場合には、癌可能性度を「レベル5」として推定する。その後、希少症例でないと判定したものについて、診断指標を参照して癌可能性度が「レベル1」〜「レベル4」のいずれであるかを推定する。
ここで、標本属性情報において臓器種類として「子宮頸部」が設定され、組織として「扁平上皮」が設定されている場合の「レベル1」〜「レベル4」の癌可能性度(子宮頸部扁平上皮癌の癌可能性度)の推定方法について説明する。子宮頸部扁平上皮癌では、核密集度や血管への浸潤度等を観察することで診断が行われている。そこで、例えば、核密集度および血管への浸潤度を判定する閾値を診断指標として設定しておき、先ず、核統計量である核数および核間距離をもとに、次の手順で核密集度の高低を判定する。
例えば、核数に関する条件と、核間距離に関する条件の2つの条件を満たすか否かを判定することによって核密集度の高低を判定する。
先ず、1つ目の核数に関する条件について説明する。バーチャルスライド画像内に含まれる細胞核領域の数をNumA、ID=αの要診断領域内の細胞核領域の数(核数)をNumαとすると、染色標本内の細胞核の総数に対する要診断領域内の画数の比率RNは、次式(14)で表される。
Figure 2011181015
核数に関する条件は、算出した比率RNが次式(15)を満たすか否かである。
Figure 2011181015
次に、2つ目の核間距離に関する条件について説明する。ID=αの要診断領域内の細胞核領域の面積をSi(i=1,2,・・・,Numα)とすると、平均面積Sα ̄は、次式(16)で表される。なお、Sα ̄は、Sαの上に平均値を表す記号「 ̄」が付いていることを示す。
Figure 2011181015
ここで、細胞核領域が円形状であると仮定すると、平均面積Sα ̄の半径rαは、次式(17)によって表される。πは、円周率である。
Figure 2011181015
そして、核間距離に関する条件は、この半径rαを用い、次式(18)を満たすか否かによって判定する。d ̄は、ID=αの要診断領域について算出されている核間距離の平均値であり、kは所定の係数である。なお、d ̄は、dの上に平均値を表す記号「 ̄」が付いていることを示す。
Figure 2011181015
そして、核数に関する条件(上記した式(15))および核間距離に関する条件(上記した式(18))の両方を満たす場合の密集度レベルを「3」とし、いずれか一方を満たす場合の密集度レベルを1とし、いずれも満たさない場合の密集度レベルを「1」として得る。ここで得られる密集度レベルは、値が大きいほど密集度が高いことを示している。
次に、血管統計量である形状不正度をもとに、血管への浸潤度を判定する。上記したように、形状不正度は、値が小さいほど血管の形状が崩れていることを示している。このため、ここでは、例えば形状不正度の値を閾値処理することによって血管への浸潤度の大小を判定する。例えば、予め形状不正度(すなわち上記した比率PS)に対する閾値ThPSを設定しておき、次式(19)を判定する。そして、次式(19)を満たす場合に、血管への浸潤度が大きい、すなわち、血管の形状が崩れていると判定する。
Figure 2011181015
そして、以上のようにして得た密集度レベルの値と、閾値ThPSに対する形状不正度の値の大小との組み合わせをもとに、癌可能性度を推定する。例えば、予めこれらの組み合わせ毎に癌可能性度を設定した癌可能性度推定テーブルを用意して記憶部55に記憶しておき、この癌可能性度推定テーブルを参照することで癌可能性度を推定する。図21は、癌可能性度推定テーブルの一例を示す図である。図21の例では、密集度レベルが「1」であり、形状不正度(比率PS)の値が閾値ThPSに対して非常に小さい場合は、癌可能性度を「レベル4」として推定する。一方、密集度レベルが「3」であり、形状不正度の値が閾値ThPS以上の場合には、癌可能性度を「レベル1」として推定する。
なお、癌可能性度の推定方法は、上記した方法に限定されるものではない。例えば、正常組織画像および形状特徴量を臓器毎に設定して記憶部55に記憶しておく。そして、この正常組織画像や形状特徴量との類似度を算出することによって癌可能性度を推定することとしてもよい。また、診断指標や前述のような正常組織画像および形状特徴量といった癌可能性度の推定に用いるデータは、学習用データとして例えば記憶部55に記憶する構成としてもよい。
以上のようにして要診断領域毎に癌可能性度を推定したならば、図11に示すように、癌可能性度推定部543は、推定した癌可能性度が「レベル4:確実に癌である」である要診断領域の有無を判定し、「レベル4」の要診断領域があれば(ステップe9:Yes)、その要診断領域についてグレードを決定する(ステップe11)。「レベル4」の要診断領域がない場合には(ステップe9:No)、ステップe13に移行する。
ここで、ステップe11のグレードの決定手順について説明すると、先ず、「レベル4」と推定した要診断領域毎に、上記した式(19)の条件に対する偏差δPSを次式(20)に従って算出する。
Figure 2011181015
その後、算出した偏差δPSの値を所定階層に振り分け、この偏差δPSの値が振り分けられた階層に従ってグレードを決定する。例えば先ず、要診断領域毎の偏差δPSの値をもとに、所定数nの各階層step(i=1,2,・・・,n)の偏差量を決定する。ここで、Iは階層番号を表す。そして、決定した各階層stepの偏差量をもとに、要診断領域のそれぞれをいずれかの階層に振り分ける。本実施の形態では、例えばn=5とする。各階層stepにおける偏差量value(i)(i=1,2,・・・,n)は、各要診断領域の偏差δPSの値のうちの最大値をδPS_maxとすると、次式(21)で表される。
Figure 2011181015
そして、決定した各階層stepの偏差量value(i)をもとに、要診断領域のそれぞれをいずれかの階層に振り分ける。ここで振り分けられた階層がその要診断領域のグレードに相当する。推定した癌可能性度および癌可能性度が「レベル4」である要診断領域について決定したグレードは、該当する要診断領域IDを割り当てた要診断領域に関する情報として記憶部55に記憶しておく。
そして、図11に示すように、続くステップe13では、制御部56が、ステップe1〜ステップe11の処理の結果要診断領域に関する情報として記憶部55に記憶された要診断領域毎の位置情報、重心位置、特徴量、統計量、癌可能性度および癌可能性度が「レベル4」である要診断領域について決定したグレードの各値を要診断領域情報とし、染色標本IDとともに染色標本DB4に送信して書込要求を通知する。これに応答し、送信された要診断領域情報が染色標本DB4に追加登録され、診断対象の染色標本に関する染色標本情報が更新される。その後、要診断領域情報作成処理を終え、図10のステップd3にリターンしてステップd5の病理医選出処理に移る。図22は、病理医選出処理の処理手順を示すフローチャートである。
図22に示すように、病理医選出処理では先ず、図10のステップd1で取得された標本属性情報や図11の要診断領域情報作成処理で作成された要観察情報等をもとに、病理医DB6に登録されている病理医の中から診断を依頼する病理医を検索する(ステップf1)。
ここで、病理医DB6について説明する。この病理医DB6には、病理医の所属や連絡先、経歴、専門分野の他、その病理医が過去に診断した臓器の種類(診断臓器)やグレード毎の症例実績、希少症例の症例実績といった過去症例や観察手技等がリスト化され、病理医情報として登録される。図23は、病理医DB6のデータ構成例を示す図である。図23に示すように、病理医DB6には、病理医IDと対応付けて、該当する病理医の氏名と、勤務先の医療施設等が設定される所属と、病理診断装置7のネットワークIDと、メールアドレスと、経歴,専門分野と、観察手技(観察手技情報)と、過去症例(診断実績情報)である診断臓器/組織およびグレード/希少症例数と、スケジュール(スケジュール情報)とが記憶される。これら病理医情報を構成する各項目のデータは、例えば関係データベース等を用いて関連付けられ、管理される。なお、病理医情報を構成する項目は例示したものに限定されるものではなく、適宜設定できる。また、病理医DB6のデータ構成はこれに限定されるものではなく、各項目の値を指定することによってその値に応じた病理医情報を取得可能な構成であればよい。
ここで、観察手技、診断臓器/組織、グレード/希少症例数およびスケジュールは、データセットとして記憶され、詳細を後述するように、該当する病理医が染色標本の診断を行なう度に更新されていく。
観察手技(データセットA−01〜A−05,・・・)は、該当する病理医の観察手技を記憶する。本実施の形態では、例えば、観察手技として、診断時の画像種類のデータセットを記憶する。診断時の画像種類としては、例えば、染色標本RGB画像、色素量画像、デジタルステイン画像、擬似微分干渉画像等が挙げられる。バーチャルスライド画像を加工することで、例示したような種類の異なる画像を合成することができるが、診断に用いる画像の種類は、病理医によって異なる。すなわち、色素量画像の観察・診断を好む病理医もいれば、デジタルステイン画像の観察・診断を好む病理医もいる。診断時の画像種類には、該当する病理医が診断に用いる画像の種類が設定される。この観察手技のデータセットは、例えば該当する病理医の病理診断装置7からの通知等に応じて適宜更新される。
診断臓器/組織(データセットB−01〜B−05,・・・)は、該当する病理医が過去に診断した臓器および組織を記憶する。図24−1は、図23に示す病理医IDが「1」である病理医情報の診断臓器/組織のデータセットB−1の一例を示す図であり、図24−2は、図23に示す病理医IDが「2」である病理医情報の診断臓器/組織のデータセットB−2の他の例を示す図である。各図24−1,図24−2に示すように、診断臓器/組織のデータセットには、臓器の種類と組織の種類との組み合わせと対応付けて、その臓器のその組織についての症例実績(回)と、比率とが設定さる。症例回数には、過去にその臓器のその組織について診断した回数が設定される。比率には、臓器および組織の全ての組み合わせの症例実績の合計(全実績数)に対する症例実績(回)の比率が設定される。例えば、子宮頸部の扁平上皮のレコードL61には、子宮頸部の扁平上皮の症例実績(回)として「30」が設定され、全実績数に対する子宮頸部の扁平上皮の症例実績(回)の比率として「0.38」が設定されている。
ここで、図24−1の病理医情報に該当する病理医が、臓器種類として子宮頸部が設定され、注目組織種類として扁平上皮が設定された染色標本を診断したとする。この場合には、子宮頸部の扁平上皮のレコードL61において症例実績(回)が加算されて更新されるとともに、更新後の症例実績(回)をもとに比率が算出されて更新される。診断した子宮頸部および扁平上皮の組み合わせの項目(レコード)が存在しない場合には、臓器種類と注目組織種類との組み合わせ(ここでは子宮頸部と扁平上皮との組み合わせ)のレコードが新たに追加され、その症例実績(回)と比率とが設定される。このように、診断臓器/組織のデータセット(データセットB−01〜B−05,・・・)は、該当する病理医が染色標本を診断する度に該当するレコードが更新され、あるいは新たなレコードが追加されていく。
グレード/希少症例数(データセットC−01〜C−05,・・・)は、該当する病理医が過去に診断した診断臓器/組織のグレード数および希少症例数を記憶する。グレードは、上記したように癌可能性度が「レベル4」の場合に決定される値であり、グレード毎に症例実績(回)と比率とを記憶する。すなわち、該当する病理医が、癌可能性度が「レベル4」である染色標本を診断すると、そのグレードの症例実績が加算され、比率が更新される。希少症例数は、希少症例の症例実績(回)を記憶する。具体的には、該当する病理医が癌可能性度が「レベル5」である染色標本を診断すると、症例実績が加算されていく。
スケジュール(データセットD−01〜D−05,・・・)は、該当する病理医の所定期間(例えば1ヶ月等)分のスケジュールを記憶する。このスケジュールのデータセットは、適宜のタイミングで最新の情報に更新される。
図22のステップf1では、病理医検索部561は、以上のように構成される病理医DB6から要診断領域を診断するのに適した病理医を検索する。以下、1つ(例えば要診断領域ID=IDβ)の要診断領域に着目し、病理医の検索方法を説明する。図25は、診断対象の染色標本の標本属性情報および着目する要診断領域の要診断領域情報の一例を示す図である。図25に例示する診断対象の染色標本は、臓器種類が子宮頸部であり、注目組織種類が扁平上皮であり、染色方法がH&E染色である。また、着目している要診断領域ID=1βの要診断領域について推定されている癌可能性度が「レベル4」であり、グレードが「II」である。また、緊急度として「1(緊急)」が設定されている。
本実施の形態では、これら診断対象の染色標本の標本属性情報および着目する要診断領域の要診断領域情報のうち、例えば、臓器種類、注目組織種類、癌可能性度(グレードが設定されている場合はグレードを含む)をもとに病理医を検索する。なお、検索に用いる項目の組み合わせはこれに限定されるものではなく、別の項目あるいは別の項目の組み合わせを適宜用いて病理医を検索することとしてよい。
先ず、病理医DB6に登録されている全ての病理医情報の診断臓器/組織のデータセット(図23のデータセットB−01〜B−05,・・・)を参照し、診断対象の染色標本の臓器種類および注目組織種類について設定されている比率が高い病理医を選出する。例えば、要診断領域情報に設定されている臓器種類が子宮頸部であり、注目組織種類が扁平上皮(図25を参照)の場合、図24−1に示した病理医情報のデータセットB−1については、レコードL61が参照される。一方、図24−2に示した病理医情報のデータセットB−2については、レコードL62が参照される。これらレコードL61,L62では、レコードL61の比率の方が値が大きいため、データセットB−1の病理医(病理医ID=1)が選出されることとなる。ただし、実際には、病理医DB6には多くの病理医情報が登録されているため、ここでは、各病理医情報の中から診断対象の染色標本の臓器種類および注目組織種類について設定されている比率が高い上位N番目までの病理医を選出する。以下では、癌可能性度が「レベル4」以外の場合にN=5(上位5人)とする。癌可能性度が「レベル4」の場合は、Nを5以上の値、例えば10(上位10人)とする。癌可能性度が「レベル4」の場合のNの値が大きいのは、以下説明するようにグレードをもとに病理医をさらに絞り込むためである。なお、Nの値は特に限定されるものではなく、2以上の値を適宜設定できる。また、ここでは、比率の値が上位N人の病理医を選出することとしたが、予め閾値を設定しておき、この閾値よりも比率の値が大きい病理医を選出するようにしてもよい。また、ここでは、診断臓器/組織のデータセットに設定されている比率の値をもとに病理医を選出することとしたが、診断実績(回)の値をもとに病理医を選出するようにしてもよい。
続いて、癌可能性度が「レベル4」の場合に、次の処理を行う。すなわち、選出した病理医情報のグレード/希少症例数のデータセット(図23のデータセットBC−01〜C−05,・・・)を参照し、要診断領域情報のグレードについて設定されている診断実績(回)または比率が高い上位M番目までの病理医を選出する。例えば、Mの最大値を5として設定しておき、最大5人の病理医を選出する。なお、Mの値は特に限定されるものではなく、2以上の値を適宜設定できる。
その後、病理医検索部561は、図22に示すように、以上のようにして絞り込まれた病理医情報のスケジュールのデータセット(図23のデータセットD−01〜D−05,・・・)を参照し、依頼先候補病理医を選出する(ステップf3)。例えば、絞り込まれた病理医情報の中から、検索日以降の所定の診断期間(例えば3日)のスケジュールに空き時間が存在する病理医情報を所定数(例えば本実施の形態では3人とし、該当する病理医が3人いなければ少なくとも1人)選んで依頼先候補病理医とする。なお、ここでは最大3人を選出することとしたが、何人選出するかは適宜設定でき、1人以上であればよい。
該当する病理医が存在しない場合には、標本属性情報に設定されている緊急度(図25を参照)を判定する。緊急度の値が予め設定される閾値以下(例えば2以下とすれば、「1(緊急)」または「2(急ぎ)」)であり、診断を急ぐ場合には、癌可能性度が「レベル4」か否かによって処理を分岐する。すなわち、癌可能性度が「レベル4」以外の場合には、上位N番目よりも下位であった病理医を新たに選出する。本例では、上位6番目以降の病理医を順次選出し、スケジュールのデータセットを参照して空き時間が存在するか否かを判定する。そして、空き時間が存在した病理医を依頼先候補病理医とする。癌可能性度が「レベル4」の場合には、上位M番目よりも下位であった病理医を新たに選出し、癌可能性度が「レベル4」以外の場合と同様にして、スケジュールに空き時間が存在した病理医を依頼先候補病理医とする。一方、緊急度の値が予め設定される閾値より大きく(例えば「3(通常)」、急を要していない場合には、所定期間(例えば2日)ずつ最大1ヶ月まで診断期間を延長しながらスケジュールの空き状況を判別し、依頼先候補病理医を選出する。所定数の依頼先候補病理医を選出した時点でステップf3の処理を終える。
以上が1つの要診断領域に着目した病理医の検索方法であるが、複数の要診断領域が抽出されている場合には、各要診断領域に設定されている癌可能性度を参照し、そのうちの最も高いレベルを特定する。そして、特定したレベルを用いて上記した処理を行い、依頼先候補病理医を選出する。
なお、依頼先候補病理医の選出手法は、上記した手法に限定されるものではない。例えば、癌可能性度がある特定のレベルの場合には、経歴をもとに依頼先候補病理医を選出するようにしてもよい。例えば、「癌可能性度:レベル1」については、経歴から診断経験年数の浅い病理医に依頼することも可能である。
続いて、診断依頼可否判定部562が、ステップf3で選出した依頼先候補病理医の病理診断装置7に診断可否返答依頼を通知する(ステップf5)。具体的には、診断依頼可否判定部562は、依頼先候補病理医の病理医情報に設定されている病理医ID、氏名、所属、ネットワークIDおよびメールアドレスに従って病理診断装置7に診断可否返答依頼を通知する。複数の依頼先候補病理医が選出されている場合には、各依頼先候補病理医の病理診断装置7に対してそれぞれ診断可否返答依頼を通知する。
これに応答し、診断可否返答依頼を受信した病理診断装置7では、受信した診断可否返答依頼を画面表示し、診断可否の選択を促す。そして、可否選択が操作入力されるまでの間(ステップg1:No)、待機状態となる。可否選択が操作入力された場合には(ステップg1:Yes)、選択内容(「受託可」または「受託不可(否)」)を設定した受託可否情報を情報配信器5に送信する(ステップg3)。
図26は、病理診断装置7に画面表示される診断可否返答依頼の一例を示す図である。図26に示すように、診断可否返答依頼は例えばメール送信され、受託可ボタンB61または受託不可(否)ボタンB63の選択を促すメッセージとして画面表示されて病理医に提示される。病理医は、依頼内容や返答期限を確認し、診断を受託する場合には受託可ボタンB61をクリックし、診断を受託しない場合には受託不可ボタンB63をクリックして診断可否返答依頼に返答する。ここで受託可ボタンB61をクリックすれば「受託可」が設定された受託可否情報が情報配信器5に送信され、受託不可ボタンB63をクリックすれば「受託不可」が設定された受託可否情報が情報配信器5に送信されることとなる。
一方、情報配信器5では、受託可否情報を受信すると(ステップf7:Yes)、診断依頼可否判定部562が、受託可否情報をもとに受託可と返答した病理医数を判定する。すなわち、受信した受託可否情報に「受託可」が設定されている場合には、その病理医を依頼先病理医として確定し、確定した依頼先病理医数を加算する。そして、診断依頼可否判定部562は、受託可と返答した病理医数(確定した依頼先病理医数)が上限人数(例えば3人)に達するまでの間(ステップf9:No)、ステップf7に戻って受託可否情報を受け付ける。このようにすることで、5人の依頼先候補病理医から先着順に依頼先病理医を確定していく。なお、ステップf3で選出した依頼先候補病理医が上限人数(3人)に満たない場合には、受託可と返答した病理医が全て依頼先病理医として確定すればよい。なお、ここでは上限人数を3人としたが、1人以上であればよく、適宜設定してよい。
より詳細には、受信した受託可否情報に受託可が設定されており、この受託可否情報を送信した病理診断装置7の病理医を依頼先病理医として確定した場合には、診断依頼可否判定部562は、その病理診断装置7のネットワークIDにアクセス権を割り当て、診断対象の染色標本の染色標本情報にアクセス可能な状態に設定する。その後、この病理診断装置7にアクセス可能な旨の通知を行う。図27は、病理診断装置7に画面表示されるアクセス可能な旨の通知の一例を示す図である。この通知は、図27に示すように、診断可否返答依頼と同様にメール送信され、病理医に提示される。
そして、診断依頼可否判定部562は、図22のステップf9において上限人数に達したと判定した場合には(ステップf9:Yes)、依頼先病理医を確定する(ステップf11)。
より詳細には、このとき、診断可否返答依頼を送信した依頼先候補病理医のうち、受託可否情報が未受信である依頼先候補病理医の病理診断装置7に定員に達した旨の通知を行う。図28は、病理診断装置7に画面表示される定員に達した旨の通知の一例を示す図である。この通知は、図28に示すように、診断可否返答依頼と同様にメール送信され、病理医に提示される。
続く図22のステップf13では、提供情報作成部544の画像加工処理部545が、ステップf11で確定した依頼先病理医の観察手技のデータセットを参照し、観察手技に従ってバーチャルスライド画像を画像処理(加工)して提供情報を作成する。このステップf13の処理は、依頼先病理医毎に行い、各依頼先病理医に適した提供情報を作成する。
具体的には、診断時の画像種類として染色標本RGB画像が設定されている場合には、位置情報をもとに染色標本RGB画像における要診断領域の画像データを切り出し、切り出した画像データを画像処理して加工し、提供情報を作成する。
ここで、要観察領域の特徴量として算出されている色情報補正係数を用いて色素量を正規化したRGB画像(正規化RGB画像)を生成するようにしてもよい。具体的には先ず、要観察領域を構成する各画素の色素Hおよび色素Eの色素量を色情報補正係数に従って調整する。具体的には、色情報補正係数をαH,αEとし、色素量dH,dEにこの色情報補正係数αH,αEを乗じることで色素量を調整する。調整後の色素量dH *,dE *の算出式は、次式(22),(23)で表される。
Figure 2011181015
そして、このようにして調整した色素量dH *,dE *を上記した式(4)に代入し、得られた値を次式(24)に従って分光透過率に変換する。これにより、調整後の色素量dH *,dE *から各画素位置の分光透過率が得られる。以上の要領で要観察領域内の各画素について分光透過率を算出したならば、上記した式(2),(3)に従って各画素のRGB値GRGB(x)を算出し、調整後の色素量dH *,dE *をもとに正規化RGB画像を合成する。そして、以上説明した処理を要観察領域毎に行って、各要観察領域の正規化RGB画像を提供情報として作成する。
Figure 2011181015
なお、このように色情報補正係数αH,αEを用いて色素量を調整することによれば、所望の濃度で染色された染色標本と同等の色を有する画像に補正することができる。したがって、この色情報補正係数αH,αEの値として病理医の好む値を設定しておく構成も可能である。例えば、標準的な濃度で染色された染色標本の観察を好むのか、濃く染色された染色標本の観察を好むのか、あるいは薄く染色された染色標本の観察を好むのかに応じた色情報補正係数αH,αEの値を病理医の観察手技として設定しておく構成としてもよい。そして、依頼先病理医の観察手技として設定された色情報補正係数αH,αEの値をもとに前述の手順と同様にして要観察領域を構成する各画素の色素量を調整し、調整後の色素量をもとに要観察領域のRGB画像を合成することによって提供情報を作成する構成としてもよい。
一方、診断時の画像種類として色素量画像が設定されている場合には、要診断領域の色素量画像を生成する。本実施の形態では、H&E染色された染色標本を診断対象としているため、位置情報をもとに要診断領域の各画素位置における色素Hの色素量を読み出し、その濃淡によって表したH色素量画像を生成する。同様に、要診断領域の各画素位置における色素Eの色素量を読み出し、その濃淡によって表したE色素量画像を生成する。図29は、要診断領域のH色素量画像の一例を示す図である。また、図30は、要診断領域のE色素量画像の一例を示す図である。
また、診断時の画像種類としてデジタルステイン画像が設定されている場合には、要診断領域のデジタルステイン画像を生成する。ここで、デジタルステイン画像は、例えば細胞核や線維、血管といった所望の構成要素をあたかも特殊染色したかのように強調表示した画像のことである。具体的には、先ず、位置情報をもとに染色標本RGB画像における要診断領域の画像データを切り出す。続いて、要診断領域の特徴量として作成した構成要素情報を参照し、各構成要素の識別画素条件に基づいて、要診断領域の画像データから細胞核、線維および血管の画素を抽出する。そして、染色標本RGB画像における要診断領域内の細胞核、線維および血管の画素を所定の表示色で置き換えることによって、要診断領域内の構成要素を他と識別可能に強調表示したデジタルステイン画像を生成する。このとき、細胞核、線維および血管の画素を全て置き換える必要はなく、所定の構成要素の画素の表示色を置き換える構成としてよい。いずれの構成要素を強調表示するのかは、例えば入力部51を介してユーザ操作を受け付けるようにしてもよい。また、複数の構成要素を強調表示する場合には、それぞれの画素を別個の表示色で置き換えるようにしてもよい。図31は、弾性繊維を強調表示したデジタルステイン画像の一例を示す図である。
また、診断時の画像種類として擬似微分干渉画像が設定さている場合には、要診断領域の擬似微分干渉画像を生成する。この擬似微分干渉画像は、焦点位置の異なるバーチャルスライド画像を合成して生成する。具体的には、例えば、図6のステップc13で測定した合焦位置以外の前焦点位置および後焦点位置を焦点位置Fα,Fβとして用いる。そして、前焦点位置および後焦点位置のバーチャルスライド画像の各画素位置について算出されている分光透過率を参照し、所定波長λにおける分光透過率が前述の閾値以上である画素を「1」、閾値に満たない画素を「0」として、共通の画素間で論理積を求める。そして、論理積を満たす画素の画素値を「255」とし、満たさない画素の画素値を「0」として擬似微分干渉画像を生成する。
なお、ここでは、要診断領域の画像データを切り出し、切り出した画像データを画像処理して加工し、提供情報を作成することとした。これに対し、染色標本画像の全域を加工して提供情報を作成することとしてもよい。
以上のようにして提供情報を作成したならば、提供情報作成部544は、作成した提供情報を染色標本IDとともに染色標本DB4に送信し、書込要求を通知する(ステップf15)。これに応答し、送信された提供情報が染色標本DB4に追加登録され、診断対象の染色標本に関する染色標本情報が更新される。その後、病理医選出処理を終え、図10のステップd5にリターンしてステップd7に移る。
そして、ステップd7では、提供情報配信処理部563が、ステップd1で取得した標本属性情報および染色標本画像の画像データ、ステップd3の要診断領域情報作成処理で作成した要診断領域情報、図22のステップf13で作成された提供情報といった染色標本情報を診断情報とし、図22のステップf11で確定された依頼先病理医の病理診断装置7に配信する。なお、ステップd7の処理は、ステップd5の病理医選出処理の直後に行わなくてもよく、例えば依頼先病理医の病理診断装置7が情報配信器5にアクセスし、情報配信器5に対して診断開始要求を通知した際等の適宜のタイミングで行うこととしてよい。
これに応答し、病理診断装置7では、受信した診断情報である標本属性情報や染色標本画像の画像データ、要診断領域情報、提供情報等を画面表示する(ステップh1)。この病理診断装置7の病理医は、画面表示された提供情報等の診断情報を見ながら観察・診断を行い、入力装置を操作して診断結果を入力する。そして、病理診断装置7は、操作入力に従って診断報告書情報を作成する(ステップh3)。
例えば、病理診断装置7は、受信した診断情報をもとに、標本属性情報や染色標本画像の画像データ、要診断領域情報、提供情報等を配置した診断画面を表示する。図32は、診断画面の一例を示す図である。図32に示すように、診断画面は、全体画像表示部W81と、要診断領域表示部W831,W832,W833と、付属情報表示部W85とを備える。また、この診断画面には、診断完了ボタンB81が配置されている。
全体画像表示部W81には、高解像画像である標本領域区画画像を結合して得たバーチャルスライド画像をもとに生成した染色標本RGB画像が表示され、この全体画像表示部W81に表示される染色標本RGB画像は、不図示の拡大メニューまたは縮小メニューを選択することで部分的に拡大/縮小できるようになっている。病理診断装置7の依頼先病理医は、この全体画像表示部W81において、実際にバーチャルスライド顕微鏡2で高倍対物レンズを用いて診断対象の染色標本を観察するのと同様の要領で、診断対象の染色標本の全域あるいは診断対象の染色標本を部分毎に高解像度で観察することができる。
要診断領域表示部W831,W832,W833には、要診断領域毎の提供情報が表示される。本実施の形態では、提供情報は、上記したように要診断領域毎にその画像データを画像処理して加工したものである。例えば、病理診断装置7の依頼先病理医の観察手技として診断時の画像種類が「染色標本RGB画像」が設定されている場合には、染色標本RGB画像から切り出された要診断領域の画像データが提供情報として配信されるが、これら要診断領域毎の提供情報が要診断領域表示部W831,W832,W833に表示される。なお、これら要診断領域表示部W831,W832,W833にそれぞれ表示される要診断領域毎の画像データは、ユーザ操作に従って適宜全体画像表示部W81に拡大表示される構成となっている。
また、例えば上記した図12の要診断領域抽出画面においてユーザ(依頼元の病理医)が要診断領域についてコメントを記入している場合には、例えば要診断領域表示部W833に示すように、「コメント有り」が表示される。この「コメント有り」の表示をクリックすると、その具体的な内容が表示されるようになっており、依頼先病理医はコメントの内容(依頼元の病理医の所見や疑問点、質問等)を確認しつつ診断を行うことができる。
付属情報表示部W85には、提供情報とともに受信した標本属性情報や要診断領域情報の内容が一覧表示される。依頼先病理医は、この付属情報表示部W85において標本属性情報や要診断領域情報の内容等を参照することができる。ここで、例えば細胞核や線維、血管等の形状情報を重要視する病理医もいれば、別の特徴量あるいは統計量を重要視する病理医もいる。したがって、依頼先病理医は、要診断領域の特徴量や統計量等の中から必要な値を適宜参照しながら診断を行うことができるので、迅速な診断が実現できる。
この診断画面において、例えば要診断領域表示部W831をダブルクリックすると、報告書作成画面が表示され、該当する要診断領域に対する所見や診断結果の記入を受け付ける。図33は、報告書作成画面の一例を示す図である。図33に示すように、報告書作成画面は、患者情報等の標本属性情報、あるいは診断を行った依頼先病理医の病理医情報等のうちの必要な項目、ダブルクリックした要診断領域の画像データ(提供情報)等が表示される。また、報告書作成画面は、所見記入欄W91と、診断結果入力部W93とを備える。
ここで、診断結果入力部W93は、例えば、病名を入力する入力ボックスIB91やグレードを入力する入力ボックスIB93が配置されるとともに、診断を確定するのか未確定とするのかを選択するための確定ボタンB91および未確定ボタンB93が配置されている。依頼先病理医は、例えば、病名やグレード等について確信が持てる場合には確定ボタンB91をクリックする。一方、確信が持てないのであれば、未確定ボタンB93をクリックする。
この報告書作成画面において、依頼先病理医は、要診断領域についての所見を所見記入欄W91に記入する。また、該当する要診断領域に対して依頼元の病理医のコメントが記入されていた場合であって、その内容が依頼先病理医に対する疑問・質問事項であった場合には、その回答を適宜所見記入欄W91に記入する。また、依頼先病理医は、診断結果入力部W93において、入力ボックスIB91,IB93に病名やグレードを入力し、確定ボタンB91または未確定ボタンB93をクリックして該当する要診断領域についての診断を終える。
なお、確定ボタンB91または未確定ボタンB93をクリックすると、図32の診断画面に戻るようになっており、依頼先病理医は、同様の操作を行って要診断領域毎に所見の記入や診断結果の入力を行う。そして、全ての要診断領域についての診断を終えたならば、診断完了ボタンB81をクリックして診断を完了する。この診断完了ボタンB81がクリックされた際の要診断領域毎の所見および診断結果の内容が、診断報告書情報として作成される。なお、この診断完了ボタンB81をクリックするまでの間は、記入済みの所見や入力済みの診断結果について変更が可能である。すなわち、要診断領域表示部W831をクリックすれば、該当する要診断領域についての報告書作成画面が再度表示され、既に記入済みの所見や入力済みの診断結果を変更、追記、あるいは削除することが可能である。
そして、以上のようにして診断報告書情報を作成したならば、図10に示すように、病理診断装置7は、診断報告書情報を染色標本IDとともに情報統合器8に送信する(ステップh5)。
また、病理診断装置7は、標本属性情報と診断報告書情報とを診断内容情報とし、病理診断装置7の病理医の病理医IDとともに病理医DB6に送信して書込要求を通知する(ステップh7)。これに応答し、病理医DB6では、標本属性情報の臓器種類や注目組織種類に従い、該当する病理医情報の診断臓器/組織のデータセットを更新する。また、癌可能性度が「レベル4」であり、グレードが決定されている場合、あるいは癌可能性度が「レベル5」であり、希少症例の場合には、グレード/希少症例数のデータセットを更新する。
一方、情報統合器8では、診断報告書情報とともに受信した染色標本IDをもとに、診断対象の染色標本の染色標本情報を染色標本DB4から取得する(ステップi1)。そして、情報統合器8は、病理診断装置7から受信した診断報告書情報と、ステップi1で取得した染色標本情報とを統合して確定診断結果情報を作成する(ステップi3)。ここで、図22のステップf11で複数の依頼先病理医が確定され、図10のステップd7において複数の依頼先病理医の病理診断装置7に対して診断情報が配信された場合には、情報統合器8は、各依頼先病理医の病理診断装置7からの診断報告書情報を受信することとなる。この場合には、情報統合器8は、これら受信した各依頼先病理医の病理診断装置7からの診断報告書情報を統合し、確定診断結果情報を作成する。
そして、情報統合器8は、作成した確定診断結果情報を染色標本IDとともに染色標本DB4に送信し、書込要求を通知する(ステップi5)。これに応答し、送信された確定診断結果情報が染色標本DB4に追加登録され、診断対象の染色標本に関する染色標本情報が更新される。
以上説明したように、本実施の形態の病理診断システム1によれば、他の病理医に意見を求めたい染色標本画像内の要診断領域を抽出することができる。そして、この要診断領域について特徴量および統計量を算出し、癌可能性度を推定してグレードを決定することができる。
また、診断対象の染色標本の標本属性情報や、例えば要診断領域の統計量をもとに推定した癌可能性度等の要診断領域情報、病理医のスケジュール等をもとに病理医を検索し、依頼先病理医を確定することができる。
ここで、背景技術で示した特許文献1では、ユーザ(担当病理医)が意見を求める病理医を選定する際に、その時点でコンサルティング可能な病理医の専門分野や経歴を画面表示するようにしていた。しかしながら、専門分野や経歴だけでは、意見を求めたい症例についての診断実績や知見の有無を判断するのは困難である。実際に意見を求める病理医を選ぶ際には、その病理医がどのような症例に対する診断実績があるのか、あるいは診断対象の病理学的悪性度と同等の症例を診断したことがあるのか、希少症例に関する知見を持っているか等を考慮する必要がある。さらには診断を行うための時間的な余裕があるか等を考慮して依頼先の病理医を選ぶ必要がある。ここで、特許文献1を適用し、上記したような情報を病理医毎に提示する場合、担当病理医は、膨大な情報の中から所望の病理医を選び出さなければならず、操作が煩雑であり、選定に時間を要するという問題があった。これに対し、本実施の形態によれば、ユーザ(依頼元の病理医)は、要診断領域を抽出するだけで、診断に対する意見を求めるのに最適な病理医を依頼先病理医として自動的に選択することができる。したがって、依頼先病理医を検索するために煩雑な操作が必要ない。
そして、確定した依頼先病理医の観察手技に従って少なくとも要診断領域の画像データを画像処理して加工し、提供情報を作成することができる。そして、この提供情報を含む診断情報を依頼先病理医の病理診断装置に配信することができる。したがって、要診断領域の画像データを依頼先病理医が診断し慣れた種類の画像に画像処理して加工した上で、依頼先病理医の病理診断装置7に配信することができる。
したがって、本実施の形態の病理診断システム1によれば、依頼先病理医は、自身の専門分野(得意分野)であって診断実績のある類似症例を通常の診断環境で診断できるため、効率良く診断が行える。これによれば、セカンド・オピニオン等のコンサルテーションを迅速に行うことができるので、診断確定までの時間の短縮が図れ、迅速に治療を開始できるようになる。
また、少なくとも依頼元の病理医が意見を求めたい要診断領域について、特徴量や統計量、癌可能性度等を算出・推定し、診断情報に含めて依頼先病理医の病理診断装置に配信することができる。したがって、依頼先病理医は、これらの情報を適宜参照しながら効率よく作業することができ、迅速な診断が実現できる。
なお、上記した実施の形態では、依頼先病理医の観察手技として設定されている診断時の画像種類をもとに染色標本RGB画像、色素量画像、デジタルステイン画像または擬似微分干渉画像を提供情報として作成する場合について説明したが、これに限定されるものではない。例えば、染色標本RGB画像に対して例えばエッジ強調処理といった各種画像処理を施して加工し、提供情報を作成するようにしてもよい。この場合には、病理医の観察手技として、染色標本RGB画像に対して施す画像処理の種類を設定しておけばよい。
また、上記した実施の形態では、要診断領域情報作成部542が作成した要診断領域情報を診断情報に含めて依頼先病理医の病理診断装置7に配信する構成とした。これに対し、病理医毎に診断時に必要とする特徴量や統計量の種類を観察手技として設定するようにしてもよい。そして、依頼先病理医が必要とするとして設定している特徴量や統計量の値のみを診断情報に含めて病理診断装置7に配信するようにしてもよい。
また、上記した実施の形態では、図22のステップf1において、診断対象の染色標本の標本属性情報および着目する要診断領域の要診断領域情報をもとに病理医を検索することとした。これに対し、例えば提供情報として提供可能な画像の種類に対して優先順位を設定しておき、病理医DB6において観察手技として設定されている診断時の画像種類をもとに病理医を検索するようにしてもよい。例えば、提供情報として提供可能な画像の種類の優先順位としてデジタルステイン画像を優先する設定がされている場合には、観察手技のデータセットにおいて診断時の画像種類としてデジタルステイン画像が設定されている病理医情報を病理医DB6から先ず検索し、絞り込むようにしてもよい。そしてその後、絞り込んだ病理医情報を対象に、上記した実施の形態と同様の要領で依頼先候補病理医を選出する処理(診断対象の染色標本の標本属性情報および着目する要診断領域の要診断領域情報を用い、診断実績情報等をもとに依頼先候補病理医を選出する処理)を行うようにしてもよい。例えば、デジタルステイン画像のような高付加価値な観察手技を利用した診断によって確かな診断結果が期待できることが予め分かっているのであれば、デジタルステイン画像を診断時の画像種類として用いている病理医を検索・選出することで、診断対象の染色標本をより適切な病理医に診断してもらうことが可能となる。
具体的には、提供情報として提供可能な画像の種類(図4の例では、RGB画像/色素量画像/デジタルステイン画像/擬似微分干渉画像等)と、病理医情報の観察手技に設定されている診断時の画像種類との組み合わせで最適なものを選ぶようにする。例えば、デジタルステイン画像が最優先として設定され、疑似微分干渉画像が2番目に優先順位が高いとして設定されていたとする。この場合には、観察手技のデータセットにおいて診断時の画像種類としてデジタルステイン画像が設定されている病理医情報を病理医DB6から選出して絞り込んだ上で、標本属性情報や要診断領域情報を用いて依頼先候補病理医を選出する。依頼先候補病理医が選出されなければ、診断時の画像種類として擬似微分干渉画像が設定されている病理医情報を病理医DB6から選出して絞り込んだ上で、標本属性情報や要診断領域情報を用いて依頼先候補病理医を選出する。依頼先候補病理医が選出されなければ、最後に、診断時の画像種類としてデジタルステイン画像および擬似微分干渉画像以外(RGB画像または色素量画像)が設定されている病理医情報を病理医DB6から選出して絞り込んだ上で、標本属性情報や要診断領域情報を用いて依頼先候補病理医を選出する。
また、遠隔地にある病理医間でコンサルテーションを行う遠隔診断システムにおける情報の授受に関しては、以下説明する方法がガイドラインに示されて推奨されている。上記した実施の形態の病理診断システム1においても、この方法に沿って情報を授受するのがよい。以下、この方法について簡単に説明する。
遠隔診断・コンサルテーションを依頼する依頼側施設では、遠隔診断の必要が生じた場合に、その旨を受託側施設に伝え、遠隔診断の実施を電話等で予約する(工程1)。受託側施設では、その予約日時において、遠隔診断の実施に対して準備をし、十分な体制を整える(工程2)。
また、依頼側施設の主治医は、遠隔診断を行う受託側施設の担当の病理医(受託側担当医)に、依頼する遠隔診断の症例の臨床情報の要点、遠隔診断対象の検体の種別、個数、目的等を伝える(工程3)。その後、実際に遠隔診断対象の検体が提出された時点で、依頼側施設の主治医は、標本の作製を開始することを受託側施設に電話等で伝える(工程4)。
工程4での標本作成の開始の連絡を受けた受託側施設では、受託側担当医が、遠隔診断システムを起動する(工程5)。一方、依頼側施設の担当の検査技師は、標本を作製してその画像(例えばマルチバンド画像)を取り込み、取り込んだ標本の画像を含む送信情報を受託側施設の受託側担当医に宛てて送信する(工程6)。
工程6の送信情報を受信した受託側施設の受託側担当医は、標本の画像を画面表示して観察し、診断を行う。また、必要に応じて依頼側施設の主治医に情報の追加を求める(工程7)。そして、受託側施設の受託側担当医は、工程7での診断過程および結果を電話等で直接依頼側施設の主治医に伝える(工程8)。また、この電話等の際には、依頼側施設および受託側施設で同期・共有するコンピュータ画面上に決め手となった診断画像情報を提示するとともに、診断結果を文字情報として提示し、診断過程および結果を依頼側施設の主治医に確実に伝える。
依頼側施設の検査技師は、遠隔診断が終了した後、作製した標本を速達等の方法で遠隔診断を担当した受託側施設の受託側担当医に速やかに届ける(工程9)。受託側施設の受託側担当医は、工程9で届いた標本を受け取り次第、顕微鏡を用いて届いた標本を直接観察し、再度診断を行って工程7での遠隔診断の正誤を判定する(工程10)。工程10において診断に誤りがあったと判定した場合には、その旨を依頼側施設の主治医に遅滞なく伝える(工程11)。
以上のようにして得られた遠隔診断の診断過程および結果は、標本の画像等の送信情報の全てとともに適切な電子媒体に保存記録し、必要な場合には直ちに再生できるようにしておく(工程12)。また、依頼側施設のテレパソロジー関係者と受託側施設の受託側担当医とは、定期的に直接対面の会合を持ち、内外のテレパソロジーに関する諸問題の情報を共有し、よりよい運営方法と活用法を検討する(工程13)。
なお、工程6においてマルチバンド画像を遠隔の受託側施設に送信する場合に用いる画像フォーマットの例として、非特許文献3には、スペクトル画像システムの例が開示されている。簡単に説明すると、非特許文献3では、ICCプロファイルで規定されているCIE1931XYZのみならず、分光透過率までも利用できるとしている。PCSとして何を用いるかによって、プロファイルとして必要となるデータが異なってくる。例えば、PCSを分光透過率での色空間とした場合について考える。この場合、画像入力装置からの画像データには、スペクトルベースでの色再現処理がなされて表示装置等へ出力するための色変換処理が行われる。
この色変換処理では、画素毎に分光透過率の推定が行われて分光透過率画像データが生成される。この分光透過率画像データは、デバイスインデペンデントの(機器依存性の無い)カラー情報となる。こうして得られた分光透過率画像データは、PCSとして扱うことの可能な信号(データ)と解釈される。ここで、分光透過率の推定を行う場合、一般的には、分光透過率推定行列を用いる。この分光透過率推定行列自体、または分光透過率推定行列を求めるのに必要な情報が、画像入力装置とPCSとを関係付けるデータであるところの入力プロファイルに含まれている。
そして、PCS空間の画像データであれば、出力先の機器の特性を意識することなく、画像データを保存したり、伝送したりすることが行えるようになる。しかし、保存または伝送を考えたとき、画像データを構成する各画素が分光透過率データを保持していると、データ容量が大きくなる。例えば、画像データを構成する各画素のひとつ一つが波長方向の次元数分のデータを有すると、画素数に前記次元数を乗じた量の画像データを保存または伝送する必要がある。したがって、保存または伝送に係るデータ容量の増加を抑制する上では、撮影信号および上記した入力プロファイルの双方をデータとして保存または伝送し、そのデータを読み出したあるいは受信した機器においてPCS空間の画像データを生成するのが望ましい。
以上のように、本発明の情報配信装置および病理診断システムは、病理医による迅速な診断を実現するのに適している。
1 病理診断システム
2 バーチャルスライド顕微鏡
21 電動ステージ
221,231 モータ
223 XY駆動制御部
233 Z駆動制御部
24 顕微鏡本体
251 コレクタレンズ
252 照明系フィルタユニット
253 視野絞り
254 開口絞り
255 折曲げミラー
256 コンデンサ光学素子ユニット
257 トップレンズユニット
26 レボルバ
27 対物レンズ
28 光源
29 鏡筒
291 ビームスプリッタ
30 フィルタユニット
31 双眼部
32 TVカメラ
33 顕微鏡コントローラ
34 TVカメラコントローラ
35 制御部
4 染色標本DB
5 情報配信器
51 入力部
52 表示部
53 通信部
54 画像処理部
541 要診断領域抽出処理部
542 要診断領域情報作成部
543 癌可能性度推定部
544 提供情報作成部
545 画像加工処理部
55 記憶部
56 制御部
561 病理医検索部
562 診断依頼可否判定部
563 提供情報配信処理部
6 病理医DB
7(7−1,7−2,7−3,・・・) 病理診断装置
8 情報統合器

Claims (14)

  1. 異なる病理医が操作する複数の病理診断装置と通信接続可能に構成され、前記病理診断装置に対して診断情報を配信する診断情報配信装置であって、
    診断対象の標本を撮像した標本画像を取得する画像取得手段と、
    前記標本画像から要診断領域を抽出する要診断領域抽出手段と、
    前記複数の病理診断装置を操作する病理医の中から診断を依頼する依頼先病理医を選択する病理医選択手段と、
    少なくとも前記要診断領域の画像データに対し、予め設定されている前記依頼先病理医の観察手技に応じた画像処理を施して提供情報を作成する提供情報作成手段と、
    前記依頼先病理医の前記病理診断装置に前記提供情報を含む診断情報を配信する提供情報配信手段と、
    を備えることを特徴とする診断情報配信装置。
  2. 少なくとも前記要診断領域を構成する各画素の画素値をもとに前記要診断領域の特徴量を算出する特徴量算出手段を備え、
    前記提供情報作成手段は、前記特徴量を用いて前記提供情報を作成することを特徴とする請求項1に記載の診断情報配信装置。
  3. 前記特徴量算出手段は、前記要診断領域から前記標本を構成する所定の構成要素の画素を抽出することによって前記特徴量を算出し、
    前記提供情報作成手段は、前記要診断領域内の前記所定の構成要素の領域を識別表示した画像を生成する識別画像生成手段を有することを特徴とする請求項2に記載の診断情報配信装置。
  4. 前記標本は、所定の染色色素で染色された染色標本であり、
    前記画像取得手段は、前記標本画像として分光スペクトル画像を取得し、
    前記特徴量算出手段は、前記分光スペクトル画像の画素値をもとに、前記要診断領域を構成する画素毎に、対応する前記標本上の標本点における前記染色色素の色素量を推定することによって前記特徴量を算出し、
    前記提供情報作成手段は、前記要診断領域内の各画素について推定された色素量をもとに、各画素位置における色素量を表した画像を生成する色素量画像生成手段を有することを特徴とする請求項2に記載の診断情報配信装置。
  5. 前記病理医選択手段は、前記病理診断装置の病理医それぞれの少なくとも診断実績情報をもとに、前記依頼先病理医を選択することを特徴とする請求項1に記載の診断情報配信装置。
  6. 前記特徴量算出手段によって算出された前記特徴量をもとに前記要診断領域の統計量を算出する統計量算出手段を備え、
    前記病理医選択手段は、前記統計量を加味して前記依頼先病理医を選択することを特徴とする請求項5に記載の診断情報配信装置。
  7. 前記統計量をもとに、前記要診断領域に映る部位が癌である可能性の度合いを示す癌可能性度を推定する癌可能性度推定手段を備え、
    前記病理医選択手段は、前記癌可能性度をもとに前記依頼先病理医を選択することを特徴とする請求項6に記載の診断情報配信装置。
  8. 前記病理医選択手段は、前記病理診断装置の病理医それぞれの観察手技を加味して前記依頼先病理医を選択することを特徴とする請求項5に記載の診断情報配信装置。
  9. 前記病理医選択手段は、前記病理診断装置の病理医それぞれのスケジュール情報を加味して前記依頼先病理医を選択することを特徴とする請求項5に記載の診断情報配信装置。
  10. 前記提供情報配信手段は、前記要診断領域の特徴量を前記診断情報に含めて前記依頼先病理医の前記病理診断装置に配信することを特徴とする請求項2に記載の診断情報配信装置。
  11. 前記提供情報配信手段は、前記要診断領域の統計量を前記診断情報に含めて前記依頼先病理医の前記病理診断装置に配信することを特徴とする請求項6に記載の診断情報配信装置。
  12. 診断情報配信装置と、異なる病理医が操作する複数の病理診断装置とがネットワークを介して接続された病理診断システムであって、
    前記診断情報配信装置は、
    診断対象の標本を撮像した標本画像を取得する画像取得手段と、
    前記標本画像から要診断領域を抽出する要診断領域抽出手段と、
    前記複数の病理診断装置を操作する病理医の中から診断を依頼する依頼先病理医を選択する病理医選択手段と、
    少なくとも前記要診断領域の画像データに対し、予め設定されている前記依頼先病理医の観察手技に応じた画像処理を施して提供情報を作成する提供情報作成手段と、
    前記依頼先病理医の前記病理診断装置に前記提供情報を少なくとも含む診断情報を配信する提供情報配信手段と、
    を備え、
    前記病理診断装置は、
    前記提供情報を表示部に表示処理する表示処理手段を備えることを特徴とする病理診断システム。
  13. 前記ネットワークを介して少なくとも前記診断情報配信装置と接続された病理医記憶部を備え、
    前記病理医記憶部には、該当する病理医の観察手技情報、診断実績情報、およびスケジュール情報の少なくともいずれか1つを含む病理医情報が記憶されることを特徴とする請求項12に記載の病理診断システム。
  14. 前記診断情報配信装置は、顕微鏡を用いて標本を観察する観察部と接続されており、
    前記観察部は、
    前記標本と対物レンズとを前記対物レンズの光軸と直交する面内で相対的に移動させながら、前記標本を部分毎に撮像して複数の標本画像を取得し、
    前記複数の標本画像を繋ぎ合せて1枚の標本画像を生成する標本画像生成手段を備えることを特徴とする請求項12に記載の病理診断システム。
JP2010047182A 2010-03-03 2010-03-03 診断情報配信装置および病理診断システム Pending JP2011181015A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010047182A JP2011181015A (ja) 2010-03-03 2010-03-03 診断情報配信装置および病理診断システム
EP11750661A EP2544141A1 (en) 2010-03-03 2011-03-01 Diagnostic information distribution device and pathology diagnosis system
PCT/JP2011/054657 WO2011108551A1 (ja) 2010-03-03 2011-03-01 診断情報配信装置および病理診断システム
US13/601,010 US20120327211A1 (en) 2010-03-03 2012-08-31 Diagnostic information distribution device and pathology diagnosis system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010047182A JP2011181015A (ja) 2010-03-03 2010-03-03 診断情報配信装置および病理診断システム

Publications (1)

Publication Number Publication Date
JP2011181015A true JP2011181015A (ja) 2011-09-15

Family

ID=44542201

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010047182A Pending JP2011181015A (ja) 2010-03-03 2010-03-03 診断情報配信装置および病理診断システム

Country Status (4)

Country Link
US (1) US20120327211A1 (ja)
EP (1) EP2544141A1 (ja)
JP (1) JP2011181015A (ja)
WO (1) WO2011108551A1 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013132998A1 (ja) * 2012-03-07 2013-09-12 オリンパス株式会社 画像処理装置、顕微鏡システム、及び画像処理方法
US20130265322A1 (en) * 2011-12-27 2013-10-10 Canon Kabushiki Kaisha Image processing apparatus, image processing system, image processing method, and image processing program
WO2013175683A1 (ja) * 2012-05-24 2013-11-28 日本電気株式会社 病理診断結果判定システム、病理診断結果判定方法および病理診断結果判定装置
WO2013179581A1 (ja) * 2012-05-30 2013-12-05 パナソニック株式会社 画像計測装置、画像計測方法及び画像計測システム
WO2014051696A1 (en) * 2012-09-27 2014-04-03 Aperio Technologies, Inc. Medical image based collaboration
WO2014083743A1 (ja) * 2012-11-27 2014-06-05 パナソニック株式会社 画像計測装置および画像計測方法
JP2015176291A (ja) * 2014-03-14 2015-10-05 株式会社東芝 読影処理装置
JP2017033289A (ja) * 2015-07-31 2017-02-09 キヤノン株式会社 情報処理装置及びその制御方法、コンピュータプログラム
US9620089B2 (en) 2012-09-25 2017-04-11 Sony Corporation Image display device and image display system
WO2018128091A1 (ja) * 2017-01-05 2018-07-12 コニカミノルタ株式会社 画像解析プログラム及び画像解析方法
JP2019012071A (ja) * 2018-08-02 2019-01-24 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2019219419A (ja) * 2014-07-08 2019-12-26 キヤノン株式会社 試料情報取得システム、及びそれを有するデータ表示システム、試料情報取得方法、プログラム、記憶媒体
WO2020075226A1 (ja) * 2018-10-09 2020-04-16 オリンパス株式会社 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム
JP2020521946A (ja) * 2017-06-13 2020-07-27 グーグル エルエルシー 病理学用の拡張現実顕微鏡
WO2020158909A1 (ja) * 2019-02-01 2020-08-06 株式会社計数技研 計数装置、学習器製造装置、計数方法、及び学習器製造方法
WO2021015249A1 (ja) * 2019-07-24 2021-01-28 学校法人埼玉医科大学 推定器学習装置、推定器学習方法、及び、推定器学習プログラム

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5701040B2 (ja) * 2010-12-14 2015-04-15 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
US9786047B2 (en) * 2011-05-18 2017-10-10 Nec Corporation Information processing system, method, and apparatus supporting a pathological diagnosis, and control method and control program thereof
US8977017B2 (en) * 2011-09-15 2015-03-10 The General Hospital Corporation System and method for support of medical diagnosis
JP5832281B2 (ja) * 2011-12-27 2015-12-16 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、およびプログラム
WO2014097600A1 (ja) * 2012-12-18 2014-06-26 日本電気株式会社 診断支援システム、診断支援方法、及び記録媒体
JP2014127011A (ja) 2012-12-26 2014-07-07 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP6455829B2 (ja) * 2013-04-01 2019-01-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US11232565B2 (en) * 2014-04-03 2022-01-25 Koninklijke Philips N.V. Examining device for processing and analyzing an image
US9824189B2 (en) * 2015-01-23 2017-11-21 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus, image processing method, image display system, and storage medium
WO2016120418A1 (en) * 2015-01-31 2016-08-04 Ventana Medical Systems, Inc. Quality control of automated whole-slide analysis
US20170039683A1 (en) * 2015-08-06 2017-02-09 Fuji Xerox Co., Ltd. Image processing apparatus, image processing method, image processing system, and non-transitory computer readable medium
CA3002148A1 (en) * 2015-10-16 2017-04-20 Mikroscan Technologies, Inc. Systems, media, methods, and apparatus for enhanced digital microscopy
WO2018131091A1 (ja) * 2017-01-11 2018-07-19 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
EP3714462A1 (en) * 2017-11-22 2020-09-30 Koninklijke Philips N.V. Device, system, and method for optimizing pathology workflows

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1188679A (ja) * 1997-09-08 1999-03-30 Canon Inc 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記録媒体
JP2002073615A (ja) * 2000-08-29 2002-03-12 Olympus Optical Co Ltd 医療用画像ファイリングシステム
JP2005165648A (ja) * 2003-12-02 2005-06-23 Canon Inc 連携診断装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06319005A (ja) * 1993-01-13 1994-11-15 Canon Inf Syst Inc メッセージ配信方法及び装置
JP3469619B2 (ja) 1993-10-22 2003-11-25 オリンパス光学工業株式会社 色分類装置
JPH09281405A (ja) 1996-04-17 1997-10-31 Olympus Optical Co Ltd 顕微鏡システム
JPH11195077A (ja) 1997-12-26 1999-07-21 Hamamatsu Photonics Kk 病理診断システム
JP2002132958A (ja) * 2000-10-20 2002-05-10 Jb Kk インターネット病院システム
JP2005092706A (ja) * 2003-09-19 2005-04-07 Canon Inc 連携検査診断装置
JP2005196533A (ja) * 2004-01-08 2005-07-21 Canon Inc 連携診断装置
EP1975876A3 (en) * 2005-05-13 2008-10-08 Tripath Imaging, Inc. Methods of chromogen separation-based image analysis

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1188679A (ja) * 1997-09-08 1999-03-30 Canon Inc 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記録媒体
JP2002073615A (ja) * 2000-08-29 2002-03-12 Olympus Optical Co Ltd 医療用画像ファイリングシステム
JP2005165648A (ja) * 2003-12-02 2005-06-23 Canon Inc 連携診断装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6011025504; 大山 永昭: 'マルチスペクトル画像を用いた診断支援技術の開発,[online]' 科学技術振興調整費成果報告書 , 200406 *

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130265322A1 (en) * 2011-12-27 2013-10-10 Canon Kabushiki Kaisha Image processing apparatus, image processing system, image processing method, and image processing program
CN104185806A (zh) * 2011-12-27 2014-12-03 佳能株式会社 图像处理设备,图像处理系统,图像处理方法和图像处理程序
JPWO2013132998A1 (ja) * 2012-03-07 2015-07-30 オリンパス株式会社 画像処理装置、顕微鏡システム、及び画像処理方法
US9519128B2 (en) 2012-03-07 2016-12-13 Olympus Corporation Image processing apparatus, microscope system, and image processing method
WO2013132998A1 (ja) * 2012-03-07 2013-09-12 オリンパス株式会社 画像処理装置、顕微鏡システム、及び画像処理方法
WO2013175683A1 (ja) * 2012-05-24 2013-11-28 日本電気株式会社 病理診断結果判定システム、病理診断結果判定方法および病理診断結果判定装置
US9383347B2 (en) 2012-05-24 2016-07-05 Nec Corporation Pathological diagnosis results assessment system, pathological diagnosis results assessment method, and pathological diagnosis results assessment device
JPWO2013175683A1 (ja) * 2012-05-24 2016-01-12 日本電気株式会社 病理診断結果判定システム、病理診断結果判定方法および病理診断結果判定装置
JPWO2013179581A1 (ja) * 2012-05-30 2016-01-18 パナソニック株式会社 画像計測装置、画像計測方法及び画像計測システム
JP5576993B2 (ja) * 2012-05-30 2014-08-20 パナソニック株式会社 画像計測装置、画像計測方法及び画像計測システム
US9418414B2 (en) 2012-05-30 2016-08-16 Panasonic Intellectual Property Management Co., Ltd. Image measurement apparatus, image measurement method and image measurement system
WO2013179581A1 (ja) * 2012-05-30 2013-12-05 パナソニック株式会社 画像計測装置、画像計測方法及び画像計測システム
US9966045B2 (en) 2012-09-25 2018-05-08 Sony Corporation Image display device and image display system for improving diagnosis using digital microscope
US10403240B2 (en) 2012-09-25 2019-09-03 Sony Corporation Image display device and image display system
US9620089B2 (en) 2012-09-25 2017-04-11 Sony Corporation Image display device and image display system
US10832638B2 (en) * 2012-09-25 2020-11-10 Sony Corporation Image display device and image display system
JP2018081721A (ja) * 2012-09-27 2018-05-24 ライカ バイオシステムズ イメージング インコーポレイテッド 医用画像ベースの連携
WO2014051696A1 (en) * 2012-09-27 2014-04-03 Aperio Technologies, Inc. Medical image based collaboration
US10754923B2 (en) 2012-09-27 2020-08-25 Leica Biosystems Imaging, Inc. Medical image based collaboration
JP2015535998A (ja) * 2012-09-27 2015-12-17 ライカ バイオシステムズ イメージング インコーポレイテッド 医用画像ベースの連携
US11657370B2 (en) 2012-09-27 2023-05-23 Leica Biosystems Imaging, Inc. Medical image based collaboration
WO2014083743A1 (ja) * 2012-11-27 2014-06-05 パナソニック株式会社 画像計測装置および画像計測方法
US9558551B2 (en) 2012-11-27 2017-01-31 Panasonic Intellectual Property Management Co., Ltd. Image measurement apparatus and image measurement method for determining a proportion of positive cell nuclei among cell nuclei included in a pathologic examination specimen
JP2015176291A (ja) * 2014-03-14 2015-10-05 株式会社東芝 読影処理装置
JP2019219419A (ja) * 2014-07-08 2019-12-26 キヤノン株式会社 試料情報取得システム、及びそれを有するデータ表示システム、試料情報取得方法、プログラム、記憶媒体
JP2017033289A (ja) * 2015-07-31 2017-02-09 キヤノン株式会社 情報処理装置及びその制御方法、コンピュータプログラム
WO2018128091A1 (ja) * 2017-01-05 2018-07-12 コニカミノルタ株式会社 画像解析プログラム及び画像解析方法
JPWO2018128091A1 (ja) * 2017-01-05 2019-11-07 コニカミノルタ株式会社 画像解析プログラム及び画像解析方法
JP2020521946A (ja) * 2017-06-13 2020-07-27 グーグル エルエルシー 病理学用の拡張現実顕微鏡
US11594024B2 (en) 2017-06-13 2023-02-28 Google Llc Augmented reality microscope for pathology
US11010610B2 (en) 2017-06-13 2021-05-18 Google Llc Augmented reality microscope for pathology
JP2019012071A (ja) * 2018-08-02 2019-01-24 ソニー株式会社 画像処理装置および方法、並びにプログラム
JPWO2020075226A1 (ja) * 2018-10-09 2021-09-02 オリンパス株式会社 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム
JP7090171B2 (ja) 2018-10-09 2022-06-23 オリンパス株式会社 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム
WO2020075226A1 (ja) * 2018-10-09 2020-04-16 オリンパス株式会社 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム
JP2020126313A (ja) * 2019-02-01 2020-08-20 株式会社計数技研 計数装置、学習器製造装置、計数方法、学習器製造方法、及びプログラム
WO2020158909A1 (ja) * 2019-02-01 2020-08-06 株式会社計数技研 計数装置、学習器製造装置、計数方法、及び学習器製造方法
US12067494B2 (en) 2019-02-01 2024-08-20 Keisuugiken Corporation Counting apparatus, learning model producing apparatus, counting method, and learning model producing method
WO2021015249A1 (ja) * 2019-07-24 2021-01-28 学校法人埼玉医科大学 推定器学習装置、推定器学習方法、及び、推定器学習プログラム
JP7473223B2 (ja) 2019-07-24 2024-04-23 学校法人 埼玉医科大学 推定器学習装置、推定器学習方法、及び、推定器学習プログラム

Also Published As

Publication number Publication date
US20120327211A1 (en) 2012-12-27
EP2544141A1 (en) 2013-01-09
WO2011108551A1 (ja) 2011-09-09

Similar Documents

Publication Publication Date Title
JP2011181015A (ja) 診断情報配信装置および病理診断システム
US11927738B2 (en) Computational microscopy based-system and method for automated imaging and analysis of pathology specimens
US20220076410A1 (en) Computer supported review of tumors in histology images and post operative tumor margin assessment
JP5490568B2 (ja) 顕微鏡システム、標本観察方法およびプログラム
JP6453298B2 (ja) 細胞診標本を観察および解析するためのシステムおよび方法
JP7566733B2 (ja) デジタル撮像システムおよび方法
US20100201800A1 (en) Microscopy system
JP2013044967A (ja) 顕微鏡システム、標本画像生成方法及びプログラム
US20210233647A1 (en) Digital imaging system and method
CN116235223A (zh) 使用基于目光的跟踪的注释数据收集
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
Parwani Digital pathology as a platform for primary diagnosis and augmentation via deep learning
Ashman et al. A camera-assisted pathology microscope to capture the lost data in clinical glass slide diagnosis
TWI855779B (zh) 數位影像系統
Archondakis et al. Implementation of Videos Captured by Static Telecytological Applications for Obtaining Expert Opinions
Wood A microscopy scanning system for clinical chromosome diagnostics

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140212

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140411

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140909