JP5428646B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、画像処理装置及びプログラムに関する。

ＣＴやＭＲＩ等の医療装置により得られる画像を管理し、管理した画像を診療等に利用することがある。例えば、下記の特許文献１には、過去に診察された画像の中から、新たな診断対象の画像と類似の画像特徴を有する画像を検索する技術が開示されている。

特開２００１−１５５０１９号公報

本発明の目的の一つは、処理対象の画像について注目する領域を指定する必要なしに、管理する画像の中から関連する画像を検索することができる画像処理装置及びプログラムを提供することにある。

上記目的を達成するために、請求項１に記載の画像処理装置の発明は、標本画像領域の特徴情報と、当該標本画像領域について指定された主分類の情報とを学習情報として、画像領域を主分類に分類する主分類規則を学習する主分類学習手段と、主分類が一致する１又は複数の標本画像領域の特徴情報を、複数の副分類に分類する副分類規則を学習する副分類学習手段と、処理対象の画像について複数の部分画像領域を設定する設定手段と、前記複数の部分画像領域毎の主分類を、当該部分画像領域から抽出された特徴情報と、前記主分類規則とに基づいて識別する主分類識別手段と、前記複数の部分画像領域毎の副分類を、当該部分画像領域の主分類と、当該部分画像領域から抽出された特徴情報と、前記副分類規則とに基づいて識別する副分類識別手段と、前記複数の部分画像領域毎に識別された主分類と副分類とに基づいて、前記処理対象の画像の特徴を表す特徴情報を生成する特徴情報生成手段と、前記特徴情報生成手段により生成された特徴情報と関連する特徴情報を有する画像を、１又は複数の画像と特徴情報とをそれぞれ関連づけて管理した管理情報の中から検索する検索手段と、を含むことを特徴とする。

また、請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記特徴情報生成手段は、前記複数の部分画像領域毎に識別された主分類と副分類とに基づいて特徴ベクトルを生成し、当該複数の部分画像領域について生成された特徴ベクトルをそれぞれ足し合わせたベクトルに基づいて、前記処理対象の画像の特徴を表す特徴情報を生成することを特徴とする。

また、請求項３に記載の発明は、請求項１に記載の画像処理装置において、前記主分類識別手段により識別された主分類に基づいて、前記複数の部分画像領域を１又は複数の画像領域群に分ける手段と、を含み、前記特徴情報生成手段は、前記１又は複数の画像領域群毎の位置と、当該画像領域群に含まれる部分画像領域について識別された主分類と副分類とに基づいて、前記処理対象の画像の特徴を表す特徴情報を生成することを特徴とする。

また、請求項４に記載のプログラムの発明は、コンピュータを、標本画像領域の特徴情報と、当該標本画像領域について指定された主分類の情報とを学習情報として、画像領域を主分類に分類する主分類規則を学習する主分類学習手段と、主分類が一致する１又は複数の画像領域の特徴情報を、複数の副分類に分類する副分類規則を学習する副分類学習手段と、処理対象の画像について複数の部分画像領域を設定する設定手段と、前記複数の部分画像領域毎の主分類を、当該部分画像領域から抽出された特徴情報と、前記主分類規則とに基づいて識別する主分類識別手段と、前記複数の部分画像領域毎の副分類を、当該部分画像領域の主分類と、当該部分画像領域から抽出された特徴情報と、前記副分類規則とに基づいて識別する副分類識別手段と、前記複数の部分画像領域毎に識別された主分類と副分類とに基づいて、前記処理対象の画像の特徴を表す特徴情報を生成する特徴情報生成手段と、前記特徴情報生成手段により生成された特徴情報と関連する特徴情報を有する画像を、１又は複数の画像と特徴情報とをそれぞれ関連づけて管理した管理情報の中から検索する検索手段として機能させるためのプログラムである。

請求項１及び４に記載の発明によれば、処理対象の画像について注目する領域を指定する必要なしに、管理する画像の中から関連する画像を検索することができる。

請求項２に記載の発明によれば、処理対象の画像の特徴情報に部分画像領域のそれぞれの特徴情報を反映できる。

請求項３に記載の発明によれば、処理対象の画像の特徴情報に画像特徴の位置情報を反映できる。

画像処理装置の機能ブロック図である。 学習モデルの一例を示す図である。 副分類の一例を示す図である。 処理対象画像に対する処理結果の一例を示す図である。 管理データの一例を示す図である。 学習処理のフローチャートである。 類似画像検索処理のフローチャートである。 第２の実施形態について説明する図である。 本発明の一態様と従来技術との類似画像検索結果の比較結果を示す図である。

以下、本発明を実施するための好適な実施の形態（以下、実施形態という）を、図面に従って説明する。

図１には、本実施形態に係る画像処理装置１０の機能ブロック図を示す。図１に示されるように、画像処理装置１０は、標本画像取得部１２、教師情報取得部１４、主分類学習部１６、副分類学習部１８、処理対象画像取得部２０、部分画像領域設定部２２、画像特徴抽出部２４、主分類識別部２６、副分類識別部２８、特徴情報生成部３０、画像管理部３２、関連画像検索部３４及び検索結果提示部３６を備える。

上記の各部の機能は、ＣＰＵ等の制御手段、メモリ等の記憶手段、外部デバイスとデータを送受信する入出力手段等を備えたコンピュータが、コンピュータ読み取り可能な情報記憶媒体に格納されたプログラムを読み込み実行することで実現されるものとしてよい。なお、プログラムは情報記憶媒体によってコンピュータたる画像処理装置１０に供給されることとしてもよいし、インターネット等のデータ通信手段を介して供給されることとしてもよい。

［学習処理］
まず、画像処理装置１０により行われる学習処理を実現する機能について説明する。

標本画像取得部１２は、学習処理に用いられる標本画像を取得するものである。本実施形態では、医師により病変部位と特定された画像領域を標本画像として用いることとする。標本画像取得部１２は、例えば肺疾患の場合には、気管支の肥厚、蜂窩肺、裂け目、小結節、大きな結節、すりガラス状、石灰化、のう胞性等の疾患に該当する部位を含む画像を標本画像として取得することとしてよい。

教師情報取得部１４は、標本画像取得部１２により取得された標本画像のそれぞれが該当する主分類の情報を教師情報として取得するものである。本実施形態では、教師情報取得部１４は、各標本画像が該当する疾患（蜂窩肺やすりガラス状等）を主分類（ラベル情報）として取得することとし、主分類はキーボードやマウス等の入力デバイスを用いて入力（指定）されることとしてよい。

主分類学習部１６は、標本画像取得部１２により取得された各標本画像の特徴情報と、各標本画像について教師情報取得部１４により取得された主分類の情報とを学習情報として、所与の画像の特徴情報を主分類に分類する主分類規則を学習するものである。主分類学習部１６は、標本画像の特徴情報と、当該標本画像の主分類情報とを組とした教師付き学習を行うものであり、学習アルゴリズムとしては例えばサポートベクタマシン等を用いることとしてよい。

また、画像の特徴情報としては、画像領域内の各画素の輝度値を成分とするベクトルや、画像領域内の各画素において計算されたＧａｂｏｒフィルタ等の演算結果を画像領域内で平均化したデータや、輝度レベル共起行列を用いたテクスチャ特徴、画像領域内の局所点で計算された予め定められたフィルタ結果を量子化してヒストグラム化した局所特徴量等の様々な画像特徴データを用いることとしてよい。

副分類学習部１８は、主分類が一致する画像の特徴情報に基づいて、画像を複数の副分類に分類する副分類規則を学習するものである。本実施形態では、副分類学習部１８は、主分類が一致した標本画像の特徴情報の各々を、教師無しのクラスタリングアルゴリズムを用いて複数のクラスタ（副分類）に分類することとする。このように、本実施形態での副分類とは、主分類に分類された画像をさらに細かいクラスタに分類した場合における各クラスタに対応するものである。

副分類学習部１８は、クラスタリングアルゴリズムとして、画像の特徴情報が連続量であればｋ−ｍｅａｎｓ法等を用いることとしてもよいし、画像の特徴情報が量子化されたものであれば、ＬＤＡ（Latent Dirichret Allocation）モデル等を用いることとしてもよい。

図２には、クラスタリングアルゴリズムとしてＬＤＡモデル４０を採用した場合の学習モデルの一例を示した。図２において、α及びβはパラメータであり、Ｗは特徴情報（特徴ベクトル）、Ｚはクラスタ（副分類）、θはＷがクラスタに属する確率を表す。このＬＤＡモデル４０では、主分類が一致する各標本画像の特徴情報に基づいて、α及びβの値を学習するものであり、主分類毎にα及びβの値が学習される。なお、ＬＤＡモデル４０のアルゴリズムの詳細については公知の文献（例えば、D.M.Blei, A.Y.Ng, M.I.Jordan, "Latent Dirichlet Allocation" JMLR, vol.3, pp.993-1022 (2003)）に記載のものを用いることとしてよい。

図３には、主分類が蜂窩肺である画像に基づいて学習された副分類の一例を示した。図３に示した例では、画像を５つの副分類（クラスタ）に分類することとしているが、この副分類数はあくまで例示でありこの数に限られるものではない。そして、副分類数は、主分類毎に予め定めておくこととしてもよいし、予め定められた判断基準に従って副分類数を定めることとしてもよい。

［類似画像検索処理］
次に、画像処理装置１０により行われる処理対象の診断画像と類似する画像を検索する処理を実現する機能について説明する。

処理対象画像取得部２０は、処理対象とする画像（以下、処理対象画像）を取得するものである。本実施形態では、処理対象画像は、診断対象の画像であって検索キーとなる画像である。また、本実施形態では、処理対象画像は、例えばＣＴやＭＲＩにより肺を撮像した画像であることとしてよい。

部分画像領域設定部２２は、処理対象画像取得部２０により取得された処理対象画像について複数の部分画像領域を設定するものである。本実施形態では、部分画像領域設定部２２は、処理対象画像を予め定められたサイズの矩形領域に分割し、各矩形領域を部分画像領域に設定することとするが、各部分画像領域の画像特徴量が略等しくなるように部分画像領域を設定することとしてもよいし、部分画像領域同士が一部重なるように設定することとしてもよい。また、部分画像領域設定部２２は、処理対象画像の全体に部分画像領域を設定することとしてもよいし、その一部に部分画像領域を設定することとしてもよい。

画像特徴抽出部２４は、部分画像領域設定部２２により設定された各部分画像領域について画像特徴を抽出するものである。画像特徴としては、学習処理時に標本画像について得た画像特徴と同種のデータを各部分画像領域から抽出することとする。

主分類識別部２６は、部分画像領域について抽出した画像特徴に基づいて、各部分画像領域の主分類を識別するものである。具体的には、主分類識別部２６は、主分類学習部１６により学習された主分類規則に基づいて、部分画像領域について抽出した画像特徴が学習されたいずれの主分類に属するかを識別する。

副分類識別部２８は、各部分画像領域について抽出した画像特徴と、当該各部分画像領域について主分類識別部２６により識別された主分類とに基づいて、各部分画像領域の副分類を識別するものである。具体的には、副分類識別部２８は、部分画像領域について識別された主分類に基づいて副分類規則（モデル）を選択し、当該選択した副分類規則に基づいて、部分画像領域について抽出した画像特徴の副分類を識別する。例えば、ＬＤＡモデル４０を用いた場合には、副分類識別部２８による識別結果は、主分類に属する複数の副分類への該当確率として表される。

特徴情報生成部３０は、処理対象画像に設定された各部分画像領域についての主分類識別部２６と副分類識別部２８による識別結果に基づいて、当該処理対象画像の特徴情報を生成するものである。本実施形態においては、部分画像領域についての主分類及び副分類の識別結果に基づいて、部分画像領域の特徴ベクトルを生成する。

図４には、処理対象画像５０（診断画像）に対する処理結果の一例を示した。図４に示されるように、処理対象画像５０には肺の断面が撮像されており、この処理対象画像には部分画像領域設定部２２により複数の部分画像領域が設定されている。そして、各部分画像領域について抽出された画像特徴に対して主分類識別部２６により主分類が識別され、その識別結果に基づいてさらに副分類識別部２８により副分類の識別が行われる。

図４に示されるように、部分画像領域５２についての主分類が「正常」、副分類が「０．２，０．１，０．７」である場合には、この部分画像領域５２についての特徴ベクトルは（０．２，０．１，０．７，０，０，０，０，０，０）として表される。なお、副分類はクラスタ数が３であり、各クラスタをＡ，Ｂ，Ｃとすると「α，β，γ」は画像特徴がＡ，Ｂ，Ｃにそれぞれ属する確率を示し、α＋β＋γ＝１となる。

また、部分画像領域５４についての主分類が「すりガラス」、副分類が「０．５，０．３，０．２」である場合には、この部分画像領域５４についての特徴ベクトルは（０，０，０，０．５，０．３，０．２，０，０，０）として表される。そして、部分画像領域５６についての主分類が「蜂窩肺」、副分類が「０．３，０．３，０．４」である場合には、この部分画像領域５６についての特徴ベクトルは（０，０，０，０，０，０，０．３，０．３，０．４）として表される。

特徴情報生成部３０は、各部分画像領域についての特徴ベクトルを加算し、加算したベクトルを部分画像領域の数（部分画像領域の面積としてもよい）で正規化することにより、処理対象画像の特徴情報を生成する。

画像管理部３２には、既に処理された画像についての特徴情報及び診断結果等を関連づけて管理するものである。本実施形態では、画像管理部３２には、過去に診断対象となった画像について、部分画像領域設定部２２、画像特徴抽出部２４、主分類識別部２６、副分類識別部２８、特徴情報生成部３０により処理した結果得られた特徴情報と、当該画像について医師が診断した診断結果を示すレポートへのリンク情報を含む管理データが管理されることとする。

図５には、管理データの一例を示した。図５に示されるように、管理データは、画像ＩＤに関連づけて、当該画像ＩＤの示す画像の特徴情報、そして診断レポートへのリンク情報が格納されたテーブルとして構成される。

関連画像検索部３４は、処理対象の画像について生成された特徴情報（検索キー）に基づいて、画像管理部３２に管理される画像の中から処理対象の画像と関連する画像を検索するものである。本実施形態では、関連画像検索部３４は、画像管理部３２により管理される管理データを参照し、検索キーの特徴情報（特徴ベクトル）と、管理される各画像の特徴情報（特徴ベクトル）との類似度をそれぞれ算出し、算出した類似度に基づいて、管理される画像の中から検索キーとなる画像と関連する画像を検索することとしてよい。類似度としては、ベクトル同士のユークリッド距離、カルバックライブラー距離、相関係数、ヒストグラムインターセクション等に基づいて算出することとしてよい。なお、ベクトル間の距離を類似度に用いる場合には、ベクトル間の距離が小さい程類似度が高いとされる。

検索結果提示部３６は、関連画像検索部３４により検索された画像と、当該画像に関連づけられた診断レポートとを表示又は印刷出力する等して利用者に提示するものである。

次に、図６及び図７を参照しながら、本実施形態に係る画像処理装置１０における学習処理及び類似画像検索処理のそれぞれの処理の流れを説明する。

図６には、学習処理のフローチャートを示した。図６に示されるように、画像処理装置１０は、病変部位に該当する標本画像を取得し（Ｓ１０１）、さらに標本画像の主分類の情報を取得する（Ｓ１０２）。画像処理装置１０は、上記取得した学習データに基づいて、画像の特徴情報を主分類に分類する主分類規則を学習する（Ｓ１０３）。そして、画像処理装置１０は、主分類が一致する各画像の特徴情報に基づいて、当該各特徴情報を複数の副分類（クラスタ）に分類する副分類規則を学習する（Ｓ１０４）。

図７には、類似画像検索処理のフローチャートを示した。図７に示されるように、画像処理装置１０は、例えばＣＴやＭＲＩにより得られた画像を処理対象画像として取得し（Ｓ２０１）、取得した処理対象画像を分割して、処理対象画像に複数の部分画像領域を設定する（Ｓ２０２）。

画像処理装置１０は、設定した部分画像領域のうち未処理のものを１つ選択し（Ｓ２０３）、当該選択した部分画像領域の画像特徴を抽出する（Ｓ２０４）。画像処理装置１０は、抽出した画像特徴が属する主分類を、学習された主分類規則に基づいて識別する（Ｓ２０５）。さらに、画像処理装置１０は、上記識別された主分類に該当する副分類規則に基づいて、上記抽出した画像特徴が属する副分類を識別する（Ｓ２０６）。画像処理装置１０は、処理対象画像に設定された部分画像領域のうち未処理のものがあるか否かを判断し（Ｓ２０７）、あると判断される場合にはＳ２０３に戻ってそれ以降の処理を繰り返し、ないと判断される場合には、各部分画像領域について得られた主分類及び副分類の情報に基づいて、処理対象画像の特徴情報を生成する（Ｓ２０８）。

画像処理装置１０は、上記生成された処理対象画像の特徴情報を検索キーとして、過去に得られた画像の中から上記検索キーの特徴情報と類似する特徴情報を有する画像を検索し（Ｓ２０９）、検索された画像及び当該画像にリンクされた情報をユーザに提示する（Ｓ２１０）。

次に、図８を参照しながら、本発明の第２の実施形態について説明する。第２の実施形態では、処理対象画像についての特徴情報の生成処理と、画像の特徴情報同士の比較処理において第１の実施形態と相違しその他の点では同じであるため、以下では第１の実施形態からの相違点について説明する。

図８に示されるように、画像処理装置１０は、処理対象画像５０について設定された各部分画像領域についての主分類を識別した後に、隣接する部分画像領域のうち主分類が一致するものを同一の画像領域クラスタとする。そして、画像処理装置１０は、各画像領域クラスタについて、画像領域クラスタに含まれる部分画像領域の画像特徴の加算平均及び当該画像領域クラスタの重心位置に基づいて、画像領域クラスタの特徴情報を生成する。

図８に示した例を参照して具体的に説明すると、画像処理装置１０は、画像領域クラスタの重心座標（ｘ，ｙ）と、画像領域クラスタに含まれる部分画像領域の画像特徴の加算平均により生成される９次元の特徴ベクトルとを連結した１１次元のベクトルを画像領域クラスタの特徴ベクトルとして生成する。

画像処理装置１０は、各画像領域クラスタについて特徴ベクトルを生成し、他の画像との類似度を比較する際には、以下のＥＭＤ（Earth Mover’s Distance）を用いて評価値を算出する。まず、第１の画像について得られたクラスタＰ＝｛（ｐ_１，ｗ_ｐ１），・・・，（ｐ_ｍ，ｗ_ｐｍ）｝、第２の画像について得られたクラスタＱ＝｛（ｑ_１，ｗ_ｑ１），・・・，（ｑ_ｎ，ｗ_ｑｎ）｝とすると、第１の画像と第２の画像との相関は、以下の式（１）を最小にするフローｆ_ｉｊを求めることで計算され、フローで規格化されたコストがＥＭＤとなる。

なお、本実施形態においては、ｐ，ｑは特徴ベクトル、ｗは画像領域クラスタのサイズ、ｄ_ｉｊはｐ_ｉとｑ_ｊとの距離を表す。

第２の実施形態に係る画像処理装置１０は、上記の式（１）に基づいて処理対象画像と管理される過去の画像との距離を算出し、算出された距離が最小のものを類似する画像として検索することとしてよい。また、比較する画像領域クラスタの位置ずれに対する許容範囲は、距離ｄｉｊにおける重心座標と、画像領域クラスタのサイズ（重み）を変更することで調整することとしてよい。

上記の第２の実施形態に係る画像処理装置１０では、画像の特徴ベクトルに画像特徴の位置の分布の情報が含まれることで、類似画像検索において位置の情報が加味される。

図９には、１００の症例画像に対して、本発明の第１の実施形態に係る画像処理装置１０により行った類似画像検索結果と、従来の画像全体の特徴量に基づく類似画像検索結果とを医師による官能評価した結果の一例を示した。図９に示されるように、本発明の一態様において類似画像として検索された画像は、従来の類似画像検索により検索された画像よりも専門家である医師の判断により近づいているといえる。

本発明は以上説明した実施形態に限定されるものではない。例えば、本発明を医療用途以外の類似画像検索に用いることとしてもよい。

１０ 画像処理装置、１２ 標本画像取得部、１４ 教師情報取得部、１６ 主分類学習部、１８ 副分類学習部、２０ 処理対象画像取得部、２２ 部分画像領域設定部、２４ 画像特徴抽出部、２６ 主分類識別部、２８ 副分類識別部、３０ 特徴情報生成部、３２ 画像管理部、３４ 関連画像検索部、３６ 検索結果提示部、４０ ＬＤＡモデル、５０ 処理対象画像、５２，５４，５６ 部分画像領域。

Claims (4)

1. 標本画像領域の特徴情報と、当該標本画像領域について指定された主分類の情報とを学習情報として、画像領域を主分類に分類する主分類規則を学習する主分類学習手段と、
   主分類が一致する１又は複数の標本画像領域の特徴情報を、複数の副分類に分類する副分類規則を学習する副分類学習手段と、
   処理対象の画像について複数の部分画像領域を設定する設定手段と、
   前記複数の部分画像領域毎の主分類を、当該部分画像領域から抽出された特徴情報と、前記主分類規則とに基づいて識別する主分類識別手段と、
   前記複数の部分画像領域毎に、当該部分画像領域の主分類と、当該部分画像領域から抽出された特徴情報と、前記副分類規則とに基づいて、当該主分類に属する複数の副分類のそれぞれの該当確率を識別結果として得る副分類識別手段と、
   前記複数の部分画像領域毎に前記副分類識別手段により識別結果として得られた複数の副分類のそれぞれの該当確率を要素として含む特徴ベクトルに基づいて、前記処理対象の画像の特徴を表す特徴情報を生成する特徴情報生成手段と、
   前記特徴情報生成手段により生成された特徴情報と関連する特徴情報を有する画像を、１又は複数の画像と特徴情報とをそれぞれ関連づけて管理した管理情報の中から検索する検索手段と、を含む
   ことを特徴とする画像処理装置。
2. 前記特徴情報生成手段は、前記複数の部分画像領域毎に生成された特徴ベクトルをそれぞれ足し合わせたベクトルに基づいて、前記処理対象の画像の特徴を表す特徴情報を生成する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記主分類識別手段により識別された主分類に基づいて、前記複数の部分画像領域を１又は複数の画像領域群に分ける手段と、を含み、
   前記特徴情報生成手段は、前記１又は複数の画像領域群毎の位置と、当該画像領域群に含まれる部分画像領域毎に生成された特徴ベクトルとに基づいて、前記処理対象の画像の特徴を表す特徴情報を生成する
   ことを特徴とする請求項１に記載の画像処理装置。
4. コンピュータを、
   標本画像領域の特徴情報と、当該標本画像領域について指定された主分類の情報とを学習情報として、画像領域を主分類に分類する主分類規則を学習する主分類学習手段と、
   主分類が一致する１又は複数の標本画像領域の特徴情報を、複数の副分類に分類する副分類規則を学習する副分類学習手段と、
   処理対象の画像について複数の部分画像領域を設定する設定手段と、
   前記複数の部分画像領域毎の主分類を、当該部分画像領域から抽出された特徴情報と、前記主分類規則とに基づいて識別する主分類識別手段と、
   前記複数の部分画像領域毎に、当該部分画像領域の主分類と、当該部分画像領域から抽出された特徴情報と、前記副分類規則とに基づいて、当該主分類に属する複数の副分類のそれぞれの該当確率を識別結果として得る副分類識別手段と、
   前記複数の部分画像領域毎に前記副分類識別手段により識別結果として得られた複数の副分類のそれぞれの該当確率を要素として含む特徴ベクトルに基づいて、前記処理対象の画像の特徴を表す特徴情報を生成する特徴情報生成手段と、
   前記特徴情報生成手段により生成された特徴情報と関連する特徴情報を有する画像を、１又は複数の画像と特徴情報とをそれぞれ関連づけて管理した管理情報の中から検索する検索手段として機能させるためのプログラム。
   

Images