JP5220705B2 - 画像処理装置、画像処理プログラムおよび画像処理方法 - Google Patents

Description

本発明は、画像処理装置、画像処理プログラムおよび画像処理方法に関し、特に、被検体の管腔内等を時系列に沿って撮像した時系列画像群の中から注目すべき代表画像群を選出して出力する画像処理装置、画像処理プログラムおよび画像処理方法に関するものである。

従来から、被写体の画像を撮像するデジタルカメラまたはデジタルビデオカメラ等の各種態様の電子撮像装置が登場している。電子撮像装置は、時系列に沿って被写体の画像を連続的に撮像可能であり、時系列に沿って連続的に撮像された被写体の画像群（以下、時系列画像群という）は、液晶ディスプレイ等の表示装置に表示することによって順次観察可能である。

特に、近年の医療分野においては、患者等の被検体の体内画像を時系列に沿って順次撮像可能なカプセル内視鏡が提案されている。カプセル内視鏡は、被検体に嚥下させることが可能な小型のカプセル型筐体の内部に撮像機能および無線通信機能等を備えた医療機器である。カプセル内視鏡は、被検体の口から飲み込まれた後、蠕動運動等によって消化管内部を移動しつつ、所定の撮像レートで消化管内の画像（以下、体内画像という）を時系列に沿って順次撮像し、得られた体内画像を被検体外部の受信装置に順次無線送信する。被検体内部のカプセル内視鏡は、体内画像群を受信装置に送信後、最終的に被検体外部に排出される。なお、カプセル内視鏡によって撮像された体内画像群は、時系列画像群の一例である。

ここで、カプセル内視鏡によって撮像された体内画像群の画像枚数は、一般に、数万枚以上の膨大なものになる。例えば、カプセル内視鏡は、被検体に経口摂取されてから便等とともに体外に排出されるまでの体内滞在期間（約８〜１０時間）、２〜４フレーム／秒の撮像レートで体内画像を時系列順に撮像し続ける。このため、医師または看護師等の観察者は、カプセル内視鏡による被検体の体内画像群を表示装置に表示させて観察するために多大な時間および労力を要し、この結果、体内画像群の観察を通して行われる被検体の体内検査に多大な負担を強いられていた。

上述した問題に対し、例えば、特許文献１に開示された従来技術では、体内画像が有する色調情報に基づいて算出した特徴量と予め設定した基準特徴量とを比較し、この基準特徴量より逸脱する特徴量を有する体内画像を、病変領域を含む体内画像として検出し、この体内画像を出力することによって画像枚数を削減して観察者の負担を軽減している。あるいは、特許文献２に開示された従来技術では、入力された複数の画像を画像の類似度によって分類し、分類された画像から代表画像を選択して要約された画像を出力し、これによって観察する画像枚数を削減して観察者の負担を軽減している。

特開２００５−１９２８８０号公報 特開２００５−２３６９９３号公報

しかしながら、上述した特許文献１に開示された従来技術では、上述したように基準特徴量より逸脱する特徴量を有する体内画像は、病変領域を含む体内画像として判定されるため、同一病変領域を繰り返し撮像した複数の体内画像がある場合、これら複数の体内画像の各々は、観察対象の体内画像として出力されてしまう。この結果、観察者は、同一の病変領域が撮像された複数の体内画像を繰り返し観察しなければならず、体内画像群全体の観察時間が長くなる場合が生じ、観察者の負担を十分に軽減しきれないという問題がある。なお、このような問題は、例えば、被検体内部に導入されたカプセル内視鏡が消化管内において停滞し、この停滞状態のカプセル内視鏡が消化管内の同一部位に存在する同一病変領域を含む体内画像を時系列に沿って繰り返し撮像した場合に、起こり得る。

また、上述した特許文献２に開示された従来技術では、入力された複数の画像を画像間の類似度によって分類しているので、病変領域等の観察者が注目すべき注目領域が撮像された画像であるか否かに関わらず、画像間の類似度の高い複数の画像の中から選択された代表画像群を出力する。例えば、被検体内部のカプセル内視鏡によって撮像された体内画像群内の各体内画像の類似度は、病変領域の有無のみならず、消化管の蠕動運動またはカプセル内視鏡の移動等による被写体の変動に大きく影響される。このため、特許文献２のものでは、病変領域等の体内の注目領域を含む画像を出力対象の代表画像群に確実に含めることは困難な場合が多く、病変領域を含まない体内画像等の観察の必要性が低い画像が代表画像として出力される可能性がある。この結果、観察者は、観察の必要性が低い画像の観察に無駄な時間を費やすことになり、この場合も体内画像群の観察時間が長くなる場合が生じ、観察者の負担を十分に軽減しきれないという問題がある。

本発明は、上記事情に鑑みてなされたものであって、時系列に沿って撮像された時系列画像群の観察者による観察の負担を軽減することができる画像処理装置、画像処理プログラムおよび画像処理方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明のある態様にかかる画像処理装置は、時系列に沿って撮像された時系列画像群に含まれる注目領域を検出する注目領域検出部と、前記注目領域の特徴を示す特徴量を算出する算出処理部と、前記注目領域の特徴量と、前記注目領域を含む時系列画像の時系列位置とに基づいて、前記注目領域をいずれかの領域グループに分類する領域分類部と、前記領域グループ毎の特徴を示すグループ特徴量を算出するグループ特徴量算出部と、前記グループ特徴量をもとに、前記領域グループの中から前記領域グループに属する前記注目領域を代表する１以上の代表領域を選出する領域選出部と、前記時系列画像群のうちの前記代表領域を含む１以上の代表画像を出力する代表画像出力部と、を備えるものである。

なお、時系列画像の時系列位置とは、時系列画像群内の各時系列画像の時系列上の位置であって、各時系列画像が撮像されたタイミングに関する情報を示す。このタイミングに関する情報とは、時系列に沿って撮像された時系列画像群を構成する時系列画像のうち先頭の時系列画像から経過した時間情報（秒、分、時間等）でもよいし、撮像された時刻そのもの（何時何分何秒）の情報であってもよい。いずれの情報の場合であっても、時系列に沿って撮像された各時系列画像は、これらの情報をもとに時系列上に配置できる。また、注目領域とは、観察者にとって観察の必要性が高い注目すべき領域をいい、時系列に沿って撮像された時系列画像群が、例えば、体内を写した体内画像群であれば、その注目領域の例として、粘膜領域や病変領域が挙げられる。一方で、観察者にとって観察の必要性の低い領域は非注目領域に相当し、時系列に沿って撮像された時系列画像群が、例えば、体内を写した体内画像群であれば、その非注目領域の例として、泡や便などの領域が挙げられる。

この態様に係る画像処理装置によれば、注目領域の特徴量と、注目領域を含む時系列画像の時系列位置とに基づいて、注目領域をいずれかの領域グループに分類し、その分類された領域グループに属する注目領域の中から代表となる代表領域を選出して、その代表領域を含む代表画像を出力する。

このように、注目領域の特徴量と、注目領域を含む時系列画像の時系列位置とを考慮した分類により、例えば、特徴量が互いに似通って、かつ時間的にも近い注目領域どうし（例えば、所定の時間内に検出された同一の病変領域どうし）を一つの領域グループにまとめることができる。そして、その領域グループ内の、例えば、互いに似通った注目領域の中から選出した代表領域を含む代表画像を出力することで、互いに似通った注目領域を含む画像が何回も繰り返し出力されるという無駄を排除できる。その結果、観察者による観察の負担を軽減できる。

さらに、この態様に係る画像処理装置は、出力対象である代表画像の代表領域を、少なくとも観察の必要性の高い注目領域の中から選出するため、観察の必要性の低い非注目領域を含む画像が代表画像となる可能性を排除でき、その結果、非注目領域を含む画像を出力対象から外すことができる。その結果、観察の必要性の低い非注目領域を含む画像を観察するという無駄を排除でき、観察者による観察の負担を軽減できる。

また、本発明の別の態様にかかる画像処理プログラムは、時系列に沿って撮像された時系列画像群に含まれる注目領域を検出する注目領域検出手順と、前記注目領域の特徴を示す特徴量を算出する算出処理手順と、前記注目領域の特徴量と、前記注目領域を含む時系列画像の時系列位置とに基づいて、前記注目領域をいずれかの領域グループに分類する領域分類手順と、前記領域グループ毎の特徴を示すグループ特徴量を算出するグループ特徴量算出手順と、前記グループ特徴量をもとに、前記領域グループの中から前記領域グループに属する前記注目領域を代表する１以上の代表領域を選出する領域選出手順と、前記時系列画像群のうちの前記代表領域を含む１以上の代表画像を出力する代表画像出力手順と、をコンピュータに実行させるものである。

また、本発明の別の態様にかかる画像処理方法は、時系列に沿って撮像された時系列画像群に含まれる注目領域を検出する注目領域検出ステップと、前記注目領域の特徴を示す特徴量を算出する算出処理ステップと、前記注目領域の特徴量と、前記注目領域を含む時系列画像の時系列位置とに基づいて前記注目領域をいずれかの領域グループに分類する領域分類ステップと、前記領域グループ毎の特徴を示すグループ特徴量を算出するグループ特徴量算出ステップと、前記グループ特徴量をもとに、前記領域グループの中から前記領域グループに属する前記注目領域を代表する１以上の代表領域を選出する領域選出ステップと、前記時系列画像群のうちの前記代表領域を含む１以上の代表画像を出力する代表画像出力ステップと、を含むものである。

本発明にかかる画像処理装置、画像処理プログラムおよび画像処理方法によれば、時系列に沿って撮像された時系列画像群の観察者による観察の負担を軽減することができるという効果を奏する。

図１は、本発明の実施の形態１にかかる画像処理装置を備えた画像表示システムの一構成例を模式的に示すブロック図である。 図２は、本発明の実施の形態１にかかる画像処理装置の処理手順を例示するフローチャートである。 図３は、体内画像群に含まれる各注目領域の分類処理の処理手順を例示するフローチャートである。 図４は、体内画像群内に含まれる注目領域の特徴点の特徴空間における分布状態の一具体例を示す模式図である。 図５は、特徴空間内の各特徴点を特徴点クラスタに分類した状態を示す模式図である。 図６は、時系列的に隣接または同一の特徴点が属する複数の特徴点クラスタを同一クラスタに統合する状態を示す模式図である。 図７は、各注目領域グループの代表領域の選出処理の処理手順を例示するフローチャートである。 図８は、注目領域グループからの代表領域の選出数と注目領域グループのグループ特徴量との関係を示す関数の一具体例を示す模式図である。 図９は、グループ特徴量に応じた選出数の代表領域を注目領域グループから選出する状態を説明する模式図である。 図１０は、本発明の実施の形態２にかかる画像処理装置を備えた画像表示システムの一構成例を模式的に示すブロック図である。 図１１は、実施の形態２における各注目領域グループの代表領域の選出処理の処理手順を例示するフローチャートである。 図１２は、実施の形態２における代表領域の選出処理を具体的に説明するための模式図である。

以下に、本発明にかかる画像処理装置、画像処理プログラムおよび画像処理方法の実施の形態を図面に基づいて詳細に説明する。なお、以下では、時系列に沿って撮像された時系列画像群の一例として被検体内部のカプセル内視鏡が時系列順に撮像した体内画像群を例示し、この体内画像群の中から観察すべき注目領域を含む体内画像を代表画像として出力する画像処理装置、画像処理プログラムおよび画像処理方法を説明するが、本実施の形態によって本発明が限定されるものではない。

（実施の形態１）
図１は、本発明の実施の形態１にかかる画像処理装置を備えた画像表示システムの一構成例を模式的に示すブロック図である。図１に示すように、本実施の形態１にかかる画像表示システム１００は、被検体の体内画像群を入力する画像入力装置１と、画像入力装置１によって入力された体内画像群の中から注目領域を含む１フレーム以上の体内画像を出力するための各種画像処理を行う画像処理装置２と、画像処理装置２によって出力された１フレーム以上の体内画像を表示する表示装置３とを備える。

画像入力装置１は、被検体の体内画像群を画像処理装置２に入力するための装置である。具体的には、画像入力装置１は、例えば可搬型の記録媒体を着脱可能なデータ入力インターフェースである。画像入力装置１は、カプセル内視鏡等によって撮像された被検体の体内画像群を保存した記録媒体を着脱可能に挿着され、この記録媒体から取り込んだ体内画像群を画像処理装置２に入力する。

画像処理装置２は、画像入力装置１によって入力された体内画像群の中から注目領域を含む体内画像を抽出するための各種画像処理を行う。具体的には、画像処理装置２は、画像入力装置１から被検体の体内画像群を取得し、この取得した体内画像群に含まれる各体内画像に対して画像処理を行って、この体内画像群の中から注目領域を含む体内画像を１フレーム以上抽出する。画像処理装置２は、この体内画像群内の各体内画像を代表する代表画像として、注目領域を含む体内画像を表示装置３に１フレーム以上出力する。なお、画像処理装置２の詳細な構成については、後述する。

ここで、本実施の形態１において、被検体の体内画像群に含まれる注目領域は、医師または看護師等の観察者が観察すべき注目の体内領域（体内部位）であり、例えば、消化管内部の病変領域、粘膜領域、医療処置後の生体組織領域等である。

表示装置３は、体内画像群のうちの注目領域を含む体内画像を１フレーム以上表示出力するユーザインターフェースとして機能する。具体的には、表示装置３は、ＣＲＴディスプレイまたは液晶ディスプレイ等の所望のディスプレイを用いて実現される。表示装置３は、画像処理装置２が体内画像群の中から抽出した１フレーム以上の代表画像を取得し、この取得した１フレーム以上の代表画像を表示する。

なお、表示装置３が表示する代表画像は、被検体内部の病変領域等の注目領域が撮像された体内画像であり、観察者は、表示された代表画像を観察することによって、被検体の消化管内部を検査することができる。

つぎに、本発明の実施の形態１にかかる画像処理装置２の構成について詳細に説明する。図１に示すように、本実施の形態１にかかる画像処理装置２は、体内画像群内の各体内画像に対して演算処理等を行う演算部１０と、画像処理に必要な設定情報等の各種情報を入力する入力部２０と、体内画像等の各種データを記憶する記憶部３０と、画像処理装置２の各構成部を制御する制御部４０とを備える。

演算部１０は、画像入力装置１によって入力された体内画像群内の各体内画像に対して各種演算処理を行う。具体的には、演算部１０は、体内画像群に含まれる注目領域を検出する注目領域検出部１１と、注目領域検出部１１が検出した注目領域の特徴量を算出する特徴量算出部１２と、特徴量算出部１２が算出した特徴量と、注目領域を含む体内画像の時系列位置とに基づいて注目領域を分類する領域分類部１３とを備える。また、演算部１０は、領域分類部１３によって分類された注目領域が属する領域グループの特徴量（以下、グループ特徴量という）を算出するグループ特徴量算出部１４と、領域グループに属する注目領域を代表する１以上の代表領域を選出する領域選出部１５と、領域選出部１５が選出した代表領域を含む１以上の代表画像を出力する代表画像出力部１６とを備える。

注目領域検出部１１は、体内画像群に含まれる注目領域を検出する。具体的には、注目領域検出部１１は、総数Ｎ枚の体内画像群ＰＧを画像入力装置１から取得し、この取得した体内画像群ＰＧの各体内画像Ｐ（ｊ）に対して時系列順にフレーム番号ｊ（１≦ｊ≦Ｎ）を付与する。注目領域検出部１１は、各体内画像Ｐ（ｊ）の色情報等の特徴量をもとに、各体内画像Ｐ（ｊ）から病変領域等の注目領域Ａ（ｊ，ｔ）を検出する。注目領域検出部１１は、注目領域Ａ（ｊ、ｔ）の検出結果および体内画像群ＰＧを特徴量算出部１２に送信する。なお、ｔは、１フレームの体内画像Ｐ（ｊ）に含まれる１以上の注目領域Ａ（ｊ，ｔ）を識別するインデクス（識別子）である。

特徴量算出部１２は、注目領域検出部１１が各体内画像Ｐ（ｊ）から検出した注目領域Ａ（ｊ，ｔ）の特徴を示す特徴量を算出する算出処理部として機能する。具体的には、特徴量算出部１２は、各注目領域Ａ（ｊ，ｔ）に属する画素の画素値を所望の色空間の値に変換する画素値変換部１２ａと、画素値変換部１２ａによって変換された各注目領域Ａ（ｊ，ｔ）の画素値の平均値を算出する平均値算出部１２ｂとを備える。

画素値変換部１２ａは、体内画像群ＰＧの中から注目領域検出部１１が検出した注目領域毎に、注目領域Ａ（ｊ，ｔ）に属する画素の値、例えば赤緑青（ＲＧＢ）の色空間の値をＬ＊ａ＊ｂ＊空間の値に変換する。平均値算出部１２ｂは、画素値変換部１２ａが変換出力したＬ＊ａ＊ｂ＊空間の値の平均値を、注目領域Ａ（ｊ，ｔ）の特徴量、例えば色特徴量として算出する。このように算出された注目領域Ａ（ｊ，ｔ）の特徴量は、体内画像群ＰＧとともに領域分類部１３に送信される。

領域分類部１３は、特徴量算出部１２が算出した注目領域Ａ（ｊ，ｔ）の特徴量と、注目領域検出部１１が検出した注目領域Ａ（ｊ，ｔ）を含む体内画像Ｐ（ｊ）の時系列位置とに基づいて、注目領域Ａ（ｊ，ｔ）をいずれかの領域グループに分類する。具体的には、領域分類部１３は、各注目領域Ａ（ｊ，ｔ）の時系列的な隣接状況を判定する隣接状況判定部１３ａと、注目領域Ａ（ｊ、ｔ）同士の特徴量の類似性を示す類似度を判定する類似度判定部１３ｂとを備える。

隣接状況判定部１３ａは、体内画像群ＰＧの中から注目領域検出部１１が検出した複数の注目領域Ａ（ｊ，ｔ）が時系列的に隣接するか否かを判定する。なお、隣接状況判定部１３ａが判定した注目領域Ａ（ｊ，ｔ）の時系列的な隣接状況は、注目領域Ａ（ｊ，ｔ）の特徴量の座標軸および時系列の座標軸によって形成される特徴空間における注目領域Ａ（ｊ，ｔ）の時系列的な分布状態を示す。

類似度判定部１３ｂは、特徴量算出部１２が算出した複数の注目領域Ａ（ｊ，ｔ）同士の特徴量（例えば色特徴量）の類似性を示す類似度を判定する。なお、類似度判定部１３ｂが判定した注目領域Ａ（ｊ，ｔ）同士の類似度は、上述した特徴空間における注目領域Ａ（ｊ，ｔ）の特徴量の分布状態を示す。

ここで、領域分類部１３は、上述した注目領域Ａ（ｊ，ｔ）の時系列的な隣接状況判定結果をもとに、特徴空間における注目領域Ａ（ｊ，ｔ）の時系列的な分布状態を把握する。また、領域分類部１３は、上述した注目領域Ａ（ｊ，ｔ）同士の類似度判定結果をもとに、特徴空間における注目領域Ａ（ｊ，ｔ）の特徴量の分布状態を把握する。領域分類部１３は、把握した注目領域Ａ（ｊ，ｔ）の特徴量の分布状態と時系列的な分布状態とに基づいて、注目領域Ａ（ｊ，ｔ）をいずれかの領域グループに分類する。このようにして、領域分類部１３は、特徴空間における特徴量の分布が所定の閾値範囲内に収まり且つ時系列的に隣接または同一の状態になる注目領域Ａ（ｊ，ｔ）同士を同一の領域グループに分類する。領域分類部１３は、注目領域Ａ（ｊ，ｔ）のグループ分類結果および体内画像群ＰＧをグループ特徴量算出部１４に送信する。

グループ特徴量算出部１４は、領域分類部１３が分類した注目領域Ａ（ｊ，ｔ）の領域グループ毎の特徴を示すグループ特徴量を算出する。具体的には、グループ特徴量算出部１４は、領域分類部１３から体内画像群ＰＧを取得し、この取得した体内画像群ＰＧ内の注目領域Ａ（ｊ，ｔ）が属する領域グループ毎に、各領域グループに属する注目領域Ａ（ｊ，ｔ）の特徴空間における特徴量の分散を算出する。次いで、グループ特徴量算出部１４は、算出した領域グループ毎の特徴量の分散算出結果をもとに、各領域グループのグループ特徴量を算出する。

ここで、注目領域Ａ（ｊ，ｔ）の特徴空間における特徴量の分散は、平均値算出部１２ｂによって算出された注目領域Ａ（ｊ，ｔ）の色特徴量、すなわち注目領域Ａ（ｊ，ｔ）に属するＬ＊ａ＊ｂ＊空間の値の平均値に基づく分散である。グループ特徴量算出部１４は、上述した注目領域Ａ（ｊ，ｔ）の特徴量の分散を領域グループ毎に合計することによって、領域グループ毎のグループ特徴量を算出する。グループ特徴量算出部１４は、グループ特徴量の算出結果および体内画像群ＰＧを領域選出部１５に送信する。

領域選出部１５は、グループ特徴量算出部１４が算出したグループ特徴量をもとに、領域グループの中から注目領域Ａ（ｊ，ｔ）を代表する１以上の代表領域を選出する。具体的には、領域選出部１５は、領域グループ毎の代表領域の選出数を決定する選出数決定部１５ａと、領域グループに含まれる複数の注目領域Ａ（ｊ，ｔ）を選出数と同数の類似グループに細分類する細分類処理部１５ｂと、細分類後の類似グループ毎に重心を算出する重心算出部１５ｃと、類似グループ毎に重心に最近の注目領域を選出する最近領域選出部１５ｄとを備える。

選出数決定部１５ａは、関数部１５ｅを備える。関数部１５ｅは、代表領域の選出数とグループ特徴量との関係を示す関数を予め保持し、グループ特徴量が入力された場合、入力されたグループ特徴量と予め保持した関数とをもとに、領域グループ毎に要約率を算出する。ここで、関数部１５ｅが算出した要約率は、１つの領域グループに属する注目領域Ａ（ｊ，ｔ）の何％を選出するかを決定する値である。なお、関数部１５ｅが保持する関数は、予め関数部１５ｅに設定したものであってもよいし、入力部２０から入力された関数情報に基づいて制御部４０が関数部１５ｅに設定したものであってもよい。

具体的には、選出数決定部１５ａは、領域グループ毎に関数部１５ｅが算出した要約率と領域グループ内の注目領域Ａ（ｊ，ｔ）の総数とを乗算し、この乗算結果の小数点以下を四捨五入することによって、領域グループ毎の代表領域の選出数を決定する。

細分類処理部１５ｂは、体内画像群ＰＧにおける領域グループ毎に、領域グループ内の複数の注目領域Ａ（ｊ，ｔ）を一層特徴が類似した類似グループに細分類する。具体的には、細分類処理部１５ｂは、この体内画像群ＰＧにおける各領域グループに含まれる複数の注目領域Ａ（ｊ，ｔ）の特徴の類似度に基づいて、選出数決定部１５ａによる選出数と同数の類似グループに領域グループ毎の注目領域Ａ（ｊ，ｔ）を細分類する。

ここで、注目領域Ａ（ｊ，ｔ）の特徴の類似度として、例えば、上述した平均値算出部１２ｂが算出した各注目領域Ａ（ｊ，ｔ）の色特徴量の類似度が挙げられる。注目領域Ａ（ｊ，ｔ）の特徴の類似度が色特徴量の類似度である場合、細分類処理部１５ｂが細分類した各類似グループ内の注目領域Ａ（ｊ，ｔ）同士は、細分類処理前の領域グループ内の注目領域Ａ（ｊ，ｔ）同士に比して一層色特徴量が類似した注目領域同士になる。

重心算出部１５ｃは、細分類処理部１５ｂによって細分類された類似グループに含まれる複数の注目領域Ａ（ｊ，ｔ）の特徴量の重心を類似グループ毎に算出する。ここで、類似グループ内の注目領域Ａ（ｊ，ｔ）の特徴量の重心は、同一類似グループに含まれる複数の注目領域Ａ（ｊ，ｔ）の特徴量の平均値と時系列位置とに基づいた特徴空間内の座標点である。なお、注目領域Ａ（ｊ，ｔ）の特徴量の平均値として、例えば、平均値算出部１２ｂが算出した色特徴量の平均値が挙げられる。

最近領域選出部１５ｄは、上述した類似グループに含まれる複数の注目領域Ａ（ｊ，ｔ）の中から、重心算出部１５ｃが算出した特徴量の重心に最も近い注目領域を選出する。具体的には、最近領域選出部１５ｄは、類似グループ毎に、特徴空間内における特徴量の重心からのユークリッド距離が最小になる特徴量の注目領域Ａ（ｊ，ｔ）を選出する。すなわち、最近領域選出部１５ｄは、上述した特徴量の重心に最も近い特徴空間内座標点に対応する注目領域Ａ（ｊ，ｔ）を類似グループ毎に選出する。

上述したような構成を有する領域選出部１５は、細分類処理部１５ｂが細分類した類似グループ毎に最近領域選出部１５ｄが選出した注目領域Ａ（ｊ，ｔ）を代表領域とすることによって、体内画像群ＰＧ内の中から、選出数決定部１５ａが決定した選出数と同数の代表領域を領域グループ毎に選出する。領域選出部１５は、領域グループ毎の代表領域の選出結果および体内画像群ＰＧを代表画像出力部１６に送信する。なお、領域選出部１５は、選出数が１未満の値になった領域グループに対し、この選出数を「１」にすることによって、少なくとも１つの注目領域Ａ（ｊ，ｔ）をこの領域グループから選出する。

代表画像出力部１６は、体内画像群ＰＧのうちの代表領域を含む１以上の代表画像を出力する。具体的には、代表画像出力部１６は、上述した代表領域の選出処理が行われた体内画像群ＰＧを取得し、この取得した代表画像群ＰＧの中から、領域選出部１５によって選出された代表領域を含む体内画像を抽出する。代表画像出力部１６は、抽出した代表領域を含む体内画像を、出力対象（例えば表示対象）の代表画像として表示装置３に１フレーム以上出力する。

なお、代表画像出力部１６は、体内画像群ＰＧに複数の代表領域が含まれる場合、これら複数の代表領域の各々を含む複数の体内画像群である代表画像群を表示装置３に出力する。代表画像出力部１６によって出力された１フレーム以上の代表画像は、上述したように、観察対象の体内画像として表示装置３に表示される。

入力部２０は、例えばキーボードおよびマウスに例示される入力デバイス等を用いて実現される。入力部２０は、医師または看護師等の観察者（ユーザ）による入力操作に対応して画像処理装置２の制御部４０に各種情報を入力する。なお、入力部２０によって制御部４０に入力される各種情報として、例えば、画像処理装置２の動作開始または動作終了等を制御部４０に対して指示する指示情報、上述した関数部１５ｅに設定する関数情報、画像処理装置２による画像処理に必要な各種パラメータ等が挙げられる。

記憶部３０は、ＲＡＭ、ＥＥＰＲＯＭ、フラッシュメモリ、またはハードディスク等の書き換え可能に情報を保存する各種記憶メディアを用いて実現される。記憶部３０は、制御部４０が記憶指示した各種情報を記憶し、記憶した各種情報の中から制御部４０が読み出し指示した情報を制御部４０に送信する。なお、記憶部３０が記憶する各種情報として、例えば、入力部２０によって入力された入力情報、画像入力装置１によって入力された体内画像群ＰＧ、画像処理装置２の各構成部の処理結果等が挙げられる。

制御部４０は、画像処理装置２の構成部である演算部１０、入力部２０および記憶部３０の各動作を制御し、且つ、これら各構成部間における信号の入出力を制御する。特に演算部１０の制御において、制御部４０は、この演算部１０の構成部である注目領域検出部１１、特徴量算出部１２、領域分類部１３、グループ特徴量算出部１４、領域選出部１５および代表画像出力部１６の各動作を制御し、且つ、これら各構成部間における信号の入出力を制御する。

具体的には、制御部４０は、処理プログラムを記憶する記憶部とこの記憶部内の処理プログラムを実行するコンピュータとを用いて実現される。制御部４０は、入力部２０によって入力された指示情報に基づいて、記憶部３０の動作を制御し、あるいは、演算部１０の各構成部の処理および動作タイミング等を制御する。また、制御部４０は、画像入力装置１によって入力された体内画像群ＰＧを処理してこの体内画像群ＰＧのうちの１フレーム以上の代表画像を表示装置３に出力するように演算部１０を制御し、且つ、体内画像群ＰＧを記憶するように記憶部３０を制御する。制御部４０は、入力部２０によって入力された指示情報等に基づいて、記憶部３０内の体内画像群ＰＧの各体内画像Ｐ（ｊ）を適宜読み出し、読み出した体内画像Ｐ（ｊ）を演算部１０に送信する。

つぎに、本発明の実施の形態１にかかる画像処理装置２の動作について説明する。図２は、本発明の実施の形態１にかかる画像処理装置の処理手順を例示するフローチャートである。この実施の形態１にかかる画像処理装置２は、図２に示される処理手順を実行して、画像入力装置１から取得した被検体の体内画像群ＰＧに含まれる１フレーム以上の代表画像（以下、代表体内画像という）を表示装置３に出力する。

すなわち、図２に示すように、画像処理装置２は、まず、画像入力装置１から被検体の体内画像群ＰＧを取得する（ステップＳ１０１）。このステップＳ１０１において、制御部４０は、画像入力装置１によって入力された体内画像群ＰＧの取得処理を実行するように演算部１０の注目領域検出部１１を制御する。注目領域検出部１１は、制御部４０の制御に基づいて、画像入力装置１から被検体の体内画像群ＰＧを取得し、この取得した体内画像群ＰＧ（総数Ｎ枚）の各体内画像Ｐ（ｊ）に対して時系列順にフレーム番号ｊ（１≦ｊ≦Ｎ）を付与する。なお、体内画像群ＰＧに含まれる各体内画像Ｐ（ｊ）は、各画素においてＲ（赤）Ｇ（緑）Ｂ（青）の各々に対応した画素値を有するカラー画像である。

つぎに、画像処理装置２は、体内画像群ＰＧに含まれる注目領域Ａ（ｊ，ｔ）を検出する（ステップＳ１０２）。このステップＳ１０２において、制御部４０は、上述したステップＳ１０１の処理手順によって取得した体内画像群ＰＧ内の注目領域Ａ（ｊ，ｔ）の検出処理を実行するように注目領域検出部１１を制御する。注目領域検出部１１は、制御部４０の制御に基づいて、体内画像群ＰＧ内の各体内画像Ｐ（ｊ）の色情報等をもとに病変領域等の注目領域Ａ（ｊ，ｔ）を検出する。

具体的には、注目領域検出部１１は、まず、体内画像群ＰＧ内の各体内画像Ｐ（ｊ）を各々所定数の画素領域に領域分割して各画素領域の色等の特徴量を算出する。次いで、注目領域検出部１１は、色等の特徴量を座標軸とする特徴空間における各画素領域のデータ点をクラスタリングする。その後、注目領域検出部１１は、特徴空間における各データ点のクラスタの重心位置等の情報をもとに、体内画像Ｐ（ｊ）内の注目領域の各画素のデータ点によって構成されたクラスタを識別し、識別したクラスタに対応する画素領域を体内画像Ｐ（ｊ）内の注目領域Ａ（ｊ，ｔ）としている。

ここで、クラスタリングとは、特徴空間におけるデータ分布を、特徴量の類似性に基づいてクラスタと呼ばれる集合に分類する処理である。なお、注目領域検出部１１は、例えばｋ−ｍｅａｎｓ法（ＣＧ−ＡＲＴＳ協会「ディジタル画像処理」ｐ．２３１参照）等の公知のクラスタリングを行って、体内画像群ＰＧ内に含まれる病変領域等の注目領域Ａ（ｊ，ｔ）を検出する。

なお、本実施の形態１において、注目領域検出部１１は、特徴空間における特徴量の分布状態に基づいて病変領域等の注目領域Ａ（ｊ，ｔ）を検出しているが、注目領域検出部１１による注目領域Ａ（ｊ，ｔ）の検出手法は、検出対象の注目領域Ａ（ｊ，ｔ）によって異なる。このため、注目領域検出部１１は、体内画像群ＰＧの中から注目領域Ａ（ｊ，ｔ）を検出できる手法であれば、上述したクラスタリング以外の手法を用いて体内画像群ＰＧ内の注目領域Ａ（ｊ，ｔ）を検出してもよい。

その後、画像処理装置２は、体内画像群ＰＧに含まれる各注目領域Ａ（ｊ，ｔ）の特徴量を算出する（ステップＳ１０３）。このステップＳ１０３において、制御部４０は、上述したステップＳ１０２の処理手順によって検出された各注目領域Ａ（ｊ，ｔ）の特徴量の算出処理を実行するように特徴量算出部１２を制御する。特徴量算出部１２は、制御部４０の制御に基づいて、体内画像群ＰＧ内の各注目領域Ａ（ｊ，ｔ）の特徴量の一例である色特徴量を算出する。

具体的には、画素値変換部１２ａは、体内画像群ＰＧの中から注目領域検出部１１が検出した注目領域Ａ（ｊ，ｔ）毎に、注目領域Ａ（ｊ，ｔ）に属するＲＧＢ色空間の値をＬ＊ａ＊ｂ＊空間の値、すなわち明度指数Ｌおよび知覚色度ａ，ｂの各値に変換する。次いで、平均値算出部１２ｂは、画素値変換部１２ａが注目領域Ａ（ｊ，ｔ）毎に変換出力した明度指数Ｌおよび知覚色度ａ，ｂの各値の平均値、すなわち平均明度指数Ｌ（ｊ，ｔ）および平均知覚色度ａ（ｊ，ｔ），ｂ（ｊ，ｔ）を各注目領域Ａ（ｊ，ｔ）の色特徴量として算出する。

特徴量算出部１２は、上述したようにして、明度指数Ｌおよび知覚色度ａ，ｂ等の３つの色特徴量と時系列とを座標軸とする４軸の特徴空間（以下、Ｌａｂ−時系列特徴空間という）における注目領域Ａ（ｊ，ｔ）の色特徴量を算出する。ここで、特徴量算出部１２が算出した注目領域Ａ（ｊ，ｔ）の色特徴量は、Ｌａｂ−時系列特徴空間の色特徴量軸の座標成分である。

なお、上述した平均明度指数Ｌ（ｊ，ｔ）および平均知覚色度ａ（ｊ，ｔ），ｂ（ｊ，ｔ）におけるｊは、上述したように、体内画像群ＰＧ内の各体内画像Ｐ（ｊ）に付与されたフレーム番号ｊである。一方、ｔは、体内画像群ＰＧ内の１フレームの体内画像Ｐ（ｊ）に含まれる１以上の注目領域Ａ（ｊ，ｔ）を識別するインデクスである。

つぎに、画像処理装置２は、体内画像群ＰＧ内の各注目領域Ａ（ｊ，ｔ）を分類する（ステップＳ１０４）。このステップＳ１０４において、制御部４０は、上述したステップＳ１０２の処理手順によって検出された各注目領域Ａ（ｊ，ｔ）の分類処理を実行するように領域分類部１３を制御する。領域分類部１３は、制御部４０の制御に基づいて、上述したステップＳ１０３の処理手順によって算出された各注目領域Ａ（ｊ，ｔ）の色特徴量と、注目領域Ａ（ｊ，ｔ）を含む各体内画像Ｐ（ｊ）の時系列位置とをもとに、体内画像群ＰＧ内の各注目領域Ａ（ｊ，ｔ）をいずれかの領域グループに分類する。

具体的には、隣接状況判定部１３ａは、体内画像群ＰＧに含まれる注目領域Ａ（ｊ，ｔ）の時系列的な隣接状況を判定する。すなわち、隣接状況判定部１３ａは、Ｌａｂ−時系列特徴空間内の各特徴点に対応する注目領域Ａ（ｊ，ｔ）毎に、各特徴点が時系列的に隣接するか否かを判定する。一方、類似度判定部１３ｂは、ステップＳ１０３において平均値算出部１２ｂが算出した複数の注目領域Ａ（ｊ，ｔ）同士の色特徴量の類似度を判定する。すなわち、類似度判定部１３ｂは、Ｌａｂ−時系列特徴空間における各特徴点同士の平均明度指数Ｌ（ｊ，ｔ）および平均知覚色度ａ（ｊ，ｔ），ｂ（ｊ，ｔ）の類似度を判定する。

領域分類部１３は、上述したように隣接状況判定部１３ａが判定した注目領域Ａ（ｊ，ｔ）の時系列的な隣接状況と類似度判定部１３ｂが判定した注目領域Ａ（ｊ，ｔ）同士の色特徴量の類似度とをもとに、体内画像群ＰＧ内の注目領域Ａ（ｊ，ｔ）を１以上の領域グループに分類する。これによって、領域分類部１３は、Ｌａｂ−時系列特徴空間内に分布する特徴点を１以上の特徴点クラスタに分類する。

なお、Ｌａｂ−時系列特徴空間内の特徴点は、注目領域Ａ（ｊ，ｔ）の色特徴量および時系列位置とによって決定される座標点である。一方、特徴点クラスタは、Ｌａｂ−時系列特徴空間内に分布する特徴点のグループであり、１以上の特徴点を含む。ステップＳ１０４において、領域分類部１３は、Ｌａｂ−時系列特徴空間における複数の特徴点を含むグループを特徴点クラスタと看做すことは勿論、Ｌａｂ−時系列特徴空間における単一の特徴点も１つの特徴点が属する特徴点クラスタと看做す。

続いて、画像処理装置２は、この体内画像群ＰＧ内の各注目領域グループのグループ特徴量を算出する（ステップＳ１０５）。このステップＳ１０５において、制御部４０は、上述したステップＳ１０４の処理手順によって分類された注目領域Ａ（ｊ，ｔ）の領域グループ毎にグループ特徴量の算出処理を実行するようにグループ特徴量算出部１４を制御する。

具体的には、グループ特徴量算出部１４は、制御部４０の制御に基づいて、注目領域Ａ（ｊ，ｔ）の領域グループ毎に、領域グループの特徴を示すグループ特徴量を算出する。すなわち、グループ特徴量算出部１４は、まず、体内画像群ＰＧ内に含まれる注目領域Ａ（ｊ，ｔ）毎に、注目領域Ａ（ｊ，ｔ）の色特徴量の分散を算出する。次いで、グループ特徴量算出部１４は、領域グループに属する各注目領域Ａ（ｊ，ｔ）の色特徴量を領域グループ毎に合計し、これによって、体内画像群ＰＧ内の各領域グループのグループ特徴量を算出する。

より具体的には、グループ特徴量算出部１４は、Ｌａｂ−時系列特徴空間内の各特徴点の平均明度指数Ｌ（ｊ，ｔ）および平均知覚色度ａ（ｊ，ｔ），ｂ（ｊ，ｔ）の分散を算出し、算出した平均明度指数Ｌ（ｊ，ｔ）および平均知覚色度ａ（ｊ，ｔ），ｂ（ｊ，ｔ）の分散を特徴点クラスタ毎に合計する。これによって、グループ特徴量算出部１４は、体内画像群ＰＧ内の特徴点クラスタ毎のグループ特徴量、すなわち各領域グループのグループ特徴量を算出する。

つぎに、画像処理装置２は、体内画像群ＰＧ内の各注目領域グループの代表領域を選出する（ステップＳ１０６）。このステップＳ１０６において、制御部４０は、上述したステップＳ１０４の処理手順によって分類された注目領域Ａ（ｊ，ｔ）の領域グループ毎に代表領域の選出処理を実行するように領域選出部１５を制御する。

具体的には、領域選出部１５は、制御部４０の制御に基づいて、上述したグループ特徴量算出部１４が算出した各領域グループのグループ特徴量をもとに、領域グループに属する注目領域Ａ（ｊ，ｔ）の中から１以上の代表領域を領域グループ毎に選出する。

その後、画像処理装置２は、体内画像群ＰＧのうちの代表領域を含む代表体内画像を表示装置３に１フレーム以上出力し（ステップＳ１０７）、本処理を終了する。このステップＳ１０７において、制御部４０は、上述したステップＳ１０６の処理手順によって選出された代表領域を含む代表体内画像の出力処理を実行するように代表画像出力部１６を制御する。

具体的には、代表画像出力部１６は、制御部４０の制御に基づいて、体内画像群ＰＧの中から、上述したステップＳ１０６において領域選出部１５が選出した代表領域を含む代表体内画像を１フレーム以上抽出し、抽出した１フレーム以上の代表体内画像を表示装置３に出力する。すなわち、代表画像出力部１６は、体内画像群ＰＧ内に含まれる代表体内画像が１フレームのみである場合、この１フレームの代表体内画像を表示装置３に出力し、体内画像群ＰＧ内に代表体内画像が複数フレーム含まれる場合、これら複数フレームの代表体内画像を表示装置３に出力する。なお、代表画像出力部１６が表示装置３に出力する代表体内画像は、単一の注目領域Ａ（ｊ，１）を含むものであってもよいし、複数の注目領域Ａ（ｊ，ｔ）（ｔ≧２）を含むものであってもよい。

つぎに、上述したステップＳ１０４における各注目領域の分類処理について詳細に説明する。図３は、体内画像群に含まれる各注目領域の分類処理の処理手順を例示するフローチャートである。図４は、体内画像群内に含まれる注目領域の特徴点の特徴空間における分布状態の一具体例を示す模式図である。図５は、特徴空間内の各特徴点を特徴点クラスタに分類した状態を示す模式図である。図６は、時系列的に隣接または同一の特徴点が属する複数の特徴点クラスタを同一クラスタに統合する状態を示す模式図である。

なお、図４〜６に示す特徴空間は、Ｌａｂ−時系列特徴空間である。図４〜６では、本発明の説明を簡単にするために、注目領域Ａ（ｊ，ｔ）が有する平均明度指数Ｌ（ｊ，ｔ）および平均知覚色度ａ（ｊ，ｔ），ｂ（ｊ，ｔ）を色特徴量として一軸に纏めて表している。

画像処理装置２の領域分類部１３は、上述したように、制御部４０の制御に基づいてステップＳ１０４における各注目領域Ａ（ｊ，ｔ）の分類処理を実行する。具体的には、図３に示すように、領域分類部１３は、まず、体内画像群ＰＧに含まれる各注目領域Ａ（ｊ，ｔ）の特徴点の初期設定処理を行う（ステップＳ２０１）。

このステップＳ２０１において、領域分類部１３は、上述した特徴量算出部１２が算出した各注目領域Ａ（ｊ，ｔ）の色特徴量と、注目領域Ａ（ｊ，ｔ）を含む各体内画像Ｐ（ｊ）の時系列位置とに基づいて、体内画像群ＰＧ内の各注目領域Ａ（ｊ，ｔ）の特徴に対応する各特徴点をＬａｂ−時系列特徴空間内に作成（プロット）する。

具体的には、領域分類部１３は、体内画像群ＰＧ内の体内画像Ｐ（ｊ）に総数Ｔｍの注目領域Ａ（ｊ，ｔ）が含まれる場合、注目領域Ａ（ｊ，ｔ）の時系列情報と色特徴量とに基づいて、注目領域Ａ（ｊ，ｔ）の特徴点Ｃ（ｍ）をＬａｂ−時系列特徴空間にプロットする。なお、特徴点Ｃ（ｍ）におけるｍは、Ｌａｂ−時系列特徴空間内にプロットされる特徴点を識別するインデクスである。すなわち、総数Ｔｍの注目領域Ａ（ｊ，ｔ）において、インデクスｍは１以上、Ｔｍ以下である。一方、注目領域Ａ（ｊ，ｔ）の時系列情報は、体内画像群ＰＧにおける体内画像Ｐ（ｊ）の時系列位置を示す情報であり、体内画像Ｐ（ｊ）のフレーム番号ｊに対応する。また、注目領域Ａ（ｊ，ｔ）の色特徴量は、平均値算出部１２ｂが算出した平均明度指数Ｌ（ｊ，ｔ）および平均知覚色度ａ（ｊ，ｔ），ｂ（ｊ，ｔ）である。

ここで、領域分類部１３は、まず、インデクスｍを「１」に設定し、特徴点Ｃ（１）の色特徴量と時系列情報とをもとに特徴点Ｃ（１）の座標を設定して、Ｌａｂ−時系列特徴空間に特徴点Ｃ（１）を作成する。それ以降、残りの特徴点Ｃ（２）〜Ｃ（Ｔｍ）についても特徴点Ｃ（１）の場合と同様に色特徴量と時系列情報とをもとに座標を順次設定して、Ｌａｂ−時系列特徴空間に特徴点Ｃ（２）〜Ｃ（Ｔｍ）を作成する。この時点において、領域分類部１３は、Ｌａｂ−時系列特徴空間に分布している各特徴点Ｃ（１）〜Ｃ（Ｔｍ）を各々１つの特徴点クラスタと看做すことによって、検出された注目領域Ａ（ｊ，ｔ）と同数の特徴点クラスタ群を作成する。

つぎに、領域分類部１３は、作成した特徴点クラスタ群の総数をＴｋと設定し、この特徴点クラスタ群内の各特徴点クラスタＣＧ（ｋ）を識別するインデクスｋ（１≦ｋ≦Ｔｋ）を「１」に設定する。次いで、領域分類部１３は、特徴点クラスタＣＧ（ｋ）を構成する注目領域Ａ（ｊ，ｔ）の色特徴量、すなわち平均明度指数Ｌ（ｊ，ｔ）および平均知覚色度ａ（ｊ，ｔ），ｂ（ｊ，ｔ）を特徴点クラスタＣＧ（ｋ）の平均明度指数Ｌ（ｋ）および平均知覚色度ａ（ｋ），ｂ（ｋ）に代入する（色特徴量の代入処理）。

ここで、平均明度指数Ｌ（ｋ）および平均知覚色度ａ（ｋ），ｂ（ｋ）は、特徴点クラスタＣＧ（ｋ）に属する全ての注目領域Ａ（ｊ，ｔ）の色特徴量の平均値である。しかし、この段階において、各特徴点クラスタＣＧ（ｋ）には１つの注目領域Ａ（ｊ，ｔ）、すなわち１つの特徴点Ｃ（ｍ）のみ含まれる。このため、各特徴点クラスタＣＧ（ｋ）に属する注目領域Ａ（ｊ，ｔ）の明度指数Ｌ（ｊ，ｔ）および知覚色度ａ（ｊ，ｔ），ｂ（ｊ，ｔ）を平均明度指数Ｌ（ｋ）および平均知覚色度ａ（ｋ），ｂ（ｋ）に代入している。

その後、領域分類部１３は、インデクスｋをインクリメント処理し、インデクスｋが総数Ｔｋ以下であるか否かを判定する。領域分類部１３は、インデクスｋが総数Ｔｋ以下であると判定した場合、上述した色特徴量の代入処理以降の処理手順を繰り返し行い、インデクスｋが総数Ｔｋ以下ではないと判定した場合、ステップＳ２０１の処理手順を終了する。

以下、図４を参照して、ステップＳ２０１の処理手順をより具体的に説明する。図４に示すように、体内画像群ＰＧのうちの体内画像Ｐ（１），Ｐ（２），Ｐ（３），Ｐ（４），Ｐ（６），Ｐ（７）に注目領域Ａ（１，１），Ａ（２，１），Ａ（３，１），Ａ（４，１），Ａ（６，１），Ａ（７，１）が各々含まれる場合、領域分類部１３は、Ｌａｂ−時系列特徴空間に、まず、体内画像Ｐ（１）内の注目領域Ａ（１，１）の時系列情報と色特徴量とに基づく座標を有する特徴点Ｃ（１）を作成する。次いで、領域分類部１３は、Ｌａｂ−時系列特徴空間に、体内画像Ｐ（２）内の注目領域Ａ（２，１）の時系列情報と色特徴量とに基づく座標を有する特徴点Ｃ（２）から、体内画像Ｐ（７）内の注目領域Ａ（７，１）の時系列情報と色特徴量とに基づく座標を有する特徴点Ｃ（６）までを順次作成する。この結果、図４に示すＬａｂ−時系列特徴空間には、注目領域の総数Ｔｍ（＝６）と同数である６つの特徴点Ｃ（１）〜Ｃ（６）がプロットされる。

つぎに、領域分類部１３は、これら６つの特徴点Ｃ（１）〜Ｃ（６）の各々を特徴点クラスタとして看做し、各特徴点Ｃ（１）〜Ｃ（６）の各色特徴量を各特徴点クラスタの色特徴量、すなわち平均明度指数Ｌ（ｋ）および平均知覚色度ａ（ｋ），ｂ（ｋ）に代入する。

なお、体内画像群ＰＧ内の体内画像Ｐ（５）は、注目領域を含んでいないため、Ｌａｂ−時系列特徴空間には、体内画像Ｐ（５）に対応する特徴点はプロットされない。このことは、残りの体内画像Ｐ（８）〜Ｐ（Ｎ）についても同様である。

一方、上述したステップＳ２０１を実行後、領域分類部１３は、Ｌａｂ−時系列特徴空間内の特徴点クラスタの総数が１以下であるか否かを判定する（ステップＳ２０２）。このステップＳ２０２において、領域分類部１３は、Ｌａｂ−時系列特徴空間内に存在する特徴点クラスタの数を集計し、この集計した特徴点クラスタの総数が１以下であるか否かを判定する。

このステップＳ２０２における判定処理の結果、領域分類部１３は、特徴点クラスタの総数が１以下である場合（ステップＳ２０２，Ｙｅｓ）、本処理を終了して図２に示したステップＳ１０４の処理手順にリターンする。一方、ステップＳ２０２の判定処理の結果、特徴点クラスタの総数が１以下ではない場合（ステップＳ２０２，Ｎｏ）、領域分類部１３は、Ｌａｂ−時系列特徴空間内に存在する複数の特徴点クラスタにおいて最小色差になる特徴点クラスタの組み合わせを選出する（ステップＳ２０３）。

ステップＳ２０３において、領域分類部１３は、上述したステップＳ２０１の処理手順のようにＬａｂ−時系列特徴空間内に設定された複数の特徴点クラスタＣＧ（ｋ）の中から異なるインデクスｋ１，ｋ２（１≦ｋ１＜ｋ２≦Ｔｋ）の特徴点クラスタＣＧ（ｋ１），ＣＧ（ｋ２）を順次抽出し、抽出した２つの特徴点クラスタＣＧ（ｋ１），ＣＧ（ｋ２）の色特徴量の差である色差△Ｅを次式（１）に基づいて順次算出する。

ここで、この式（１）において、平均明度指数Ｌ（ｋ１）および平均知覚色度ａ（ｋ１），ｂ（ｋ１）は、特徴点クラスタＣＧ（ｋ１）の色特徴量であり、平均明度指数Ｌ（ｋ２）および平均知覚色度ａ（ｋ２），ｂ（ｋ２）は、特徴点クラスタＣＧ（ｋ２）の色特徴量である。

具体的には、領域分類部１３は、まず、インデクスｋ１の初期値を「１」に設定し且つインデクスｋ２の初期値を「２」に設定し、式（１）に基づいて、特徴点クラスタＣＧ（ｋ１），ＣＧ（ｋ２）の色差△Ｅを算出する。つぎに、領域分類部１３は、インデクスｋ２が特徴点クラスタの総数Ｔｋ未満であるか否かを判定し、総数Ｔｋ未満である場合、上述した色差△Ｅの算出処理およびインデクスｋ２のインクリメント処理を順次繰り返す。

その後、領域分類部１３は、インデクスｋ２が特徴点クラスタの総数Ｔｋ以上である場合、インデクスｋ１が特徴点クラスタの総数Ｔｋから「１」減算した減算値（Ｔｋ−１）未満であるか否かを判定する。領域分類部１３は、インデクスｋ１が減算値（Ｔｋ−１）未満である場合、インデクスｋ１をインクリメント処理し、インデクスｋ２をインデクスｋ１に「１」加算した値（ｋ１＋１）に設定して、上述した色差△Ｅの算出処理を繰り返す。

一方、領域分類部１３は、インデクスｋ１が減算値（Ｔｋ−１）以上である場合、このステップＳ２０３において算出した全ての色差△Ｅをソート処理する。領域分類部１３は、このソート処理結果に基づいて、これら全ての色差△Ｅのうちの最小色差△Ｅｍｉｎを有する特徴点クラスタＣＧ（ｋ１），ＣＧ（ｋ２）の組み合わせを選出する。

なお、色差△Ｅは、注目領域Ａ（ｊ，ｔ）同士の色特徴量の類似度に相当するものであり、注目領域Ａ（ｊ，ｔ）同士の色特徴量の類似度の増加に伴って減少し、注目領域Ａ（ｊ，ｔ）同士の色特徴量の類似度の減少に伴って増加する。

以下、図４を参照して、ステップＳ２０２の処理手順をより具体的に説明する。図４に示すように１つの特徴点クラスタに１つの特徴点のみが属する初期状態の場合、領域分類部１３は、まず、特徴点クラスタＣＧ（ｋ１）のインデクスｋ１を特徴点Ｃ（１）のインデクス（＝１）に設定し、特徴点クラスタＣＧ（ｋ２）のインデックスｋ２を特徴点Ｃ（２）のインデクス（＝２）に設定する。

つぎに、領域分類部１３は、特徴点クラスタＣＧ（ｋ１）に属する特徴点Ｃ（１）と特徴点クラスタＣＧ（ｋ２）に属する特徴点Ｃ（２）との色差△Ｅを算出する。続いて、領域分類部１３は、インデクスｋ２が特徴点クラスタの総数Ｔｋ以下であるか否かを判定し、総数Ｔｋ以下である場合、インデクスｋ２をインクリメント処理して、特徴点Ｃ（１）と特徴点クラスタＣＧ（ｋ２）に属する特徴点Ｃ（３）との色差△Ｅを算出する。その後、領域分類部１３は、このインデクスｋ２が総数Ｔｋに到達するまでインデクスｋ２のインクリメント処理および色差△Ｅの算出処理を順次繰り返す。

一方、領域分類部１３は、インデクスｋ２が総数Ｔｋを超過した場合、インデクスｋ１をインクリメント処理し、且つインデクスｋ２をｋ１＋１の値に置き換える。そして、領域分類部１３は、このインクリメント処理後の特徴点クラスタＣＧ（ｋ１）に属する特徴点Ｃ（２）と特徴点クラスタＣＧ（ｋ２）に属する特徴点Ｃ（３）との色差△Ｅを算出する。その後、領域分類部１３は、インデクスｋ１が総数Ｔｋから「１」減算した値に到達するまでインデクスｋ１，ｋ２のインクリメント処理および色差△Ｅの算出処理を順次繰り返す。

その後、領域分類部１３は、Ｌａｂ−時系列特徴空間内から抽出可能な２つの特徴点クラスタＣＧ（ｋ１），ＣＧ（ｋ２）の全組み合わせについて、上述したような処理を実行して、２つの特徴点クラスタＣＧ（ｋ１），ＣＧ（ｋ２）の全組み合わせの各色差△Ｅを算出する。

以上のようにして、領域分類部１３は、図４に示すＬａｂ−時系列特徴空間内の６つの特徴点クラスタである特徴点Ｃ（１）〜Ｃ（６）について、特徴点Ｃ（１），Ｃ（２）の色差△Ｅ１、特徴点Ｃ（１），Ｃ（３）の色差△Ｅ２、特徴点Ｃ（１），Ｃ（４）の色差△Ｅ３、特徴点Ｃ（１），Ｃ（５）の色差△Ｅ４、特徴点Ｃ（１），Ｃ（６）の色差△Ｅ５を順次算出する。次いで、領域分類部１３は、特徴点Ｃ（２），Ｃ（３）の色差△Ｅ６、特徴点Ｃ（２），Ｃ（４）の色差△Ｅ７、特徴点Ｃ（２），Ｃ（５）の色差△Ｅ８、特徴点Ｃ（２），Ｃ（６）の色差△Ｅ９を順次算出する。また、領域分類部１３は、特徴点Ｃ（３），Ｃ（４）の色差△Ｅ１０、特徴点Ｃ（３），Ｃ（５）の色差△Ｅ１１、特徴点Ｃ（３），Ｃ（６）の色差△Ｅ１２を順次算出する。さらに、領域分類部１３は、特徴点Ｃ（４），Ｃ（５）の色差△Ｅ１３、特徴点Ｃ（４），Ｃ（６）の色差△Ｅ１４を順次算出し、その後、特徴点Ｃ（５），Ｃ（６）の色差△Ｅ１５を算出する。

上述したように特徴点クラスタＣＧ（ｋ１），ＣＧ（ｋ２）の全組み合わせの色差△Ｅを算出完了後、領域分類部１３は、算出した全ての色差△Ｅ同士を比較処理し、これら全ての色差△Ｅをソート処理する。次いで、領域分類部１３は、このソート処理結果に基づいて、これら全ての色差△Ｅの中から最小色差△Ｅｍｉｎを求める。そして、領域分類部１３は、Ｌａｂ−時系列特徴空間内の全ての特徴点クラスタの組み合わせの中から、この最小色差△Ｅｍｉｎに対応する特徴点クラスタＣＧ（ｋ１），ＣＧ（ｋ２）の組み合わせを選出する。

具体的には、図４に示すように特徴点Ｃ（１），Ｃ（４）の色差△Ｅ３が最小値である場合、領域分類部１３は、算出した全ての色差△Ｅ１〜△Ｅ１５の中から色差△Ｅ３を最小色差△Ｅｍｉｎに決定し、特徴点クラスタとしての特徴点Ｃ（１）〜Ｃ（６）の全組み合わせの中から、この色差△Ｅ３に対応する特徴点クラスタの組み合わせ、すなわち特徴点Ｃ（１），Ｃ（４）を選出する。

一方、上述したステップＳ２０３を実行後、領域分類部１３は、選出した特徴点クラスタＣＧ（ｋ１），ＣＧ（ｋ２）の組み合わせの色差△Ｅが所定の閾値以下であるか否かを判定する（ステップＳ２０４）。

ステップＳ２０４において、領域分類部１３は、上述したステップＳ２０３の直後であれば、Ｌａｂ−時系列特徴空間における色特徴量に関する閾値と１つの特徴点のみが属する特徴点クラスタの組み合わせの最小色差△Ｅｍｉｎとを比較処理し、後述するステップＳ２０９の直後であれば、ステップＳ２０９の処理手順で選出した特徴点クラスタの組み合わせの最小色差△Ｅｍｉｎとこの閾値とを比較処理する。領域分類部１３は、この最小色差△Ｅｍｉｎが閾値以下ではない場合（ステップＳ２０４，Ｎｏ）、本処理を終了して図２に示したステップＳ１０４の処理手順にリターンする。

なお、上述した色差△Ｅｍｉｎの閾値は、色差△Ｅの単位系、例えば、人間の感じる色差と対応する値の範囲が定められるＮＢＳ（Ｎａｔｉｏｎａｌ Ｂｕｒｅａｕ ｏｆ Ｓｔａｎｄａｒｄｓ）単位系に基づいて設定され、具体的には、人間が見て目立つ色差を感じられる程度の値（＝３．０）に設定されることが望ましい。この閾値は、予め領域分類部１３に保持させた値であってもよいし、入力部２０からの入力情報に基づいて制御部４０によって更新可能に設定された値であってもよい。

一方、領域分類部１３は、ステップＳ２０４において特徴点クラスタの組み合わせの色差すなわち最小色差△Ｅｍｉｎが閾値以下である場合（ステップＳ２０４，Ｙｅｓ）、この特徴点クラスタの組み合わせの中から、Ｌａｂ−時系列特徴空間において互いに異なる特徴点クラスタに属して時系列的に最も近くなる特徴点の組み合わせを選出する（ステップＳ２０５）。

ステップＳ２０５において、領域分類部１３は、まず、ステップＳ２０４の処理手順によって閾値以下と判定した最小色差△Ｅｍｉｎの特徴点クラスタの組み合わせの中から、一方の特徴点クラスタに属する特徴点Ｃ（ｔ１）と他方の特徴点クラスタに属する特徴点Ｃ（ｔ２）とを設定する。

ここで、ｔ１は、一方の特徴点クラスタに属する特徴点を識別するインデクスであるとともに、この一方の特徴点クラスタに対応する領域グループ内の注目領域を識別するインデクスでもある。同様に、ｔ２は、他方の特徴点クラスタに属する特徴点を識別するインデクスであるとともに、この他方の特徴点クラスタに対応する領域グループ内の注目領域を識別するインデクスでもある。

領域分類部１３は、一方の特徴点クラスタに属する特徴点のインデクスｔ１の数値範囲（１≦ｔ１≦Ｑ１）と、他方の特徴点クラスタに属する特徴点のインデクスｔ２の数値範囲（１≦ｔ２≦Ｑ２）とを設定する。なお、Ｑ１は、インデクスｔ１の最大値であり、この一方の特徴点クラスタに対応する注目領域の総数を示す。一方、Ｑ２は、インデクスｔ２の最大値であり、この他方の特徴点クラスタに対応する注目領域の総数を示す。

ここで、領域分類部１３は、Ｌａｂ−時系列特徴空間における複数の特徴点を含むグループを特徴点クラスタと看做すことは勿論、Ｌａｂ−時系列特徴空間における単一の特徴点も１つの特徴点が属する特徴点クラスタと看做す。

なお、上述した特徴点に対応する注目領域は、図２に示したステップＳ１０２において注目領域検出部１１が検出した病変領域等の注目領域Ａ（ｊ，ｔ）であり、図４においては、注目領域Ａ（１，１），Ａ（２，１），Ａ（３，１），Ａ（４，１），Ａ（６，１），Ａ（７，１）が該当する。

続いて、領域分類部１３は、インデクスｔ１によって識別される注目領域とインデクスｔ２によって識別される注目領域との時系列方向の距離Ｄを算出する。具体的には、領域分類部１３は、まず、インデクスｔ１，ｔ２を共に「１」と設定し、インデクスｔ１＝１の注目領域に対応する一方の特徴点クラスタ内の特徴点Ｃ（ｔ１）とインデクスｔ２＝１の注目領域に対応する他方の特徴点クラスタ内の特徴点Ｃ（ｔ２）との時系列方向のユークリッド距離を距離Ｄとして算出する。

つぎに、領域分類部１３は、インデクスｔ１が総数Ｑ１未満であるか否かを判定し、総数Ｑ１未満である場合、インデクスｔ１をインクリメント処理して、インクリメント処理後のインデクスｔ１によって識別される注目領域とインデクスｔ２によって識別される注目領域との時系列方向の距離Ｄを算出する。その後、領域分類部１３は、インデクスｔ１が総数Ｑ１に到達するまでインデクスｔ１のインクリメント処理および距離Ｄの算出処理を順次繰り返す。

一方、領域分類部１３は、インデクスｔ１が総数Ｑ１以上である場合、他方の特徴点クラスタに属する特徴点のインデクスｔ２が総数Ｑ２未満であるか否かを判定する。領域分類部１３は、インデクスｔ２が総数Ｑ２未満である場合、インデクスｔ１を初期値（＝１）に設定するとともに、このインデクスｔ２をインクリメント処理して、インクリメント処理後のインデクスｔ２によって識別される注目領域とインデクスｔ１によって識別される注目領域との時系列方向の距離Ｄを算出する。その後、領域分類部１３は、このインデクスｔ２が総数Ｑ２に到達するまでインデクスｔ２のインクリメント処理および距離Ｄの算出処理を順次繰り返す。

上述したようにインデクスｔ１，ｔ２のインクリメント処理および距離Ｄの算出処理を繰り返し行うことによって、領域分類部１３は、一方の特徴点クラスタに属する特徴点Ｃ（ｔ１）と他方の特徴点クラスタに属する特徴点Ｃ（ｔ２）との時系列方向の距離、すなわち両特徴点クラスタにおける各注目領域間の時系列方向の距離Ｄを算出完了する。その後、領域分類部１３は、算出した全ての距離Ｄをソート処理し、このソート処理結果に基づいて、これら全ての距離Ｄのうちの最小値である距離Ｄｍｉｎを求める。

ここで、距離Ｄｍｉｎに対応する特徴点の組み合わせが、Ｌａｂ−時系列特徴空間において時系列的に最も近くなる特徴点の組み合わせとなる。すなわち、領域分類部１３は、Ｌａｂ−時系列特徴空間において互いに異なる特徴点クラスタに属して時系列的に最も近くなる特徴点の組み合わせとして、距離Ｄｍｉｎに対応する特徴点の組み合わせを選出する。領域分類部１３は、このような特徴点の組み合わせ選出処理によって、互いに異なる特徴点クラスタに属して時系列的に最も近くなる注目領域の組み合わせを選出する。

一方、上述したステップＳ２０５を実行後、領域分類部１３は、ステップＳ２０５の処理手順によって選出した特徴点の組み合わせ内の各特徴点が時系列的に隣接または同一であるか否かを判定する（ステップＳ２０６）。

ステップＳ２０６において、隣接状況判定部１３ａは、ステップＳ２０５の処理手順によって選出された特徴点の組み合わせの時系列的な距離Ｄをもとに、この選出された組み合わせ内の各特徴点に対応する各注目領域の時系列的な隣接状況を判定する。すなわち、隣接状況判定部１３ａは、時系列的な距離Ｄをもとに、この選出された組み合わせ内の各特徴点が時系列的に隣接状態または同一状態であるか否かを判定する。

隣接状況判定部１３ａがステップＳ２０６において組み合わせ内の特徴点が時系列的に隣接状態または同一状態であると判定した場合（ステップＳ２０６，Ｙｅｓ）、領域分類部１３は、時系列的に隣接状態または同一状態である各特徴点が属する特徴点クラスタの組み合わせを同一のクラスタに統合する（ステップＳ２０７）。

具体的には、ステップＳ２０７において、領域分類部１３は、まず、時系列的に隣接状態または同一状態の組み合わせである２つの特徴点が各々属する２つの特徴点クラスタＣＧ（ｋ１），ＣＧ（ｋ２）のインデクスｋ１，ｋ２のうち、小さい方を最小のインデクスｋａとし、大きい方を最大のインデクスｋｂとする。

つぎに、領域分類部１３は、最小のインデクスｋａを新規に統合処理後の特徴点クラスタを識別するインデクスに設定して、時系列的に隣接状態または同一状態である２つの特徴点が各々属する２つの特徴点クラスタ内の全特徴点を統合した新規の特徴点クラスタＣＧ（ｋａ）を作成する。

その後、領域分類部１３は、特徴点クラスタＣＧ（ｋａ）に属する各特徴点の色特徴量をもとに、特徴点クラスタＣＧ（ｋａ）の色特徴量である平均明度指数Ｌ（ｋａ）および平均知覚色度ａ（ｋａ），ｂ（ｋａ）を算出する。詳細には、領域分類部１３は、特徴点クラスタＣＧ（ｋａ）内の各特徴点の平均明度指数の平均値を平均明度指数Ｌ（ｋａ）として算出し、各特徴点の平均知覚色度の平均値を平均明度指数ａ（ｋａ），ｂ（ｋａ）として算出する。

この時点において、最大のインデクスｋｂによって識別される特徴点クラスタは、この新規の特徴点クラスタＣＧ（ｋａ）に統合されてＬａｂ−時系列特徴空間内に存在しない。この状態において、領域分類部１３は、Ｌａｂ−時系列特徴空間内に存在する全特徴点クラスタのうち、最大のインデクスｋｂ以上のインデクスによって識別される残りの特徴点クラスタの各インデクスｋをデクリメント処理する。

具体的には、領域分類部１３は、まず、仮のインデクスｋｉに最大のインデクスｋｂを割り当てる。次いで、領域分類部１３は、この割り当て処理後のインデクスｋｉ（＝ｋｂ）が特徴点クラスタの総数Ｔｋ未満であるか否かを判定し、インデクスｋｉが総数Ｔｋ未満であれば、このインデクスｋｉをインクリメント処理する。つぎに、領域分類部１３は、インクリメント処理後のインデクスｋｉ（＝ｋｂ＋１）によって示される特徴点クラスタＣＧ（ｋ）のインデクスをデクリメント処理（ｋ−１に変更）する。その後、領域分類部１３は、インデクスｋｉが総数Ｔｋ以上になるまで、このようなインデクスｋｉのインクリメント処理およびインデクスｋのデクリメント処理を繰り返す。一方、領域分類部１３は、インデクスｋｉが総数Ｔｋ未満ではない場合、上述したインデクスｋｉに対するインクリメント処理およびインデクスｋに対するデクリメント処理を終了する。

ここで、Ｌａｂ−時系列特徴空間内における現時点の特徴点クラスタの総数Ｔｋは、上述した特徴点クラスタの統合処理によって１つ減っている。このため、領域分類部１３は、インデクスｋｉが総数Ｔｋ未満ではない場合、特徴点クラスタの統合処理前の総数Ｔｋから「１」を減算し、この減算処理後の総数ＴｋをＬａｂ−時系列特徴空間内における現時点の特徴点クラスタの総数に更新する。

ステップＳ２０７の処理手順が終了後、領域分類部１３は、上述したステップＳ２０２に戻り、このステップＳ２０２以降の処理手順を繰り返す。一方、領域分類部１３は、上述したステップＳ２０６における隣接状況判定部１３ａの処理によって特徴点の組み合わせの時系列的な状況を隣接状態および同一状態のいずれでもないと判定した場合（ステップＳ２０６，Ｎｏ）、Ｌａｂ−時系列特徴空間内の全ての特徴点クラスタの組み合わせについて時系列的な状況の判定処理が完了したか否かを判定する（ステップＳ２０８）。

ステップＳ２０８において、領域分類部１３は、ステップＳ２０６における時系列的な状況の判定処理済みの特徴点クラスタのインデクス等に基づいて、全特徴点クラスタの組み合わせに対する時系列的な状況の判定処理が完了したか否かを判定する。領域分類部１３は、全特徴点クラスタの組み合わせに対する時系列的な状況の判定処理が完了したと判定した場合（ステップＳ２０８，Ｙｅｓ）、本処理を終了して図２に示したステップＳ１０４の処理手順にリターンする。

一方、領域分類部１３は、ステップＳ２０８において全特徴点クラスタの組み合わせに対する時系列的な状況の判定処理が完了していないと判定した場合（ステップＳ２０８，Ｎｏ）、上述したステップＳ２０５において選出した現在の特徴点クラスタの組み合わせの次に色差△Ｅが小さい特徴点クラスタの組み合わせを選出する（ステップＳ２０９）。その後、領域分類部１３は、上述したステップＳ２０４に戻り、このステップＳ２０４以降の処理手順を繰り返す。

ステップＳ２０９において、領域分類部１３は、上述したステップＳ２０３の処理手順によって算出した全ての色差△Ｅの中から、現在の特徴点クラスタの組み合わせの色差△Ｅ（現在の最小色差△Ｅｍｉｎ）の次に小さい値の色差△Ｅを最小色差△Ｅｍｉｎとして選択する。次いで、領域分類部１３は、Ｌａｂ−時系列特徴空間内の全特徴点クラスタの中から、この選択した最小色差△Ｅｍｉｎを有する特徴点クラスタの組み合わせを選出する。

ここで、領域分類部１３は、上述したステップＳ２０１〜Ｓ２０９の処理手順を適宜繰り返し実行することによって、Ｌａｂ−時系列特徴空間における全特徴点を時系列および色特徴量の各情報に基づく特徴点クラスタに分類する。これによって、領域分類部１３は、注目領域検出部１１が体内画像群ＰＧから検出した全ての注目領域Ａ（ｊ，ｔ）を、特徴点クラスタに対応するいずれかの領域グループに分類する。すなわち、領域分類部１３は、特徴量算出部１２が算出した注目領域Ａ（ｊ，ｔ）の色特徴量と、注目領域Ａ（ｊ，ｔ）を含む体内画像Ｐ（ｊ）の時系列位置とに基づいたいずれかの領域グループに注目領域Ａ（ｊ，ｔ）を分類する。

一方、領域分類部１３が上述したステップＳ２０１〜Ｓ２０９の処理手順を適宜繰り返し実行した後、グループ特徴量算出部１４は、図２に示したステップＳ１０５において、上述したように、注目領域Ａ（ｊ，ｔ）の領域グループ毎にグループ特徴量を算出する。

具体的には、グループ特徴量算出部１４は、Ｌａｂ−時系列特徴空間における特徴点クラスタ毎に、特徴点クラスタの重心Ｌ（ｋ），ａ（ｋ），ｂ（ｋ）を算出する。次いで、グループ特徴量算出部１４は、算出した特徴点クラスタ毎の重心Ｌ（ｋ），ａ（ｋ），ｂ（ｋ）を用いて、同一特徴点クラスタに属する注目領域Ａ（ｊ，ｔ）の色特徴量である平均明度指数Ｌ（ｊ，ｔ）および平均知覚色度ａ（ｊ，ｔ），ｂ（ｊ，ｔ）の分散を特徴点クラスタ毎に算出する。グループ特徴量算出部１４は、特徴点クラスタ毎に、同一特徴点クラスタにおける平均明度指数Ｌ（ｊ，ｔ）および平均知覚色度ａ（ｊ，ｔ），ｂ（ｊ，ｔ）の分散の合計値Ｓｕｍ（ｋ）を次式（２）に基づいて算出する。このようにグループ特徴量算出部１４が算出した合計値Ｓｕｍ（ｋ）は、注目領域Ａ（ｊ，ｔ）の領域グループ毎のグループ特徴量である。

なお、式（２）において、Ｎｕｍ（ｋ）は、特徴点クラスタＣＧ（ｋ）に属する特徴点すなわち注目領域Ａ（ｊ，ｔ）の総数である。ｊ（ｋ）ｍａｘは、特徴点クラスタＣＧ（ｋ）に属する注目領域Ａ（ｊ，ｔ）のインデクスｊの最大値であり、ｊ（ｋ）ｍｉｎは、特徴点クラスタＣＧ（ｋ）に属する注目領域Ａ（ｊ，ｔ）のインデクスｊの最小値である。Ｎｕｍ（ｔ）は、体内画像群ＰＧ内の体内画像Ｐ（ｊ）から検出された注目領域Ａ（ｊ，ｔ）のうち、特徴点クラスタＣＧ（ｋ）に属する注目領域の数である。

一方、重心Ｌ（ｋ），ａ（ｋ），ｂ（ｋ）は、同一特徴点クラスタにおける時系列の平均値と色特徴量の平均値とを座標成分とするＬａｂ−時系列特徴空間内の座標点である。このうち、重心Ｌ（ｋ）は、注目領域Ａ（ｊ，ｔ）の色特徴量のうちの平均明度指数Ｌ（ｊ，ｔ）に対応し、重心ａ（ｋ）は、注目領域Ａ（ｊ，ｔ）の色特徴量のうちの平均知覚色度ａ（ｊ，ｔ）に対応し、重心ｂ（ｋ）は、注目領域Ａ（ｊ，ｔ）の色特徴量のうちの平均知覚色度ｂ（ｊ，ｔ）に対応する。

ここで、図５，６を参照して、領域分類部１３が実行するステップＳ２０２〜Ｓ２０９の処理手順を具体的に説明する。図５に示すように、Ｌａｂ−時系列特徴空間内に総数Ｔｍ＝６の特徴点Ｃ（１）〜Ｃ（６）が存在する場合、領域分類部１３は、これら６つの特徴点Ｃ（１）〜Ｃ（６）を各々特徴点クラスタ（ＣＧ（１））〜（ＣＧ（６））と看做して上述したステップＳ２０２、Ｓ２０３の各処理手順を順次行い、６つの特徴点クラスタ（ＣＧ（１））〜（ＣＧ（６））から選出可能な２つの特徴点クラスタの全組み合わせの各色差△Ｅ１〜△Ｅ１５を順次算出する。

次いで、領域分類部１３は、算出した各色差△Ｅ１〜△Ｅ１５を比較処理し、この比較処理の結果に基づいて、全ての色差△Ｅ１〜△Ｅ１５のうちの最小値である色差△Ｅ３を最小色差△Ｅｍｉｎに決定する。図５においては、領域分類部１３は、特徴点クラスタの全組み合わせの中から、この色差△Ｅ３に対応する特徴点クラスタ（ＣＧ（１）），（ＣＧ（４））の組み合わせを選出する。

つぎに、領域分類部１３は、上述したステップＳ２０４，Ｓ２０５を順次行って、所定の閾値以下の色差△Ｅ３に対応する特徴点クラスタ（ＣＧ（１）），（ＣＧ（４））の組み合わせを選出する。次いで、領域分類部１３は、上述したステップＳ２０６の処理手順を行って、この選出した組み合わせ内の特徴点Ｃ（１）と特徴点Ｃ（４）とが時系列的に隣接または同一であるか否かを判定する。

ここで、特徴点Ｃ（１）および特徴点Ｃ（４）は、図５に示すように時系列的に隣接せず且つ同一でもない。このため、領域分類部１３は、上述したステップ２０８の処理手順を実行し、特徴点クラスタに対する時系列的な状況の判定処理が未完であるため、上述したステップＳ２０９を実行する。図５においては、領域分類部１３は、現在の特徴点クラスタ（ＣＧ（１）），（ＣＧ（４））の組み合わせの色差△Ｅ３の次に小さい色差となる特徴点クラスタの組み合わせ、例えば特徴点クラスタ（ＣＧ（１）），（ＣＧ（２））を選出する。

続いて、領域分類部１３は、上述したステップＳ２０４，Ｓ２０５を再度行って、互いに異なる特徴点クラスタに属して時系列的に最も近くなる特徴点Ｃ（１），Ｃ（２）を選出する。次いで、領域分類部１３は、上述したステップＳ２０６を再度行って、この選出した特徴点Ｃ（１）と特徴点Ｃ（２）とが時系列的に隣接または同一であるか否かを判定する。

ここで、特徴点Ｃ（１）および特徴点Ｃ（２）は、図５に示すように時系列的に隣接する。このため、領域分類部１３は、上述したステップＳ２０７を行って、時系列的に隣接する特徴点Ｃ（１），Ｃ（２）が各々属する特徴点クラスタ（ＣＧ（１）），（ＣＧ（２））の組み合わせを同一クラスタに統合する。

具体的には、領域分類部１３は、まず、特徴点クラスタ（ＣＧ（１）），（ＣＧ（２））のうちの最小のインデクスｋａ（＝１）をインデクスとする新規の特徴点クラスタＣＧ（１）を作成する。この特徴点クラスタＣＧ（１）には、図５に示すように、特徴点Ｃ（１），Ｃ（２）が属する。

次いで、領域分類部１３は、上述した特徴点クラスタの統合処理後に残存する残りの特徴点クラスタ（ＣＧ（３））〜（ＣＧ（６））の各インデクスをデクリメント処理するとともに、特徴点クラスタの総数Ｔｋの減算処理を行う。この結果、元来の特徴点クラスタ（ＣＧ（３））〜（ＣＧ（６））は、特徴点クラスタ（ＣＧ（２））〜（ＣＧ（５））に更新され、特徴点クラスタの総数Ｔｋ＝６は、総数Ｔｋ＝５に更新される。

その後、領域分類部１３は、上述したステップＳ２０２〜Ｓ２０９の処理手順を適宜繰り返し実行して、図５に示すように、元来６つ存在した特徴点を３つの特徴点クラスタＣＧ（１）〜ＣＧ（３）に分類する。具体的には図５に示すように、特徴点クラスタＣＧ（１）には、元来の特徴点クラスタ（Ｃ（１）），（Ｃ（２））が属し、特徴点クラスタＣＧ（２）には元来の特徴点クラスタ（Ｃ（３）），（Ｃ（４））が属し、特徴点クラスタＣＧ（３）には元来の特徴点クラスタ（Ｃ（５）），（Ｃ（６））が属する。

さらに、領域分類部１３は、上述したステップＳ２０２〜Ｓ２０９を適宜繰り返し行って、図５に示すように、閾値以下の色差になる特徴点クラスタＣＧ（１），ＣＧ（２）の組み合わせを選出し、この選出した特徴点クラスタＣＧ（１），ＣＧ（２）の組み合わせの中から、互いに異なる特徴点クラスタに属して時系列的に最も近い特徴点になる特徴点Ｃ（２），Ｃ（３）の組み合わせを選出する。

ここで、図５に示すように、特徴点Ｃ（２），Ｃ（３）の組み合わせが時系列的に隣接するので、領域分類部１３は、上述したステップＳ２０７の処理手順を行って、特徴点クラスタＣＧ（１）と特徴点クラスタＣＧ（２）とを同一クラスタに統合する。一方、領域分類部１３は、特徴点クラスタＣＧ（２），ＣＧ（３）の組み合わせの中から互いに異なる特徴点クラスタに属して時系列的に最も近い特徴点になる特徴点Ｃ（４），Ｃ（５）の組み合わせを選出した場合、特徴点Ｃ（４），Ｃ（５）の組み合わせが時系列的に隣接せず且つ同一ではないので、特徴点クラスタＣＧ（２）と特徴点クラスタＣＧ（３）とを統合しない。

その後、領域分類部１３は、Ｌａｂ−時系列特徴空間内の全特徴点クラスタについて判定処理が完了した場合、上述したステップＳ２０１〜Ｓ２０９の処理手順による各注目領域の分類処理を終了する。この結果、領域分類部１３は、図６に示すように、元来の特徴点クラスタ（ＣＧ（１））〜（ＣＧ（４））を同一の特徴点クラスタＣＧ（１）に統合し、元来の特徴点クラスタ（ＣＧ（５）），（ＣＧ（６））を同一の特徴点クラスタＣＧ（２）に統合する。

ここで、領域分類部１３は、図６に示した特徴点クラスタの統合処理結果に基づいて、体内画像群ＰＧ内の全注目領域Ａ（１，１），Ａ（２，１），Ａ（３，１），Ａ（４，１），Ａ（６，１），Ａ（７，１）のうち、特徴点クラスタＣＧ（１）に対応する領域グループに注目領域Ａ（１，１），Ａ（２，１），Ａ（３，１），Ａ（４，１）を分類し、特徴点クラスタＣＧ（２）に対応する領域グループに注目領域Ａ（６，１），Ａ（７，１）を分類する。

なお、同一の特徴点クラスタに属する複数の注目領域、すなわち同一の領域グループに分類された複数の注目領域は、色特徴量等の特徴が類似し且つ時系列的に近傍の注目領域同士である。一方、特徴点クラスタは単一の特徴点によって構成される場合もあり、特徴点クラスタに属する単一の特徴点に対応する注目領域は、体内画像群ＰＧ内に含まれる他の注目領域に比して、色特徴量等の特徴が類似せず且つ時系列的に離間した注目領域である。

つぎに、上述したステップＳ１０６における各注目領域グループの代表領域の選出処理について詳細に説明する。図７は、各注目領域グループの代表領域の選出処理の処理手順を例示するフローチャートである。図８は、注目領域グループからの代表領域の選出数と注目領域グループのグループ特徴量との関係を示す関数の一具体例を示す模式図である。図９は、グループ特徴量に応じた選出数の代表領域を注目領域グループから選出する状態を説明する模式図である。画像処理装置２の領域選出部１５は、上述したように、制御部４０の制御に基づいてステップＳ１０６における各注目領域グループの代表領域の選出処理を実行する。

すなわち、図７に示すように、領域選出部１５は、まず、Ｌａｂ−時系列特徴空間内に存在する各特徴点クラスタの選出数決定処理を実行する（ステップＳ３０１）。このステップＳ３０１において、選出数決定部１５ａは、体内画像群ＰＧ内の注目領域Ａ（ｊ，ｔ）の領域グループ毎に、グループ特徴量算出部１４が算出したグループ特徴量に応じた代表領域の選出数を決定する。

具体的には、関数部１５ｅは、例えば図８に示すようなグループ特徴量と要約率との関係を示す関数を予め保持する。ここで、この関数における要約率（図８に示す縦軸）は、上述したように、１つの領域グループに属する注目領域Ａ（ｊ，ｔ）の何％を選出するかを決定する値であり、同一の特徴点クラスタから選出する特徴点選出数、すなわち、同一の領域グループからの代表領域の選出数に対応する。関数部１５ｅは、注目領域Ａ（ｊ，ｔ）の領域グループ毎に、グループ特徴量に応じた要約率を算出する。

つぎに、選出数決定部１５ａは、関数部１５ｅが領域グループ毎に算出した要約率に基づいて、領域グループ毎の注目領域Ａ（ｊ，ｔ）を代表する代表領域の選出数を決定する。すなわち、選出数決定部１５ａは、特徴点クラスタ毎に算出された要約率に基づいて、特徴点クラスタ毎の代表的な特徴点の選出数を決定する。

ステップＳ３０１を実行後、領域選出部１５は、グループ特徴量に基づいた特徴点クラスタの細分類処理を実行する（ステップＳ３０２）。このステップＳ３０２において、細分類処理部１５ｂは、領域分類部１３によって分類された領域グループ毎の各注目領域Ａ（ｊ，ｔ）の平均明度指数Ｌ（ｊ，ｔ）および平均知覚色度ａ（ｊ，ｔ），ｂ（ｊ，ｔ）に基づいて、選出数決定部１５ａによって決定した選出数と同数の類似グループに領域グループ毎の注目領域を細分類する。

具体的には、細分類処理部１５ｂは、Ｌａｂ−時系列特徴空間内に存在する特徴点クラスタ毎に、特徴点クラスタに属する特徴点Ｃ（ｍ）の注目領域Ａ（ｊ，ｔ）の平均明度指数Ｌ（ｊ，ｔ）および平均知覚色度ａ（ｊ，ｔ），ｂ（ｊ，ｔ）を用いてｋ−ｍｅａｎｓ法等の公知のクラスタリングを行うことによって、上述した選出数と同数の特徴点クラスタに特徴点Ｃ（ｍ）を細分類する。

ここで、細分類処理部１５ｂが細分類した特徴点クラスタは、上述した類似グループに対応するグループである。すなわち、細分類処理後の特徴点クラスタには、色特徴量が一層類似した注目領域Ａ（ｊ，ｔ）同士（例えば同一の注目領域同士）の各特徴点が属する。なお、類似グループに対応する特徴点クラスタ内の特徴点は、他の特徴点クラスタ内の特徴点に比して平均明度指数Ｌ（ｋ）および平均知覚色度ａ（ｋ），ｂ（ｋ）が類似している。

一方、ステップＳ３０２を実行後、領域選出部１５は、Ｌａｂ−時系列特徴空間内の各特徴点クラスタの重心算出処理を実行する（ステップＳ３０３）。このステップＳ３０３において、重心算出部１５ｃは、細分類処理部１５ｂが細分類した類似グループ毎に、類似グループに属する複数の注目領域Ａ（ｊ，ｔ）の特徴量の重心を算出する。

具体的には、重心算出部１５ｃは、細分類処理部１５ｂが細分類した特徴点クラスタ毎に、細分類後の同一特徴点クラスタに属する全ての特徴点の色特徴量軸座標成分の平均値と時系列軸座標成分の平均値とを算出する。なお、Ｌａｂ−時系列特徴空間における特徴点の色特徴量軸座標成分の平均値は、注目領域Ａ（ｊ，ｔ）の平均明度指数Ｌ（ｊ，ｔ）および平均知覚色度ａ（ｊ，ｔ），ｂ（ｊ，ｔ）の各平均値である。

次いで、重心算出部１５ｃは、細分類処理後の特徴点クラスタ毎に、算出した時系列軸座標成分の平均値を時系列軸方向の座標成分とし、且つ、算出した色特徴量軸座標成分の平均値を色特徴量軸方向の座標成分とする重心を算出する。ここで、細分類処理後の特徴点クラスタ毎の重心は、色特徴量軸方向の座標成分として、細分類後の同一特徴点クラスタの平均明度指数および平均知覚色度を有する。

なお、ステップＳ３０３において、重心算出部１５ｃは、Ｌａｂ−時系列特徴空間内の全特徴点クラスタのうち、細分類処理部１５ｂが細分類していない残りの特徴点クラスタについても、細分類処理後の特徴点クラスタの場合と同様に特徴点クラスタの重心を算出する。例えば、このような細分類されていない残りの特徴点クラスタとして、類似性の高い２つの特徴点のみが属する特徴点クラスタ等が挙げられる。

ステップＳ３０３を実行後、領域選出部１５は、特徴点クラスタの重心に最近の特徴点に基づいた注目領域の選出処理を実行する（ステップＳ３０４）。その後、領域選出部１５は、本処理を終了して図２に示したステップＳ１０６の処理手順にリターンする。

ステップＳ３０４において、最近領域選出部１５ｄは、上述した類似グループ毎に、同一類似グループに含まれる複数の注目領域Ａ（ｊ，ｔ）の中から、重心算出部１５ｃが算出した特徴量の重心に対し、他の注目領域に比して最も近い注目領域を選出する。

具体的には、最近領域選出部１５ｄは、まず、細分類処理部１５ｂが細分類した特徴点クラスタ毎に、細分類後の同一特徴点クラスタに属する複数の特徴点と重心との各離間距離を算出する。ここで、最近領域選出部１５ｄが算出する離間距離は、Ｌａｂ−時系列特徴空間における同一の特徴点クラスタ内の特徴点と重心算出部１５ｃによる重心との間のユークリッド距離である。

次いで、最近領域選出部１５ｄは、細分類処理後の特徴点クラスタ毎に、各特徴点と重心との各離間距離を比較処理して、重心に最も近い特徴点を選出する。この結果、最近領域選出部１５ｄは、Ｌａｂ−時系列特徴空間内の特徴点クラスタ毎に、選出数決定部１５ａが決定した選出数と同数の特徴点を選出する。

その後、最近領域選出部１５ｄは、上述したように選出した特徴点に対応する注目領域Ａ（ｊ，ｔ）を類似グループ毎に選出し、この結果、体内画像群ＰＧにおける各類似グループの中から類似グループ毎の選出数と同数の注目領域Ａ（ｊ，ｔ）を選出する。

なお、ステップＳ３０４において、最近領域選出部１５ｄは、類似グループに分類されていない残りの領域グループについても、上述した類似グループの場合と同様に、同一領域グループに含まれる複数の注目領域Ａ（ｊ，ｔ）の中から、重心算出部１５ｃが算出した特徴量の重心に対し、他の注目領域に比して最も近い注目領域を選出する。

具体的には、最近領域選出部１５ｄは、まず、細分類処理部１５ｂが細分類していない残りの特徴点クラスタ毎に、同一特徴点クラスタに属する複数の特徴点と重心との各離間距離を算出する。つぎに、最近領域選出部１５ｄは、残りの特徴点クラスタ毎に、各特徴点と重心との各離間距離を比較処理して、重心に最も近い特徴点を選出する。この結果、最近領域選出部１５ｄは、残りの特徴点クラスタ毎に、上述した選出数と同数の特徴点を選出する。

その後、最近領域選出部１５ｄは、上述したように選出した特徴点に対応する注目領域Ａ（ｊ，ｔ）を領域グループ毎に選出し、この結果、体内画像群ＰＧにおける各領域グループの中から領域グループ毎の選出数と同数の注目領域Ａ（ｊ，ｔ）を選出する。

以上のようにして、領域選出部１５は、最近領域選出部１５ｄが選出した注目領域Ａ（ｊ，ｔ）を、各領域グループまたは各類似グループの代表領域とし、この代表領域の選出処理結果を代表画像出力部１６に送信する。

ここで、図９を参照して、領域選出部１５が実行するステップＳ３０１〜Ｓ３０４の処理手順を具体的に説明する。図９に示すように、Ｌａｂ−時系列特徴空間内に、特徴点Ｃ（１）〜Ｃ（４）を含む特徴点クラスタＣＧ（１）と特徴点Ｃ（５），Ｃ（６）を含む特徴点クラスタＣＧ（２）とが存在する場合、領域選出部１５は、ステップＳ３０１の処理手順を行って、これら２つの特徴点クラスタＣＧ（１），ＣＧ（２）の各々について選出数Ｖを決定する。

具体的には、選出数決定部１５ａは、関数部１５ｅが算出した要約率（図８参照）に基づいて、特徴点クラスタＣＧ（１）のグループ特徴量に応じた特徴点クラスタＣＧ（１）の選出数Ｖ（＝２）と、特徴点クラスタＣＧ（２）のグループ特徴量に応じた特徴点クラスタＣＧ（２）の選出数Ｖ（＝１）とを決定する。

つぎに、領域選出部１５は、ステップＳ３０２の処理手順を行って、特徴点クラスタＣＧ（１），ＣＧ（２）を細分類する。具体的には、細分類処理部１５ｂは、ステップＳ３０１において選出数決定部１５ａが決定した特徴点クラスタＣＧ（１）の選出数Ｖが「２」であるため、特徴点クラスタＣＧ（１）に属する特徴点Ｃ（１）〜Ｃ（４）の各色特徴量に基づいて、図９に示すように、特徴点Ｃ（１）〜Ｃ（４）を選出数Ｖ（＝２）と同数である２つの特徴点クラスタＣＧ（１１），ＣＧ（１２）に細分類する。この結果、特徴点クラスタＣＧ（１）内の全特徴点Ｃ（１）〜Ｃ（４）のうち、色特徴量の類似性が他の特徴点Ｃ（３），Ｃ（４）に比して高い２つの特徴点Ｃ（１），Ｃ（２）が同一の特徴点クラスタＣＧ（１１）に細分類され、色特徴量の類似性が他の特徴点Ｃ（１），Ｃ（２）に比して高い２つの特徴点Ｃ（３），Ｃ（４）が同一の特徴点クラスタＣＧ（１２）に細分類される。

一方、細分類処理部１５ｂは、ステップＳ３０１において選出数決定部１５ａが決定した特徴点クラスタＣＧ（２）の選出数Ｖが「１」であるため、特徴点クラスタＣＧ（２）を１つの特徴点クラスタに細分類する。すなわち、細分類処理部１５ｂは、図９に示すように、特徴点クラスタＣＧ（２）に属する特徴点Ｃ（５），Ｃ（６）をこれ以上細分類せず、このグループ状態を維持する。

続いて、領域選出部１５は、ステップＳ３０３の処理手順を行って、Ｌａｂ−時系列特徴空間内の各特徴点クラスタの重心を算出する。具体的には、重心算出部１５ｃは、図９に示す特徴点クラスタＣＧ（１１），ＣＧ（１２），ＣＧ（２）の各重心Ｄ１，Ｄ２，Ｄ３を算出する。

詳細には、重心算出部１５ｃは、特徴点クラスタＣＧ（１１）に属する２つの特徴点Ｃ（１），Ｃ（２）の時系列軸座標成分の平均値と色特徴量軸座標成分の平均値とを算出する。同様に、重心算出部１５ｃは、特徴点クラスタＣＧ（１２）に属する２つの特徴点Ｃ（３），Ｃ（４）の時系列軸座標成分の平均値と色特徴量軸座標成分の平均値とを算出する。また、重心算出部１５ｃは、特徴点クラスタＣＧ（２）に属する２つの特徴点Ｃ（５），Ｃ（６）の時系列軸座標成分の平均値と色特徴量軸座標成分の平均値とを算出する。なお、重心算出部１５ｃが算出した時系列軸座標成分の各平均値が重心Ｄ１〜Ｄ３の時系列軸方向の座標成分であり、色特徴量軸座標成分の平均値が重心Ｄ１〜Ｄ３の色特徴量軸方向の座標成分である。

その後、領域選出部１５は、ステップＳ３０４の処理手順を行って、Ｌａｂ−時系列特徴空間内の各特徴点クラスタの重心に最近の特徴点に基づいて、代表的な注目領域を選出する。具体的には、最近領域選出部１５ｄは、図９に示す特徴点クラスタＣＧ（１１），ＣＧ（１２），ＣＧ（２）に対応する注目領域の類似グループまたは領域グループ毎に、重心算出部１５ｃが算出した特徴量の重心に対し、他の注目領域に比して最も近い注目領域を選出する。

すなわち、最近領域選出部１５ｄは、まず、特徴点クラスタＣＧ（１）に属する一方の特徴点クラスタＣＧ（１１）における特徴点Ｃ（１）と重心Ｄ１との離間距離Ｌ１と特徴点Ｃ（２）と重心Ｄ１との離間距離Ｌ２とを算出する。次いで、最近領域選出部１５ｄは、算出した各離間距離Ｌ１，Ｌ２（Ｌ１＜Ｌ２）を比較処理して、重心Ｄ１に最も近い特徴点、すなわち、離間距離が一層小さい特徴点Ｃ（１）を選出する。つぎに、最近領域選出部１５ｄは、特徴点クラスタＣＧ（１）に属する他方の特徴点クラスタＣＧ（１２）における特徴点Ｃ（３）と重心Ｄ２との離間距離Ｌ３と特徴点Ｃ（４）と重心Ｄ２との離間距離Ｌ４とを算出する。次いで、最近領域選出部１５ｄは、算出した各離間距離Ｌ３，Ｌ４（Ｌ３＞Ｌ４）を比較処理して、重心Ｄ２に最も近い特徴点、すなわち、離間距離が一層小さい特徴点Ｃ（４）を選出する。この結果、最近領域選出部１５ｄは、特徴点クラスタＣＧ（１）から、特徴点クラスタＣＧ（１）における選出数Ｖ（＝２）と同数である２つの特徴点Ｃ（１），Ｃ（４）を選出する。

つぎに、最近領域選出部１５ｄは、特徴点クラスタＣＧ（１１）に対応する注目領域の類似グループの中から、特徴点Ｃ（１）に対応する注目領域Ａ（１，１）を選出し、特徴点クラスタＣＧ（１２）に対応する注目領域の類似グループの中から、特徴点Ｃ（４）に対応する注目領域Ａ（４，１）を選出する。すなわち、最近領域選出部１５ｄは、体内画像群ＰＧの中から、特徴点クラスタＣＧ（１）における選出数Ｖ（＝２）と同数である２つの注目領域Ａ（１，１），Ａ（４，１）を選出する。

続いて、最近領域選出部１５ｄは、残りの特徴点クラスタＣＧ（２）における特徴点Ｃ（５）と重心Ｄ３との離間距離Ｌ５と特徴点Ｃ（６）と重心Ｄ３との離間距離Ｌ６とを算出する。次いで、最近領域選出部１５ｄは、この算出した各離間距離Ｌ５，Ｌ６（Ｌ５＜Ｌ６）を比較処理して、重心Ｄ３に最も近い特徴点、すなわち、離間距離が一層小さい特徴点Ｃ（５）を選出する。この結果、最近領域選出部１５ｄは、特徴点クラスタＣＧ（２）から、特徴点クラスタＣＧ（２）における選出数Ｖ（＝１）と同数である１つの特徴点Ｃ（５）を選出する。つぎに、最近領域選出部１５ｄは、特徴点クラスタＣＧ（２）に対応する注目領域の領域グループの中から、特徴点Ｃ（５）に対応する注目領域Ａ（６，１）を選出する。すなわち、最近領域選出部１５ｄは、体内画像群ＰＧの中から、特徴点クラスタＣＧ（１）における選出数Ｖ（＝１）と同数である１つの注目領域Ａ（６，１）を選出する。

なお、図９に示すように、特徴点クラスタＣＧ（１１）に対応する注目領域の類似グループには、体内画像群ＰＧ内の注目領域Ａ（１，１），Ａ（２，１）が属し、特徴点クラスタＣＧ（１２）に対応する注目領域の類似グループには、体内画像群ＰＧ内の注目領域Ａ（３，１），Ａ（４，１）が属する。また、特徴点クラスタＣＧ（２）に対応する注目領域の領域グループには、この体内画像群ＰＧ内の注目領域Ａ（６，１），Ａ（７，１）が属する。

その後、領域選出部１５は、最近領域選出部１５ｄが選出した注目領域Ａ（１，１），Ａ（４，１），Ａ（６，１）を、体内画像群ＰＧ内の各領域グループまたは各類似グループを代表する代表領域として選出し、代表領域の選出処理結果を代表画像出力部１６に送信する。

なお、代表画像出力部１６は、領域選出部１５から取得した代表領域の選出処理結果に基づいて、体内画像群ＰＧの中から、代表領域である注目領域Ａ（１，１）を含む体内画像Ｐ（１）と、注目領域Ａ（４，１）を含む体内画像Ｐ（４）と、注目領域Ａ（６，１）を含む体内画像Ｐ（６）とを表示対象の代表体内画像群として表示装置３に出力する。

以上、説明したように、本発明の実施の形態１では、注目領域の特徴量と、注目領域を含む体内画像の時系列位置とに基づいて、注目領域をいずれかの領域グループに分類し、その分類された領域グループに属する注目領域の中から代表となる代表領域を選出して、その代表領域を含む代表画像を出力するように構成した。

このため、注目領域の特徴量と、注目領域を含む体内画像の時系列位置とを考慮した分類によって、例えば、特徴量が互いに似通って、且つ時間的にも近い注目領域どうし（例えば、所定の時間内に検出された同一の病変領域どうし）を一つの領域グループにまとめることができる。そして、その領域グループ内の、例えば、互いに似通った注目領域の中から選出した代表領域を含む代表画像を出力することによって、互いに似通った注目領域を含む体内画像が何回も繰り返し出力されるという無駄を排除できる。その結果、観察者による観察の負担を軽減できる。

さらに、本発明の実施の形態１では、出力対象である代表画像の代表領域を、少なくとも観察の必要性の高い注目領域の中から選出するため、観察の必要性の低い非注目領域を含む画像が代表画像となる可能性を排除でき、その結果、非注目領域を含む画像を出力対象から外すことができる。その結果、観察の必要性の低い非注目領域を含む画像を観察するという無駄を排除でき、観察者による観察の負担を軽減できる。

（実施の形態２）
つぎに、本発明の実施の形態２について説明する。上述した実施の形態１では、注目領域の領域グループ毎のグループ特徴量に応じて選出数を決定し、この決定した選出数と同数のグループに注目領域の領域グループを細分類し、この細分類した注目領域のグループ毎に代表的な注目領域を選出して、この選出数と同数の代表領域を選出していたが、本実施の形態２では、上述した選出数に応じて時系列方向に特徴点クラスタを等間隔に分割する時系列座標を算出し、得られた時系列座標に最近の特徴点に対応する注目領域を選出することによって、この選出数と同数の代表領域を選出している。

図１０は、本発明の実施の形態２にかかる画像処理装置を備えた画像表示システムの一構成例を模式的に示すブロック図である。図１０に示すように、本実施の形態２にかかる画像表示システム２００は、上述した実施の形態１にかかる画像表示システム１００の画像処理装置２に代えて画像処理装置２０２を備える。画像処理装置２０２は、実施の形態１にかかる画像処理装置２の演算部１０に代えて演算部２１０を備える。演算部２１０は、実施の形態１における演算部１０の領域選出部１５に代えて領域選出部２１５を備える。その他の構成は実施の形態１と同じであり、同一構成部分には同一符号を付している。

画像処理装置２０２は、上述したように、実施の形態１にかかる画像処理装置２の演算部１０に代えて演算部２１０を備える。また、演算部２１０は、実施の形態１における演算部１０の領域選出部１５に代えて領域選出部２１５を備える。なお、画像処理装置２０２は、演算部２１０の機能以外、上述した実施の形態１にかかる画像処理装置２と同様の機能を有する。また、演算部２１０は、領域選出部２１５の機能以外、上述した実施の形態１における演算部１０と同様の機能を有する。

領域選出部２１５は、図１０に示すように、上述した実施の形態１における領域選出部１５と同様の選出数決定部１５ａを備える。一方、領域選出部２１５は、上述した実施の形態１における細分類処理部１５ｂ、重心算出部１５ｃ、および最近領域選出部１５ｄを備えていない。すなわち、領域選出部２１５は、実施の形態１における領域選出部１５と同様の選出数決定処理機能を有し、選出数決定部１５ａが注目領域の領域グループ毎に決定した選出数に応じた各注目領域グループの代表領域選出処理機能のみ異なる。このような領域選出部２１５は、実施の形態１における領域選出部１５と異なる処理手順によって、選出数決定部１５ａによる選出数と同数の代表領域を各領域グループの中から各々選出する。

具体的には、領域選出部２１５は、選出数決定部１５ａによる選出数に対応して、体内画像群ＰＧ内の複数の注目領域Ａ（ｊ，ｔ）の特徴量の分布を時系列方向に等間隔に分割する時系列座標を算出し、これら複数の注目領域Ａ（ｊ，ｔ）を代表する代表領域として、この時系列座標に最近の注目領域をこの選出数と同数選出する。

つぎに、本発明の実施の形態２にかかる画像処理装置２０２の動作について説明する。なお、画像処理装置２０２は、上述したように、演算部２１０内の領域選出部２１５の動作以外、実施の形態１にかかる画像処理装置２と同様に動作する。すなわち、画像処理装置２０２は、図２に示したステップＳ１０１〜Ｓ１０７と略同様の処理手順を行って、表示装置３に１以上の代表体内画像を出力する。具体的には、画像処理装置２０２は、ステップＳ１０６の処理手順のみ、実施の形態１にかかる画像処理装置２と異なる。以下に、本実施の形態２にかかる画像処理装置２０２が実行するステップＳ１０６の処理手順を詳細に説明する。

図１１は、実施の形態２における各注目領域グループの代表領域の選出処理の処理手順を例示するフローチャートである。図１２は、実施の形態２における代表領域の選出処理を具体的に説明するための模式図である。

なお、図１２に示す特徴空間は、Ｌａｂ−時系列特徴空間である。図１２では、本発明の説明を簡単にするために、注目領域Ａ（ｊ，ｔ）が有する平均明度指数Ｌ（ｊ，ｔ）および平均知覚色度ａ（ｊ，ｔ），ｂ（ｊ，ｔ）を色特徴量として一軸に纏めて表している。

画像処理装置２０２の領域選出部２１５は、制御部４０の制御に基づいて図１１に示すステップＳ４０１〜Ｓ４０３の処理手順を順次実行して、図２に示したステップＳ１０６における各注目領域グループの代表領域の選出処理を達成する。

具体的には、図１１に示すように、領域選出部２１５は、まず、実施の形態１の場合と同様に、Ｌａｂ−時系列特徴空間内に存在する各特徴点クラスタの選出数決定処理を実行する（ステップＳ４０１）。このステップＳ４０１において、選出数決定部１５ａは、図７に示したステップＳ３０１と同様に、体内画像群ＰＧ内の注目領域Ａ（ｊ，ｔ）の領域グループ毎に、グループ特徴量算出部１４が算出したグループ特徴量に応じた代表領域の選出数Ｖを決定する。

ステップＳ４０１を実行後、領域選出部２１５は、選出数決定部１５ａが決定した選出数Ｖに応じて時系列方向に特徴点クラスタを等間隔に分割する時系列座標の算出処理を実行する（ステップＳ４０２）。

ステップＳ４０２において、領域選出部２１５は、まず、Ｌａｂ−時系列特徴空間内の特徴点クラスタＣＧ（ｋ）のインデクスｋを初期値（＝１）に設定し、特徴点クラスタＣＧ（１）に属する全ての特徴点の時系列方向の座標成分（すなわち時系列座標）の最小値Ｔｍｉｎおよび最大値Ｔｍａｘを求める。

次いで、領域選出部２１５は、時系列座標の最大値Ｔｍａｘと最小値Ｔｍｉｎとの差（Ｔｍａｘ−Ｔｍｉｎ）を、選出数決定部１５ａによる特徴点クラスタＣＧ（１）の選出数Ｖに「１」を加算した値（Ｖ＋１）によって除算する。ここで、領域選出部２１５は、この除算処理によって得られた値を時系列方向の刻み幅Ｗとする。

その後、領域選出部２１５は、特徴点クラスタＣＧ（１）を分割する時系列座標Ｔ（１，ｉ）のインデクスｉを初期値（＝１）に設定し、インデクスｉを特徴点クラスタＣＧ（１）の選出数Ｖと同値になるまで順次インクリメント処理しつつ、次式（３）に基づいて、特徴点クラスタＣＧ（１）における時系列座標Ｔ（１，ｉ）（ｋ＝１，１≦ｉ≦Ｖ）を順次算出する。

Ｔ（ｋ，ｉ）＝Ｔｍｉｎ＋Ｗ×ｉ （１≦ｋ≦Ｔｋ、１≦ｉ≦Ｖ） ・・・（３）

特徴点クラスタＣＧ（１）における時系列座標Ｔ（１，ｉ）を算出後、領域選出部２１５は、特徴点クラスタＣＧ（ｋ）のインデクスｋを特徴点クラスタの総数Ｔｋまで順次インクリメント処理しつつ、式（３）に基づいて、上述した演算処理を繰り返し実行する。この結果、領域選出部２１５は、Ｌａｂ−時系列特徴空間内に存在する特徴点クラスタＣＧ（ｋ）毎に、選出数決定部１５ａによる選出数Ｖと同数の時系列座標Ｔ（ｋ，ｉ）を算出する。

ここで、特徴点クラスタＣＧ（ｋ）毎の時系列座標Ｔ（ｋ，ｉ）は、特徴点クラスタＣＧ（ｋ）に属する特徴点の分布を時系列方向に等間隔に分割する。すなわち、特徴点クラスタＣＧ（ｋ）毎の時系列座標Ｔ（ｋ，ｉ）は、特徴点クラスタＣＧ（ｋ）に対応する複数の注目領域の特徴量の分布を時系列方向に等間隔に分割する。

ステップＳ４０２を実行後、領域選出部２１５は、Ｌａｂ−時系列特徴空間内の特徴点クラスタＣＧ（ｋ）毎に、時系列座標Ｔ（ｋ，ｉ）に最近の特徴点に基づいた注目領域の選出処理を実行する（ステップＳ４０３）。その後、領域選出部２１５は、本処理を終了して図２に示したステップＳ１０６にリターンする。

ステップＳ４０３において、領域選出部２１５は、まず、Ｌａｂ−時系列特徴空間内における特徴点クラスタＣＧ（ｋ）毎に、特徴点クラスタＣＧ（ｋ）に属する各特徴点と時系列座標Ｔ（ｋ，ｉ）との各離間距離を算出する。つぎに、領域選出部２１５は、特徴点クラスタＣＧ（ｋ）毎に、算出した各離間距離を所定の順序で順次（例えば時系列順に順次）比較処理し、最小の離隔距離になる特徴点、すなわち時系列座標Ｔ（ｋ，ｉ）に最も近い特徴点を特徴点クラスタＣＧ（ｋ）の選出数Ｖと同数選出する。次いで、領域選出部２１５は、選出した特徴点に対応する注目領域を体内画像群ＰＧの中から選出する。この結果、領域選出部２１５は、体内画像群ＰＧにおける注目領域の領域グループ毎に、各領域グループの代表領域として選出数Ｖと同数の注目領域Ａ（ｊ，ｔ）を選出する。領域選出部２１５は、この代表領域の選出処理結果を代表画像出力部１６に送信する。

ここで、図１２を参照して、領域選出部２１５が実行するステップＳ４０１〜Ｓ４０３の処理手順を具体的に説明する。図１２に示すように、Ｌａｂ−時系列特徴空間内に、特徴点Ｃ（１）〜Ｃ（４）を含む特徴点クラスタＣＧ（１）と特徴点Ｃ（５），Ｃ（６）を含む特徴点クラスタＣＧ（２）とが存在する場合、領域選出部２１５は、ステップＳ４０１の処理手順を行って、これら２つの特徴点クラスタＣＧ（１），ＣＧ（２）の各々について選出数Ｖを決定する。

具体的には、選出数決定部１５ａは、まず、上述した実施の形態１の場合と同様に、関数部１５ｅが算出した要約率に基づいて、特徴点クラスタＣＧ（１）のグループ特徴量に応じた特徴点クラスタＣＧ（１）の選出数Ｖ（＝２）と、特徴点クラスタＣＧ（２）のグループ特徴量に応じた特徴点クラスタＣＧ（２）の選出数Ｖ（＝１）とを決定する。

つぎに、領域選出部２１５は、ステップＳ４０２の処理手順を行って、Ｌａｂ−時系列特徴空間内の特徴点クラスタＣＧ（１）および特徴点クラスタＣＧ（２）の各時系列座標を算出する。具体的には、領域選出部２１５は、まず、特徴点クラスタＣＧ（１）に属する特徴点Ｃ（１）〜Ｃ（４）の各時系列座標のうちの最小値Ｔｍｉｎおよび最大値Ｔｍａｘを求める。ここで、最小値Ｔｍｉｎは、特徴点クラスタＣＧ（１）において最もインデクスが小さい特徴点Ｃ（１）の時系列軸の座標成分であり、最大値Ｔｍａｘは、特徴点クラスタＣＧ（１）において最もインデクスが大きい特徴点Ｃ（４）の時系列軸の座標成分である。

次いで、領域選出部２１５は、時系列座標の最大値Ｔｍａｘと最小値Ｔｍｉｎとの差（Ｔｍａｘ−Ｔｍｉｎ）を、特徴点クラスタＣＧ（１）における選出数Ｖ（＝２）に「１」を加算した値（＝３）によって除算し、これによって、特徴点クラスタＣＧ（１）における時系列方向の刻み幅Ｗを算出する。領域選出数２１５は、特徴点クラスタＣＧ（１）の選出数Ｖ（＝２）、時系列座標の最小値Ｔｍｉｎおよび刻み幅Ｗ等のパラメータを用い、上述した式（３）に基づいて、特徴点クラスタＣＧ（１）の選出数Ｖ（＝２）と同数である２つの時系列座標Ｔ（１，１），Ｔ（１，２）を算出する。

ここで、時系列座標Ｔ（１，１），Ｔ（１，２）は、図１２に示すように、特徴点クラスタＣＧ（１）における特徴点Ｃ（１）〜Ｃ（４）の分布を時系列軸の方向に等間隔に分割する。すなわち、時系列座標Ｔ（１，１），Ｔ（１，２）は、これら４つの特徴点Ｃ（１）〜Ｃ（４）に対応する体内画像群ＰＧ内の４つの注目領域Ａ（１，１）〜Ａ（４，１）の特徴量の分布を時系列方向に等間隔に分割する。

続いて、領域選出部２１５は、残りの特徴点クラスタＣＧ（２）に属する２つの特徴点Ｃ（５），Ｃ（６）の各時系列座標のうちの最小値Ｔｍｉｎおよび最大値Ｔｍａｘを求める。ここで、最小値Ｔｍｉｎは、特徴点クラスタＣＧ（２）において最もインデクスが小さい特徴点Ｃ（５）の時系列軸の座標成分であり、最大値Ｔｍａｘは、特徴点クラスタＣＧ（２）において最もインデクスが大きい特徴点Ｃ（６）の時系列軸の座標成分である。

つぎに、領域選出部２１５は、時系列座標の最大値Ｔｍａｘと最小値Ｔｍｉｎとの差（Ｔｍａｘ−Ｔｍｉｎ）を、特徴点クラスタＣＧ（２）の選出数Ｖ（＝１）に「１」を加算した値（＝２）によって除算し、これによって、特徴点クラスタＣＧ（２）における時系列方向の刻み幅Ｗを算出する。領域選出数２１５は、特徴点クラスタＣＧ（２）の選出数Ｖ（＝１）、時系列座標の最小値Ｔｍｉｎおよび刻み幅Ｗ等のパラメータを用い、式（３）に基づいて、特徴点クラスタＣＧ（２）の選出数Ｖ（＝１）と同数である１つの時系列座標Ｔ（２，１）を算出する。

ここで、時系列座標Ｔ（２，１）は、図１２に示すように、特徴点クラスタＣＧ（２）における２つの特徴点Ｃ（５），Ｃ（６）の分布を時系列軸の方向に等間隔に分割する。すなわち、時系列座標Ｔ（２，１）は、これら２つの特徴点Ｃ（５），Ｃ（６）に対応する体内画像群ＰＧ内の２つの注目領域Ａ（６，１），Ａ（７，１）の特徴量の分布を時系列方向に等間隔に分割する。

その後、領域選出部２１５は、ステップＳ４０３の処理手順を行って、特徴点クラスタＣＧ（１）における２つの時系列座標Ｔ（１，１），Ｔ（１，２）に各々最近の各特徴点に基づいて注目領域を選出し、且つ、特徴点クラスタＣＧ（２）における１つの時系列座標Ｔ（２，１）に最近の特徴点に基づいて注目領域を選出する。

具体的には、領域選出部２１５は、まず、よりインデクスの小さい特徴点クラスタＣＧ（１）に属する４つの特徴点Ｃ（１）〜Ｃ（４）と２つの時系列座標Ｔ（１，１），Ｔ（１，２）のうちの一方の時系列座標Ｔ（１，１）との各離間距離を算出する。つぎに、領域選出部２１５は、算出した各離間距離を所定の順序（例えば時系列順）で順次比較処理し、時系列座標Ｔ（１，１）との離間距離が最小になる特徴点、すなわち、時系列座標Ｔ（１，１）に最も近い特徴点Ｃ（２）を特徴点クラスタＣＧ（１）の中から選出する。

つぎに、領域選出部２１５は、特徴点クラスタＣＧ（１）に属する４つの特徴点Ｃ（１）〜Ｃ（４）と２つの時系列座標Ｔ（１，１），Ｔ（１，２）のうちの他方の時系列座標Ｔ（１，２）との各離間距離を算出する。次いで、領域選出部２１５は、算出した各離間距離を所定の順序（例えば時系列順）で順次比較処理し、時系列座標Ｔ（１，２）との離間距離が最小になる特徴点、すなわち、時系列座標Ｔ（１，２）に最も近い特徴点Ｃ（３）を特徴点クラスタＣＧ（１）の中から選出する。

以上のようにして、領域選出部２１５は、特徴点クラスタＣＧ（１）の中から、特徴点クラスタＣＧ（１）における選出数Ｖ（＝２）と同数である２つの特徴点Ｃ（２），Ｃ（３）を選出する。続いて、領域選出部２１５は、選出した２つの特徴点Ｃ（２），Ｃ（３）に各々対応する２つの注目領域Ａ（２，１），Ａ（３，１）を体内画像群ＰＧの中から選出する。

つぎに、領域選出部２１５は、処理済みの特徴点クラスタＣＧ（１）の次にインデクスの小さい特徴点クラスタＣＧ（２）に属する２つの特徴点Ｃ（５），Ｃ（６）と１つの時系列座標Ｔ（２，１）との各離間距離を算出する。続いて、領域選出部２１５は、算出した各離間距離を所定の順序（例えば時系列順）で順次比較処理し、時系列座標Ｔ（２，１）との離間距離が最小になる特徴点、すなわち、時系列座標Ｔ（２，１）に最も近い特徴点Ｃ（５）を特徴点クラスタＣＧ（２）の中から選出する。

以上のようにして、領域選出部２１５は、特徴点クラスタＣＧ（２）の中から、特徴点クラスタＣＧ（２）の選出数Ｖ（＝１）と同数である１つの特徴点Ｃ（５）を選出する。続いて、領域選出部２１５は、選出した１つの特徴点Ｃ（５）に対応する１つの注目領域Ａ（６，１）を体内画像群ＰＧの中から選出する。

ここで、領域選出部２１５は、上述したようにＬａｂ−時系列特徴空間内の全特徴点クラスタＣＧ（１），ＣＧ（２）について注目領域の選出処理を実行することによって、体内画像群ＰＧにおける領域グループ毎に選出数Ｖと同数の注目領域Ａ（ｊ，ｔ）を選出する。

具体的には、領域選出部２１５は、注目領域の各領域グループの代表領域として、選出数Ｖ＝２と同数の注目領域Ａ（２，１），Ａ（３，１）、および選出数Ｖ＝１と同数の注目領域Ａ（６，１）の合計３つの注目領域を選出する。領域選出部２１５は、この代表領域の選出処理結果を代表画像出力部１６に送信する。

一方、代表画像出力部１６は、領域選出部２１５から取得した代表領域の選出処理結果に基づいて、体内画像群ＰＧの中から、代表領域である注目領域Ａ（２，１）を含む体内画像Ｐ（２）と、注目領域Ａ（３，１）を含む体内画像Ｐ（３）と、注目領域Ａ（６，１）を含む体内画像Ｐ（６）とを表示対象の代表体内画像群として表示装置３に出力する。

なお、領域選出部２１５は、同一の特徴点クラスタＣＧ（ｋ）内に、時系列座標Ｔ（ｋ，ｉ）に対して最小の離間距離になる特徴点が複数存在する場合、所定の手法に従って、これら複数の特徴点のうちのいずれか一つを選出すればよい。例えば、領域選出部２１５は、時系列座標Ｔ（ｋ，ｉ）に対して最小の離間距離になる複数の特徴点のうち、時系列順に最も過去（すなわちインデクスが最小）の特徴点を選出してもよいし、時系列順に最新（すなわちインデクスが最大）の特徴点を選出してもよい。いずれの場合であっても、領域選出部２１５は、時系列座標Ｔ（ｋ，ｉ）毎に１つの特徴点を選出すればよい。

以上、説明したように、本発明の実施の形態２では、体内画像群に含まれる注目領域の領域グループのグループ特徴量に応じて決定した選出数と同数であって、Ｌａｂ−時系列特徴空間における特徴点クラスタに対応する領域グループ内の注目領域の特徴量の分布を時系列方向に等間隔に分割する時系列座標を算出し、この体内画像群内の各注目領域を代表する代表領域として、この選出数と同数の時系列座標毎に体内画像群内の注目領域を選出するようにし、その他を実施の形態１と同様に構成した。

このため、上述した実施の形態１の場合と同様の作用効果を享受するとともに、Ｌａｂ−時系列特徴空間内の特徴点クラスタを再度細分類処理することなく、上述した選出数と同数の注目領域を代表領域として選出しているため、実施の形態１の場合に比して短時間に、体内画像群の中から注目領域を選出することができ、この結果、観察すべき注目領域を含む体内画像を出力するまでに必要な処理時間の短時間化を一層促進できる画像処理装置、画像処理プログラムおよび画像処理方法を実現することができる。

なお、上述した実施の形態１，２では、単一の体内画像に単一の注目領域が被写体として含まれる場合を例示したが、これに限らず、単一の体内画像に複数の注目領域が被写体と含まれていてもよい。例えば、上述した体内画像群ＰＧ内の体内画像Ｐ（ｊ）に複数の注目領域Ａ（ｊ，ｔ）（ｔ≧２）が被写体として含まれる場合、これら複数の注目領域Ａ（ｊ，ｔ）は２以上のインデクスｔによって識別される。具体的には、この体内画像Ｐ（ｊ）に含まれる注目領域数が２つである場合、これらは、注目領域Ａ（ｊ，１），Ａ（ｊ，２）のように注目領域数と同数のインデクスｔによって識別される。なお、同一の体内画像に含まれる複数の注目領域の時系列座標は互いに同値である。

また、上述した実施の形態１，２では、画素値変換部１２ａは処理対象の体内画像におけるＲＧＢの色空間の値をＬ＊ａ＊ｂ＊空間の値に変換していたが、これに限らず、画素値変換部１２ａは処理対象の体内画像におけるＲＧＢの色空間の値をＬ＊ａ＊ｂ＊空間以外の色空間の値、例えば、Ｙｕｖ色空間の値に変換してもよいし、ＨＳＩ色空間の値に変換してもよい。

さらに、上述した実施の形態１，２では、病変領域等の注目領域の特徴量の一例として色特徴量を例示したが、これに限らず、上述した注目領域の特徴量は、注目領域の円形度等の形状特徴量であってもよいし、周囲長等の構造特徴量であってもよいし、体内画像における注目領域の位置情報等の位置特徴量であってもよいし、これらのうちの少なくとも２つを組み合わせたものであってもよい。

また、上述した実施の形態１，２では、注目領域（または特徴点）の色特徴量である平均明度指数および平均知覚色度の各分散の合計値Ｓｕｍ（ｋ）を注目領域の領域グループのグループ特徴量としていたが、これに限らず、上述したグループ特徴量算出部１４は、注目領域の色特徴量の各分散の平均値をグループ特徴量として算出してもよいし、注目領域の色特徴量の各標準偏差の合計値または平均値をグループ特徴量として算出してもよい。あるいは、グループ特徴量算出部１４は、上述した注目領域の色特徴量に基づいた分散または標準偏差等の値に、注目領域の時系列方向の分散を加味（例えば加算）した値をグループ特徴量として算出してもよい。

さらに、上述した実施の形態１，２では、病変領域等の注目領域が属する領域グループのグループ特徴量に応じて代表的な注目領域（すなわち代表領域）の選出数を決定していたが、これに限らず、Ｌａｂ−時系列特徴空間における特徴点または特徴点クラスタ毎に属する注目領域の特徴量（例えば色特徴量）のばらつきに応じて代表領域の選出数を決定してもよい。なお、被検体内部のカプセル内視鏡が動きの無い状態で時系列順に順次撮像した体内画像群においては、撮像された注目領域の色、形状等の特徴量変化が画像間で少ない。一方、被検体内部のカプセル内視鏡が動きの有る状態で時系列順に順次撮像した体内画像群においては、撮像された注目領域の色、形状等の特徴量変化が画像間で多少ある。すなわち、動きの有るカプセル内視鏡によって撮像された体内画像群の方が病変領域等の注目領域の見え方に変化があり、観察すべき注目情報をより多く有している。このため、動きの有るカプセル内視鏡によって撮像された体内画像群を処理する場合は、Ｌａｂ−時系列特徴空間における特徴点または特徴点クラスタ毎に属する注目領域の特徴量のばらつきに応じて代表領域の選出数を変化させることが望ましい。

また、上述した実施の形態２では、上述した式（３）に基づいて時系列座標を算出していたが、これに限らず、上述した時系列座標は、時系列順に撮像された体内画像群内の各体内画像のフレーム番号（画像番号）であってもよい。なお、同一のフレーム番号の体内画像内に特徴が類似する複数の注目領域が被写体として含まれる場合、代表領域として選出される注目領域は、これら複数の注目領域のいずれであってもよい。

さらに、上述した実施の形態１，２では、注目領域の特徴点は、注目領域の色特徴量（例えばＬ＊ａ＊ｂ＊空間の平均明度指数および平均知覚色度等）の座標軸と時系列の座標軸とによって形成される特徴空間に分布していたが、これに限らず、本発明における注目領域の特徴点は、注目領域の色特徴量、注目領域の円形度等の形状特徴量、注目領域の周囲長等の構造特徴量、注目領域の位置情報等の位置特徴量、および時系列のうちのいずれか２つの座標軸によって形成される特徴空間に分布してもよい。例えば、注目領域の特徴点は、色特徴量および形状特徴量の各座標軸によって形成される特徴空間に分布してもよいし、形状特徴量および時系列の各座標軸によって形成される特徴空間に分布してもよい。

また、上述した実施の形態１，２では、処理対象の時系列画像群の一例として被検体の体内画像群を例示したが、これに限らず、本発明における処理対象の時系列画像群は、時系列に沿って順次撮像された画像群であれば、被検体の消化管内部等の体内が時系列順に撮像された体内画像群でなくてもよく、その被写体は消化管内部等の被検体内部以外の所望のものであってもよい。すなわち、時系列画像群に含まれる注目領域は、被検体の体内領域に限らず、観察者が観察する所望の領域であってもよい。また、上述した画像入力装置１は、カプセル内視鏡等によって撮像された体内画像群を画像処理装置に入力するものに限らず、所望の被写体を撮像した時系列画像群を記憶して画像処理装置にこの時系列画像群を入力する装置であってもよいし、自らが時系列画像群を撮像し、得られた時系列画像群を画像表示装置に入力するデジタルカメラ等の電子撮像装置であってもよい。

さらに、上述した実施の形態１，２では、時系列画像群のうちの注目領域を含む代表画像を表示対象の時系列画像として表示装置３に出力していたが、これに限らず、本発明にかかる画像処理装置、画像処理プログラムおよび画像処理方法は、時系列画像群のうちの注目領域を含む代表画像を記憶対象の時系列画像として記憶装置に出力するものであってもよいし、時系列画像群のうちの注目領域を含む代表画像を印刷対象の時系列画像としてプリンタに出力するものであってもよい。すなわち、本発明にかかる画像処理装置から注目領域を含む代表画像を受信する装置は、上述した表示装置３に限らず、ハードディスク等の記憶装置であってもよいし、プリンタであってもよい。

また、上述した実施の形態１，２では、処理プログラムを実行する制御部の動作に基づいたソフトウェアによる画像処理装置の処理手順を説明したが、これに限らず、本発明にかかる画像処理装置は、ハードウェアによる処理手順を実行してもよい。

また、上述した実施の形態１，２では、観察の必要性が高い注目領域として粘膜領域または病変領域等の体内領域を例示したが、これに限らず、被検体内部の観察内容によっては、泡または便等の体内領域が注目領域であってもよく、また、粘膜領域または病変領域等の体内領域（実施の形態１，２における注目領域）が非注目領域であってもよい。

以上のように、本発明にかかる画像処理装置、画像処理プログラムおよび画像処理方法は、時系列に沿って撮像された時系列画像群の観察に有用であり、特に、非注目領域を含む時系列画像の観察または同一注目領域の繰り返しとなる複数の時系列画像の観察に費やされる無駄な時間を削除して、時系列画像群の観察者による観察の負担を軽減することができる画像処理装置、画像処理プログラムおよび画像処理方法に適している。

１ 画像入力装置
２，２０２ 画像処理装置
３ 表示装置
１０，２１０ 演算部
１１ 注目領域検出部
１２ 特徴量算出部
１２ａ 画素値変換部
１２ｂ 平均値算出部
１３ 領域分類部
１３ａ 隣接状況判定部
１３ｂ 類似度判定部
１４ グループ特徴量算出部
１５，２１５ 領域選出部
１５ａ 選出数決定部
１５ｂ 細分類処理部
１５ｃ 重心算出部
１５ｄ 最近領域選出部
１５ｅ 関数部
１６ 代表画像出力部
２０ 入力部
３０ 記憶部
４０ 制御部
１００，２００ 画像表示システム
Ａ（１，ｔ）〜Ａ（７，ｔ） 注目領域
Ｃ（１）〜Ｃ（６） 特徴点
ＣＧ（１）〜ＣＧ（３），ＣＧ（１１），ＣＧ（１２） 特徴点クラスタ
Ｄ１〜Ｄ３ 重心
Ｐ（１）〜Ｐ（Ｎ） 体内画像
ＰＧ 体内画像群

Claims (17)

1. 時系列に沿って撮像された時系列画像群に含まれる注目領域を検出する注目領域検出部と、
   前記注目領域の特徴を示す特徴量を算出する算出処理部と、
   前記注目領域の特徴量と、前記注目領域を含む時系列画像の時系列位置とに基づいて、前記注目領域をいずれかの領域グループに分類する領域分類部と、
   前記領域グループ毎の特徴を示すグループ特徴量を算出するグループ特徴量算出部と、
   前記グループ特徴量をもとに、前記領域グループの中から前記領域グループに属する前記注目領域を代表する１以上の代表領域を選出する領域選出部と、
   前記時系列画像群のうちの前記代表領域を含む１以上の代表画像を出力する代表画像出力部と、
   を備えたことを特徴とする画像処理装置。
2. 前記領域分類部は、前記検出された注目領域同士の特徴量の類似性を示す類似度と、前記検出された注目領域を含む各々の時系列画像の時系列位置の関係とに基づいて、前記検出された注目領域をいずれかの領域グループに分類することを特徴とする請求項１に記載の画像処理装置。
3. 前記領域分類部は、
   前記注目領域検出部が検出した複数の前記注目領域が時系列的に隣接するか否かを判定する隣接状況判定部と、
   前記算出処理部が算出した複数の前記注目領域の特徴量の類似度を判定する類似度判定部と、
   を備え、
   前記領域分類部は、前記隣接状況判定部が判定した複数の前記注目領域の隣接状況と前記類似度判定部が判定した複数の前記注目領域の特徴量の類似度とをもとに、複数の前記注目領域をいずれかの領域グループに分類することを特徴とする請求項２に記載の画像処理装置。
4. 前記領域分類部は、前記注目領域の特徴量の座標軸および時系列の座標軸によって形成される特徴空間における前記注目領域の特徴量の分布状態と前記注目領域の時系列的な分布状態とに基づいて、複数の前記注目領域をいずれかの領域グループに分類することを特徴とする請求項３に記載の画像処理装置。
5. 前記隣接状況判定部は、複数の前記領域グループから各々選出した領域グループ別の各注目領域が時系列的に隣接状態または同一状態であるか否かを判定し、
   前記領域分類部は、前記領域グループ別の各注目領域が時系列的に隣接状態または同一状態である場合、複数の前記領域グループを同一の領域グループに統合することを特徴とする請求項３または４に記載の画像処理装置。
6. 前記注目領域の特徴量は、色特徴量であることを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
7. 前記算出処理部は、
   前記注目領域に属する画素の値をＬ＊ａ＊ｂ＊空間の値に変換する画素値変換部と、
   前記画素値変換部が変換出力したＬ＊ａ＊ｂ＊空間の値の平均値を前記注目領域の色特徴量として算出する平均値算出部と、
   を備えたことを特徴とする請求項６に記載の画像処理装置。
8. 前記グループ特徴量算出部は、前記特徴空間における前記注目領域の特徴量の分散を算出し、この算出した前記分散をもとに前記領域グループのグループ特徴量を算出することを特徴とする請求項４〜７のいずれか一つに記載の画像処理装置。
9. 前記領域選出部は、前記グループ特徴量に基づいて前記代表領域の選出数を決定する選出数決定部を備え、前記領域グループの中から前記選出数と同数の前記代表領域を選出することを特徴とする請求項１〜８のいずれか一つに記載の画像処理装置。
10. 前記選出数決定部は、前記グループ特徴量と前記選出数との関係を示す関数を設定する関数部を備え、前記関数部が設定した前記関数に基づいて前記選出数を決定することを特徴とする請求項９に記載の画像処理装置。
11. 前記領域選出部は、前記領域グループに含まれる複数の前記注目領域の特徴量に基づいて、前記選出数と同数の類似グループに複数の前記注目領域を細分類する細分類処理部を備え、前記類似グループ毎に１つの注目領域を選出することによって前記選出数と同数の前記代表領域を選出することを特徴とする請求項９または１０に記載の画像処理装置。
12. 前記領域選出部は、
    前記類似グループに含まれる複数の前記注目領域の特徴量の重心を前記類似グループ毎に算出する重心算出部と、
    前記類似グループに含まれる複数の前記注目領域の中から、前記重心に最近の注目領域を選出する最近領域選出部と、
    を備え、
    前記領域選出部は、前記代表領域として前記最近の注目領域を前記類似グループ毎に選出することを特徴とする請求項１１に記載の画像処理装置。
13. 前記領域選出部は、前記選出数に対応して、複数の前記注目領域の特徴量の分布を時系列方向に等間隔に分割する時系列座標を算出し、前記代表領域として、複数の前記注目領域の中から前記時系列座標に最近の注目領域を前記選出数と同数選出することを特徴とする請求項９または１０に記載の画像処理装置。
14. 前記時系列画像群は、被検体の消化管内部を時系列に沿って撮像した体内画像群であることを特徴とする請求項１〜１３のいずれか一つに記載の画像処理装置。
15. 前記注目領域は、被検体内部の病変領域または粘膜領域であることを特徴とする請求項１〜１４のいずれか一つに記載の画像処理装置。
16. 時系列に沿って撮像された時系列画像群に含まれる注目領域を検出する注目領域検出手順と、
    前記注目領域の特徴を示す特徴量を算出する算出処理手順と、
    前記注目領域の特徴量と、前記注目領域を含む時系列画像の時系列位置とに基づいて、前記注目領域をいずれかの領域グループに分類する領域分類手順と、
    前記領域グループ毎の特徴を示すグループ特徴量を算出するグループ特徴量算出手順と、
    前記グループ特徴量をもとに、前記領域グループの中から前記領域グループに属する前記注目領域を代表する１以上の代表領域を選出する領域選出手順と、
    前記時系列画像群のうちの前記代表領域を含む１以上の代表画像を出力する代表画像出力手順と、
    をコンピュータに実行させることを特徴とする画像処理プログラム。
17. 時系列に沿って撮像された時系列画像群に含まれる注目領域を検出する注目領域検出ステップと、
    前記注目領域の特徴を示す特徴量を算出する算出処理ステップと、
    前記注目領域の特徴量と、前記注目領域を含む時系列画像の時系列位置とに基づいて、前記注目領域をいずれかの領域グループに分類する領域分類ステップと、
    前記領域グループ毎の特徴を示すグループ特徴量を算出するグループ特徴量算出ステップと、
    前記グループ特徴量をもとに、前記領域グループの中から前記領域グループに属する前記注目領域を代表する１以上の代表領域を選出する領域選出ステップと、
    前記時系列画像群のうちの前記代表領域を含む１以上の代表画像を出力する代表画像出力ステップと、
    を含むことを特徴とする画像処理方法。

Images