JP4025621B2 - 画像処理装置及び内視鏡画像処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、電子内視鏡で撮像生成した内視鏡画像データと、電子内視鏡挿入部の挿入形状を示す形状データとを相互に関連づけして記録再生可能とする画像処理装置及び内視鏡画像処理装置に関する。
【０００２】
【従来の技術】
一般に電子内視鏡は、先端に電子撮像素子を設けた細長で可撓性を有する挿入部を有し、この挿入部を体腔内の管腔である被検体部に外部から挿入し、挿入部先端の電子撮像素子で撮像生成した画像信号を基にモニタ画面に再生される画像から被検体部を観察したり、及び挿入部に設けられた鉗子チャンネルから挿入された処置用鉗子で生体組織の採取や治療処置を行うようになっている。
【０００３】
ところで、体腔内の管腔は、例えば、大腸や小腸等のように曲がっており、このような曲がった管腔内に内視鏡を挿入観察する際に、内視鏡挿入部が管腔のどの位置まで挿入されているか、あるいは内視鏡挿入部がどのような形状になっているか判明すると、内視鏡による観察処置の操作性が向上する。
【０００４】
このため内視鏡の挿入部が管腔内に挿入された位置や、挿入形状等を被検体である人体に無害で、いかなる管腔でも使用できる内視鏡の形状検出装置が提案されている。
【０００５】
例えば、内視鏡の挿入部のチャンネルにプローブソースコイルを内蔵したプローブが挿通され、そのプローブソースコイルに磁界発生駆動信号を供給し、そのプローブソースコイルから発生した磁界を被検体が載置されるベッドの所定位置に設けた複数の３軸センスコイルで検出し、そのセンスコイルの検出信号を基にプローブソースコイルの位置を算出する。その算出した位置から挿入部の形状画像情報を生成し、その形状画像情報を基にモニタに挿入部の形状画像として表示すると共に、その形状画像を互いに直交する２つの視点方向の形状画像も生成して、モニタに２つの画面を同時表示することを可能とする内視鏡形状検出装置がある（例えば、特許文献１参照）。
【０００６】
また、複数の第１のコイルからなるソースコイルと、このソースコイルの複数の第１のコイルからの磁界を検出する複数の第２のコイルからなるセンスコイルと、前記ソースコイルまたはセンスコイルのいずれか一方を体腔内に挿入される内視鏡の挿入部に配置し、前記センスコイルで検出したソースコイルの磁界に基づいて、内視鏡挿入部の形状を推定する形状推定手段とを有する内視鏡形状検出装置において、前記形状推定手段で推定した挿入部形状から特定の形状を検出し、その特定形状が検出されると警告を発生する内視鏡形状検出装置がある（例えば、特許文献２参照）。
【０００７】
【特許文献１】
特開平８−１０７８７５号公報（カラム００１７乃至カラム０１７８、図１乃至図１３）。
【０００８】
【特許文献２】
特開２０００−１７５８６１号公報（カラム００１１乃至カラム００４９、図１乃至図１０）。
【０００９】
【発明が解決しようとする課題】
従来、内視鏡による被検体の観察中の術者の意識は、主に管腔の観察部位を撮像生成した内視鏡画像に集中し、内視鏡挿入部の形状検出装置で生成表示される挿入部形状画像に集中されないことが多く、内視鏡挿入部の挿入進行に障害が生じて初めて挿入部形状画像に注目することになり、内視鏡観察の進行の妨げや被検体に対して不快感を生じさせる要因となる。
【００１０】
このような内視鏡観察の進行の迅速化と被検体に与える不快感を解消するためには、前記特許文献１に開示されている内視鏡形状装置は、モニタ画面に観察部位の内視鏡画像と、挿入部形状画像が同時に表示されることから術者の意識が両画像に払われるために、内視鏡観察の進行促進と被検体への不快感の解消が可能である。
【００１１】
また、特許文献２に開示されている内視鏡形状検出装置は、内視鏡挿入部の管腔への挿入過程で、ループを描いた場合に、被検体に不快感を与えることから、挿入部が管腔でループを描くような形状となった際に、そのロープ形状を検出して警告を発生することで、術者に注意を促す、被検体に対する不快感を未然に防止するものである。
【００１２】
これら内視鏡形状検出装置は、被検体の内視鏡画像と挿入部形状画像との記録については何ら示唆していない。一般に内視鏡観察では、内視鏡画像を録画記録して、後日の観察部位の確認や内視鏡操作の収得訓練に用いられる。
【００１３】
この内視鏡画像と挿入部形状画像の録画記録は、一般的にはビデオ機器が用いられることが多く、内視鏡画像と挿入部形状画像は、それぞれ異なるビデオ機器に記録されるために、再生表示する際に内視鏡画像と挿入部形状画像とが再生表示不一致となったり、または内視鏡画像と挿入部形状画像を単一のビデオ機器に同時録画記録するには、特殊なビデオ機器が必要となる。
【００１４】
このような内視鏡形状検出装置で検出した挿入部の形状画像と内視鏡画像とを共に記録すると共に、その記録時に、挿入部形状画像に関連付けて内視鏡画像を記録する内視鏡画像ファイリングシステムが特願２００１−３４７９０９号に提案されている。
【００１５】
しかし、この特願２００１−３４７９０９号に提案されている内視鏡画像のファイリングシステムは、内視鏡に設けられたレリーズボタンを操作したときの内視鏡画像と挿入形状を静止画の状態で記録している。このため、内視鏡観察の開始から終了までの観察行為全般にわたる確認や操作訓練には不向きである。
【００１６】
また、必要に応じて内視鏡画像や挿入形状画像の任意のフレームに対して、情報を付加したり、両画像の同期再生時に付加した情報を表示する機能については何ら示唆されていなく、内視鏡検査の開始から終了までの内視鏡画像や挿入形状画像の記録保存と、その記録保存された画像に付加情報の入力を可能にした内視鏡画像処理装置が要望されている。
【００１７】
本発明は、このような要望に鑑みてなされたもので、内視鏡挿入形状データと内視鏡画像データを共に保存し、両画像を同期再生可能な内視鏡画像処理装置を提供することを目的としている。
【００１８】
また、内視鏡画像データや挿入形状データに対して関連情報を付加することができ、保存された挿入形状データと内視鏡画像との同期再生時に関連情報も共に表示可能である内視鏡画像処理装置を提供することを第２の目的としている。
【００１９】
【課題を解決するための手段】
本発明の画像処理装置は、内視鏡装置、及びその周辺機器と接続可能な画像処理装置において、内視鏡挿入部の形状を検出するとともに、当該形状を表示するためのデータを出力する形状観測装置から第１のデータを受信して保存する第１のデータ保存手段と、前記内視鏡装置から内視鏡画像データを含む第２のデータを受信して保存する第２のデータ保存手段と、前記内視鏡挿入部の形状を検出した検出時間の情報と前記内視鏡画像データに含まれる時間情報との対応表を作成する作成手段と、前記第１のデータ及び第２のデータを前記対応表に基づいて再生するとともに、同期した状態あるいは単独でモニタに表示させる再生手段と、を有することを特徴とする。
【００２０】
この内視鏡画像処理装置は、内視鏡画像と挿入形状データとを保存し、同期再生を行うことにより、内視鏡画像とその時の内視鏡挿入部形状を自由に対比することができる。
【００２１】
本発明の内視鏡画像処理装置は、前記第１のデータと第２のデータをデータの特徴により検索を実行する検索手段と、前記検索手段により検索されたデータに関連情報を付加する機能を有する検索結果情報付加手段と、前記再生手段は、前記検索結果情報付加機能により付加された情報を前記第１と第２のデータの再生時にモニタに表示させることを特徴としている。
【００２２】
この内視鏡画像処理装置は、内視鏡画像と挿入形状に関連する情報を入力し、同期再生を行うことにより、内視鏡画像とそのときの内規鏡挿入形状、関連情報を自由に対比することができる。また、検査後に内視鏡画像および挿入形状を同期再生時に、それらに対する所見を記録することができる。
【００２３】
本発明の内視鏡画像処理装置は、前記第１および／または第２のデータ保存手段で受信保存する第１と第２のデータを解析する解析手段と、前記解析手段による解析結果を基に、処理を決定し実行する処理手段と、を有することを特徴としている。
【００２４】
この内視鏡画像処理装置は、挿入形状を認識した際に認識結果を表示し、認識結果の関連情報を表示するなどの処理をすることにより、術者の内視鏡形状の正確な把握と、関連情報の理解を促すことができる。
【００２５】
本発明の内視鏡画像処理装置は、被検体を内視鏡により観察して内視鏡画像を得る内視鏡装置から受信した前記被検体の内視鏡画像データを記憶する内視鏡画像データ記憶手段と、前記被検体に挿入した内視鏡の挿入形状を検出する挿入形状検出装置から受信した該内視鏡の挿入形状を表す挿入形状データを記憶する挿入形状データ記憶手段と、前記内視鏡画像データ記憶手段から前記記憶された内視鏡画像データを読み出し、前記挿入形状データ記憶手段から前記記憶された挿入形状データを読み出し、該読み出された内視鏡画像データが有する該内視鏡画像データ取得時の取得時間情報と、該読み出された前記挿入形状データが有する該挿入形状データ取得時の取得時間情報とに基づき、前記読み出された内視鏡画像データによる内視鏡画像と、該内視鏡画像データに対応する挿入形状データとを対応させて表示するように制御する表示制御手段と、を備えたことを特徴としている。
【００２６】
この内視鏡画像処理装置は、内視鏡画像と挿入形状データとを保存し、同期再生を行うことにより、内視鏡画像とそのときの内視鏡挿入部形状を自由に対比することができる。
【００２７】
本発明の内視鏡画像処理装置は、前記表示制御手段により表示制御されて表示している前記内視鏡画像または前記挿入形状に関連する付加情報を入力する関連情報入力手段と、前記関連情報入力手段により入力された付加情報を該内視鏡画像または該挿入形状に関連付けて記憶する付加情報記憶手段と、を更に有することを特徴としている。
【００２８】
この内視鏡画像処理装置は、内視鏡画像と挿入形状に関連する情報を入力し、同期再生を行うことにより、内視鏡画像とそのときの内規鏡挿入形状、関連情報を自由に対比することができる。また、検査後に内視鏡画像および挿入形状を同期再生時に、それらに対する所見を記録することができる。
【００２９】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。本発明に係る内視鏡画像処理装置の第１の実施形態を図１乃至図６を用いて詳細に説明する。
【００３０】
図１は本発明に係る電子内視鏡システムの全体構成を示すブロック図、図２は本発明に係る電子内視鏡システムの内視鏡画像処理装置の第１の実施形態における内視鏡画像と内視鏡挿入形状等のデータ記録保存する処理動作を説明するフローチャート、図３は本発明に係る内視鏡画像処理装置の第１の実施形態における内視鏡画像と挿入形状の同期再生処理動作を説明するフローチャート、図４は本発明に係る内視鏡画像処理装置の第１の実施形態における内視鏡画像と挿入形状を再生表示する再生表示処理動作を説明するフローチャート、図５は本発明に係る内視鏡画像処理装置の第１の実施形態における内視鏡画像と挿入形状データを記録保存する際のディスプレイに表示されるウインドウと表示画面を説明する説明図、図６は本発明に係る内視鏡画像処理装置の第１の実施形態における内視鏡画像と挿入形状を同期再生する際のディスプレイに表示されるウィンドウと表示画面を説明する説明図である。
【００３１】
最初に本発明に係る内視鏡画像処理装置を用いた電子内視鏡システム１を図１を用いて説明する。
【００３２】
電子内視鏡システム１は、内視鏡装置２と、内視鏡挿入形状観測装置３、及び画像処理装置４から構成されている。
【００３３】
内視鏡装置２は、電子内視鏡１２、ビデオプロセッサ１０、光源装置１１、及び観察モニタ１４からなっている。
【００３４】
電子内視鏡１２は、図示していないが、体腔内の管腔に挿入される細長の挿入部先端に電子撮像素子が設けられ、その電子撮像素子を駆動制御して管腔の観察部位の撮像映像信号を生成出力させると共に、挿入部内に設けたライトガイドにより管腔の観察部位を照明するようになっている。
【００３５】
更に、電子内視鏡１２の挿入部の先端部分には、湾曲部が設けられ、挿入部基端に設けられた操作部から湾曲操作可能になっている。
【００３６】
更にまた、電子内視鏡１２の操作部には、レリーズスイッチ１２ａと、ビデオプロセッサ１０との間で電子撮像素子を駆動制御したり、撮像生成された撮像映像信号を送受信するケーブルと、光源装置１１からの照明光をライトガイドに導くライトガイドケーブル等が設けられている。このレリーズスイッチ１２ａが操作されると、後述する静止画の記録が実行される。
【００３７】
また、電子内視鏡１２は、図示していないが、管腔での挿入部の挿入位置や形状を検出するための検出機能が設けられている。この挿入部形状検出機能は、前述した従来と同様に、内視鏡の挿入部に設けられた複数のソースコイルと、内視鏡挿入形状観測装置３に設けられた図示していない複数のセンスコイルからなる。
【００３８】
ビデオプロセッサ１０は、前記電子内視鏡１２の電子撮像素子を駆動制御すると共に、電子撮像素子で光電変換し生成された撮像映像信号を所定の信号処理を行い、色信号や輝度信号からなるＹ／Ｃ信号、またはＲＧＢ信号等を生成する。
【００３９】
このビデオプロセッサ１０で生成された輝度信号と色信号からなるＹ／Ｃ信号またはＲＧＢ信号は、観察モニタ１４と、画像処理装置１５へと直接出力されるようになっている。
【００４０】
また、レリーズスイッチ１２ａが操作されると、撮像画像の静止画像の出力指示が可能となっている。
【００４１】
なお、ビデオプロセッサ１０には、図示していないが、内視鏡検査に関する検査情報を入力する機能を有している。
【００４２】
光源装置１１は、照明光源であるランプと、そのランプの点灯回路等からなり、ランプ点灯時に投射された照明光を前記電子内視鏡１２のライトガイドへと供給し、挿入部先端から管腔の観察部位へと投射される。
【００４３】
観察モニタ１４は、前記ビデオプロセッサ１０で生成されたＹ／Ｃ信号またはＲＧＢ信号等を基に内視鏡画像を表示するものである。
【００４４】
内視鏡挿入形状観測装置３は、内視鏡装置２の周辺装置であり、内視鏡挿入形状観測装置３に設けられた図示していないセンスコイルにより検出した前記電子内視鏡１２に設けられたソースコイルの磁界を基に、各ソースコイルの位置座標データ算出や、その算出された位置座標データから挿入部の形状を推定形成して、挿入部形状画像信号を生成する形状処理装置１３と、その形状処理装置１３で生成された挿入部形状画像信号を基に挿入形状画像を表示するモニタ１３ｂからなっている。
【００４５】
なお、この内視鏡挿入形状観測装置３は、形状処理装置１３で処理生成されてモニタ１３ｂに表示される挿入部形状画像の回転角、拡大縮小率等の形状表示属性を、図示していない操作パネルからの指示入力により、変更可能となっている。
【００４６】
前記形状処理装置１３には、通信ポート１３ａが設けられ、内視鏡挿入形状を示す３次元座標情報、及び形状表示属性等の挿入形状データを画像処理装置４へ出力可能となっている。
【００４７】
なお、電子内視鏡得１２に設けられているレリーズスイッチ１２ａの操作時の挿入形状データのみを出力させることもできる。
【００４８】
画像処理装置４は、パーソナルコンピュータ（以下。単にＰＣと称する）１５と、このＰＣ１５に各種指示入力するためのマウス１６とキーボード１７と、及びＰＣ１５で処理された各種情報データや画像情報を再生表示するディスプレイ１８からなっている。
【００４９】
更に、ＰＣ１５には、前記内視鏡挿入形状観測装置３の形状処理装置１３の通信ポート１３ａから出力される挿入形状データを取り込む通信ポート１５ａ、前記内視鏡２のビデオプロセッサ１０の通信ポート１０ａから出力される内視鏡検査情報を取り込む通信ポート１５ｂと、及び前記内視鏡２のビデオプロセッサ１０で生成された動画映像信号を所定の圧縮画像データに変換する動画像入力ボード１５ｃを有している。
【００５０】
つまり、画像処理装置４の動画像入力ボード１５ｃには、前記ビデオプロセッサ１０で生成された動画像の映像信号が入力されて、その動画像の映像信号を所定の圧縮動画映像信号データ、例えば、ＭＪＰＥＧ形式の圧縮画像データに変換して、ＰＣ１５の図示していない記録装置に保存される。
【００５１】
なお、一般的には、内視鏡検査開始前には、ビデオプロセッサ１０から、内視鏡検査に関連する検査情報が入力され、その入力された検査情報データを基に観察モニタ１４に文字や数字の形式で表示されると共に、その検査情報データは、通信ポート１０ａから通信ポート１５ｂを介して、画像処理装置４に送信記録することも可能である。
【００５２】
なお、検査情報とは、例えば、患者の氏名、生年月日、性別、年齢、患者コード、及び検査日時などである。
【００５３】
つまり、画像処理装置４は、必要に応じてビデオプロセッサ１０と接続して、ビデオプロセッサ１０からの各種情報データを受信保存するようになっている。
【００５４】
このような構成の電子内視鏡システム１における画像処理装置４の動作を説明する。最初に、内視鏡挿入形状観測装置３の形状処理装置１３からの内視鏡挿入形状データ、前記ビデオプロセッサ１０からの検査情報と内視鏡画像を取得保存する処理動作について図２と図５を用いて説明する。
【００５５】
この処理動作は、画像処理装置４に設けられている内視鏡検査用アプリケーションを駆動させることで実現される。内視鏡検査を始めるにあたり、ビデオプロセッサ１０では検査情報を入力し、画像処理装置４では内視鏡検査用アプリケーションを起動させる。この内視鏡検査用アプリケーションを起動させるとディスプレイ１８には、図５（ａ）に示す検査ウィンドウ１００、及び図５（ｂ）に示す内視鏡画像ウィンドウ１０５が表示されるようになっている。
【００５６】
この画像処理装置４のＰＣ１５が内視鏡検査用アプリケーションを駆動し、且つ、ディスプレイ１８に検査ウィンドウ１００が表示されると、ＰＣ１５はステップＳ１で、ビデオプロセッサ１０からの検査情報および内視鏡画像データ、内視鏡挿入形状観測装置１３からは挿入形状データを受信保存するモードに設定される。
【００５７】
次に、ＰＣ１５はステップＳ２で、術者がマウス１６またはキーボード１７を操作して、前記検査ウィンドウ１００に表示された検査開始ボタン（図中Ｓｔａｒｔ Ｅｘａｍ．と表記）１０１がオン操作されたかどうか判断する。検査開始ボタン１０１がオン操作されるまで待機し、オン操作されるとステップＳ３以降が実行される。
【００５８】
ＰＣ１５はステップＳ３で、通信ポート１５ａを開き、内視鏡挿入形状観測装置３の形状処理装置１３との通信を開始し、ステップＳ４で、通信ポート１５ｂを開き、ビデオプロセッサ１０との通信を開始する。
【００５９】
ＰＣ１５はステップＳ５で、ビデオプロセッサ１０に対して、検査情報の取得コマンドを通信ポート１５ｂからビデオプロセッサ１０の通信ポート１０ａに送信し、この検査情報取得コマンドを受信したビデオプロセッサ１０は、検査情報をＰＣ１５へと送信する。
【００６０】
このステップＳ５でビデオプロセッサ１０から送信され検査情報をＰＣ１５は、ステップＳ６で図示していない記録装置に記録保存する。
【００６１】
次に、ＰＣ１５はステップＳ７で、通信ポート１５ａから形状処理装置１３の通信ポート１３ａに対して挿入形状データの取得コマンドを送信し、その挿入形状データ取得コマンドを受信した形状処理装置１３は、挿入形状データの送信出力を開始する。この送信は、ＰＣ１５と形状処理装置１３の間の通信が終了し、通信ポート１５ａが閉じられるまで続けられる。
【００６２】
ＰＣ１５はステップＳ８で、前記ステップＳ７で形状処理装置１３から送信出力された挿入形状データを受信し、前記ステップＳ６で記録保存した検査情報と関連づけて、ＰＣ１５に設けられている図示していないハードディスクにファイル記録保存する（以下、挿入形状ファイルと称する）。
【００６３】
次に、ＰＣ１５はステップＳ９で、動画像入力ボード１５ｃに前記ビデオプロセッサ１０から入力された動画映像信号をＭＪＰＥＧ形式の圧縮画像データに変換して、前記ステップＳ６で記録保存した検査情報と関連付けて、ＰＣ１５の図示していないハードディスクにファイル記録保存する（以下、画像ファイルと称する）と共に、前記動画像入力ボード１５ｃに入力されている動画像を図５（ｂ）に示す内視鏡画像ウィンドウ１０５の内視鏡画像領域１０６に表示させる。
【００６４】
次に、ＰＣ１５はステップＳ１０で、検査ウィンドウ１００の検査終了ボタン（図中Ｅｎｄ Ｅｘａｍ．と表記）１０２が操作されたか判断し、検査終了ボタン１０２が操作されていないと判定されると前記ステップＳ８に戻り、検査終了ボタン１０２が操作されたと判定されると、ステップＳ１１で、通信ポート１５ａ、１５ｂを閉じて形状処理装置１３とビデオプロセッサ１０との情報データの通信を終了させる。
【００６５】
このようにして、画像処理装置４は、内視鏡装置２のビデオプロセッサ１０で入力して検査情報データと、電子内視鏡１２で撮像した映像信号を所定の圧縮画像データに変換した内視鏡画像データと、及び内視鏡挿入形状観測装置３で観測生成した挿入形状データを取得し、且つ、所定の記録装置に前記検査情報に関連付けて記録保存する。
【００６６】
次に、前記画像処理装置４に記録保存された検査情報データ、内視鏡画像データ、及び挿入形状データを基に、内視鏡画像と挿入形状画像の同期再生処理動作について図３と図６を用いて説明する。
【００６７】
なお、この処理動作において、内視鏡画像と挿入形状の同期再生と共に、再生の一時停止、再生終了、表示フレームを直接指定する機能、及び表示属性の変更に関しても説明する。
【００６８】
なお、表示属性としては、内視鏡挿入形状のＸ軸回りの回転と、Ｙ軸回りの回転で、挿入形状表示の座標系は、図６（ｂ）に示す挿入形状表示画面１３０内に示す。これらの機能は、画像処理装置４で動作させるビューアアプリケーション（以下、ビューアと省略する）で実行され、このビューアを起動すると、ディスプレイ１８には図６（ａ）に示す再生制御ウィンドウ１１０、図６（ｂ）に示す挿入形状表示ウィンドウ１３０、図６（ｃ）に示す内視鏡画像ウィンドウ１３５が表示される。
【００６９】
内視鏡画像、及び挿入形状画像のフレームレートは決まっており、更に、挿入形状画像は、１フレーム毎に記録時間が記録されるため、内視鏡画像と挿入形状画像の同期再生は、画像ファイル、および挿入形状ファイルの作成時間により再生開始時間を調整対応するフレーム表を作成すれば両者の同期再生は可能である。
【００７０】
例えば、画像ファイルの作成時間が１０時００分００秒、挿入形状ファイルの作成時間が１０時００分０１秒、内視鏡画像のフレームレートが毎秒３０枚、挿入形状のフレームレートが毎秒１５枚であるとすると、図１２に示すように画像ファイルの内視鏡画像フレーム番号と挿入形状ファイルのフレーム番号の関係表が形成でき、この関係表から対応するフレームを表示することで同期再生が可能となる。
【００７１】
なお、内視鏡画像、あるいは内視鏡挿入形状のみを単独に再生する場合は、図１２の関係を使用せず、後述する再生タイマーの処理間隔をフレームレートから決定して再生表示すればよい。
【００７２】
最初に、内視鏡画像と挿入形状画像との同期再生処理動作を行うために、術者は、前記ＰＣ１５のビューアを起動させて、ディスプレイ１８に図６（ａ）に示す再生制御ウィンドウ１１０、図６（ｂ）に示す挿入形状表示ウィンドウ１３０、図６（ｃ）に示す内視鏡画像ウィンドウ１３５を表示される。
【００７３】
この再生制御ウィンドウ１１０が表示されると、ＣＰＵ１５はステップＳ２１で、術者が内視鏡画像と挿入形状画像の同期再生を行う画像ファィルを指定する。この同期再生を行う画像ファイルの指定は、例えば、再生制御ウィンドウ１１０の再生ボタン（図中Ｐｌａｙと表記）１１１をマウス１６またキーボード１７を用いて操作すると、ディスプレイ１８にファイル選択用のウィンドウが表示されて、そのファイル選択用ウィンドウから画像ファイルを指定すると、その画像ファイルの検査情報で関連付けられた挿入形状ファイルが同期再生の相手となる。画像ファィルが含むフレーム数をＮｆとする。
【００７４】
このように、術者によって、ディスプレイ１８に表示されたファイル選択用ウィンドウから画像ファイルと、その画像ファィルに関連する挿入形状ファイルが選択されると、ＰＣ１５はステップＳ２２で、再生制御ウィンドウ１１０のスライダーコントロール１１４の範囲を最小値０、最大値をＮｆ−１に初期化する。
【００７５】
次に、ＰＣ１５はステップＳ２３で、各種変数の初期化を行う。この各種変数の初期は、現在の動作状態を示すステータスを再生Ｓｔ＝Ｐｌａｙｂａｃｋ、表示フレーム番号Ｆｒｍ＝０、Ｘ軸回りの回転角θｘ＝０、Ｙ軸回りの回転角θｙ＝０とする。
【００７６】
なお、再生フレーム番号Ｆｒｍは、内視鏡画像のフレーム番号を指しており、挿入形状を表示する際は、前記内視鏡画像のフレーム番号Ｆｒｍに対応する挿入形状フレームを図１２に示す関係表から探索する。
【００７７】
前記ステップＳ２３の各種変数の初期化が終了すると、ＰＣ１５はステップＳ２４で、再生タイマーを設定する。このタイマーは、ソフトウェアの多重化処理などに用いられるソフトウェアタイマーである。
【００７８】
この再生タイマーは、後述する内視鏡画像と挿入形状の表示処理を一定時間間隔で実行するもので、タイマーが処理する間隔は、内視鏡画像のフレームレートをｆ（ｆｐｓ）とすると、１／ｆ（ｓｅｃ）とする。
【００７９】
前記ステップＳ２４のタイマー設定処理が終了すると、ＰＣ１５はステップＳ２５で、再生制御ウィンドウ１１０の再生終了ボタン（図中Ｓｔｏｐと表記）１１３が操作されたか判定し、再生終了ボタン１１３が操作されたと判定されるとステップＳ３６で再生タイマーの駆動を終了させて、この内視鏡画像と挿入形状画像の同期再生表示の処理動作を終了させ、再生終了ボタン１１３は操作されていないと判定されると、ステップＳ２６で、再生制御ウィンドウ１１０のスライダーコントロール１１４のつまみ１１４ａが操作移動されたかどうか判定する。
【００８０】
このステップＳ２６のスライダーコントロール１１４は、術者により再生する内視鏡画像のフレームを直接指定するもので、その指定した内視鏡画像と関連する挿入形状画像を表示することができる。
【００８１】
なお、スライダーコントローラ１１４のつまみ１１４ａを移動させて、再生する内視鏡画像のフレームを指定した際には、同期再生は一時停止状態となり、つまみ１１４ａが移動された場合はステップＳ２７以降が実行され、つまみ１１４ａが移動していない場合は、ステップＳ３０以降が実行される。
【００８２】
前記ステップＳ２６でスライダーコントローラ１１４のつまみ１１４ａが移動して再生表示される内視鏡画像のフレームが指定されたと判定されると、ＰＣ１５はステップＳ２７で、再生タイマーによる内視鏡画像と挿入形状画像の更新を一時停止させるためにステータスを一時停止（Ｓｔ＝Ｐａｕｓｅ）にセットする。
【００８３】
次に、ＰＣ１５はステップＳ２８で、スライダーコントロール１１４のつまみ１１４ａで移動設定したフレーム位置を求め、その位置データを内視鏡画像ファイルの表示フレーム番号Ｆｒｍにセットし、ステップＳ２９で、前記ステップＳ２８で内視鏡画像ファイルの表示フレーム番号Ｆｒｍに対応する内視鏡画像フレームを図６（ｃ）の画像表示画面１３５に表示すると共に、Ｆｒｍに対応する挿入形状データ、及び表示属性を挿入形状ファイルから取得し、前記表示属性、及びＸ軸周りの回転角θｘ、Ｙ軸周りの回転軸θｙによる挿入形状の回転により再構成した挿入形状画像を図６（ｂ）の挿入形状表示画面１３０に表示して、前記ステップＳ２５へ戻る。
【００８４】
なお、この内視鏡画像ウィンドウ１３５及び挿入形状ウィンドウ１３０は、ディスプレイ１８に適当に重畳表示するか、予め与えた設定に従い、内視鏡画像、挿入形状を適当な縮尺で縮小して両ウィンドウが重ならないように表示しても良い。両ウィンドウの大きさは、ユーザが変更できるようにすることもできる。
【００８５】
前記ステップＳ２６で、スライダーコントローラ１１４のつまみ１１４ａが移動されていないと判定されると、ＰＣ１８はステップＳ３０で、再生制御ウィンドウ１１０の再生ボタン（図中Ｐｌａｙと表記）１１１が操作されたか判定され、この再生ボタン１１１が操作されてないと判定されると、ステップＳ３２以降が実行され、再生ボタン１１１が操作されたと判定されると、ステップＳ３１でＰＣ１５は、ステータスを再生（Ｓｔ＝Ｐｌａｙｂａｃｋ）にセットして、再生タイマーによる内視鏡画像と挿入形状画像の更新を再開させて、前記ステップＳ２５へと戻る。
【００８６】
前記ステップＳ３０で再生ボタン１１１が操作されていないと判定されると、ＰＣ１５はステップＳ３２で、再生制御ウィンドウ１１０の一時停止ボタン（図中Ｐａｕｓｅと表記）１１２が操作されたか判定し、一時停止ボタン１１２が操作されていないと判定されると、ステップＳ３４以降が実行され、一時停止ボタン１１２が操作されたと判定されると、ステップＳ３３でＰＣ１５は、ステータスを一時停止（Ｓｔ＝Ｐａｕｓｅ）にセットして、再生タイマーによる内視鏡画像と挿入形状画像の更新を一時停止させ、前記ステップＳ２５へと戻る。
【００８７】
前記ステップＳ３２で一時停止ボタン１１２が操作されていないと判定されると、ＰＣ１５はステップＳ３４で、挿入形状回転ボタン１１５（図中上下と左右方向の矢印キーで表記）が操作されたか判定し、操作されていないと判定されると前記ステップＳ２５に戻り、挿入形状回転ボタン１１５が操作されたと判定されると、ステップＳ３５で挿入形状回転ボタン１１５で操作された挿入形状画像の回転角の増減処理を行い、前記ステップＳ２５へと戻る。
【００８８】
このステップＳ３５で処置される回転角の増減処置は、例えば、挿入形状回転ボタン１１５の右向き矢印（→）が操作されると、Ｙ軸回りの回転角θｙをＣｙ増加させ、左向き矢印（←）が操作されると、Ｙ軸周りの回転角θｙをＣｙ減少させ、上向き矢印（↑）が操作されると、Ｘ軸周りの回転角θｘをＣｘ減少させ、下向き矢印（↓）が操作されると、Ｘ軸周りの回転角θｘをＣｘ増加させる。
【００８９】
なお、ＣｘとＣｙは、予め与えておく挿人形伏の回転角の増減量の定数で、単位は角度を表すラジアンである。このＣｘとＣｙの大きさを変えることにより、挿入形状回転ボタン１１５が操作されるたびに挿入形状の回転する度合いを変えることができる。
【００９０】
次に、前記ステップＳ２４の再生タイマーについて、図４を用いて説明する。この再生タイマーは、内視鏡画像、挿入形状の表示機能、及びスライダーコントロール１１４のつまみ１１４ａの位置更新機能を持つ。このつまみ１１４ａの位置更新機能により、内視鏡画像の全フレームの中で、現在どのフレームを表示しているかを術者が簡単に認識できるようになっている。
【００９１】
なお、ソフトウェアタイマーにより実現しているソフトウェアにおける多重化処理は、マルチスレッドによる手法により行っても良い。
【００９２】
１／ｆ（ｓｅｃ）毎に再生タイマー処理が呼ばれると、ＰＣ１５はステップＳ４１において、ステータスが再生（Ｓｔ＝Ｐｌａｙｂａｃｋ）であるか判定し、再生でないと判定されると、再生タイマーの処理を終了する。再生であると判定されると、ステップＳ４２に移行する。
【００９３】
ステップＳ４２でＰＣ１５は、内視鏡画像ファイルから、表示指定されているフレームの内視鏡画像データを復号化して内視鏡画像表示画面１３５の内視鏡画像表示領域１３６に表示させる。
【００９４】
次に、ＰＣ１５はステップＳ４３で、前記ステップＳ４２で内視鏡画像表示領域１３６に表示されている内視鏡画像のフレームに対応する挿入形状データ及び表示属性を挿入形状ファイルから読み取り、前記表示属性、及びＸ軸周りの回転角θｘ、Ｙ軸周りの回転角θｙによる回転により挿入形状画像として再構成して挿入形状表示ウィンドウ１３０の挿入形状画像表示領域１３１に表示する。なお、挿入形状のＸ軸とＹ軸の回転は、挿入形状の３次元座標に対して、公知の座標変換により行う。
【００９５】
次に、ＰＣ１５はステップＳ４４で、表示フレーム番号Ｆｒｍに１を加算（Ｆｒｍ＋１）し、ステップＳ４５でＦｒｍ＝Ｎｆ−１かどうか判断する。つまり、最終フレームまで再生表示したかどうか判定する。
【００９６】
このステップＳ４５で、最終フレームまで再生表示が完了したと判定されるとステップＳ４６でＰＣ１５はタイマーの駆動を終了させる。
【００９７】
前記ステップＳ４５で、最終フレームまで再生表示していないと判定されると、ステップＳ４７でＰＣ１５は、スライダーコントロール１１４のつまみ１１４ａの位置を、前記ステップＳ４４で表示フレーム番号Ｆｒｍに１を加算したフレームの位置にスライダコントローラ１１４のつまみ１１４ａを移動させて、再生タイマーの処理を終了する。
【００９８】
これにより、前記画像処理装置４に記録保存された内視鏡画像及び挿入形状データを用いて、ディスプレイ１８に同期再生表示させることが可能となる。
【００９９】
なお、画像処理装置４の機能は、ビデオプロセッサ１０、または内視鏡挿入形状観測装置３に内蔵保有しても良いことは明らかである。
【０１００】
また、内規鏡画像の保存形式は、動画像に限定されるものでなく、記録時間が明確であれば静止画の連続保存でも同様の効果が得られる。
【０１０１】
このようにして、内視鏡画像と挿入形状データとを記録保存し、同期再生を行うことにより、内視鏡画像とその時の内視鏡挿入部の形状を自由に対比することができ、内視鏡挿入操作の教育に有効に活用できる。
【０１０２】
また、内視鏡検査後に内視鏡挿入部の形状の表示属性を変えながら同期再生を行うことで、内視鏡挿入の困難性の原因、患者の不快感の原因等を探索する際の有効な機能となる。
【０１０３】
次に、本発明に係る画像処理装置の第２の実施形態について図７乃至図９を用いて説明する。この第２の実施形態は、内視鏡検査時に記録保存した内視鏡検査情報、内視鏡画像、及び挿入形状データ等のデータから所望の内視鏡画像や内視鏡挿入形状画像の検索と、それら検索した内視鏡画像や内視鏡挿入形状画像に情報を付加する機能を有するものである。
【０１０４】
この第２の実施形態の検索と情報付加機能を実行のために、ＰＣ１５において検索と情報付加機能を持つビューアを起動する。ビューアは、ディスプレイ１８に図９（ａ）に示す検索と情報付加用の再生制御ウィンドウ２１０と、図９（ｂ）に示す挿入形状ウィンドウ２３０と、図９（ｃ）に示す内視鏡画像ウィンドウ２３５を表示する。
【０１０５】
この検索と情報付加機能において、例えば、内視鏡挿入部のループ形状の検索例を用いて説明する。なお、認識可能なループとして、予め、αループ、Ｎループ、γループとし、挿入部形状は曲線と考えることができるため、曲線の特徴抽出技術を使用する。ここでは、説明を簡単にするために挿入部形状を２次元曲線で考え、例えば、Ｐ形フーリエ記述子を使用する。このＰ形フーリエ記述子は、電子情報通信学会論文誌ｖｏｌ．ｊ６７−Ａ Ｎｏ．３に示されている。
【０１０６】
この手法は、まず曲線をｎ個（ｎは分割数で正数）の線分で分割し、その線分の端点を複素表示し、各点での全曲率関数を定義し、全曲率関数をフーリエ変換して得られたパワースペクトルを曲線の特徴とする。各ループのＰ形フーリエ記述子による特徴をあらかじめ記憶しておき、それぞれのループのパワースペクトルをＣｒｉ（ｋ）、（ｋ＝０、…、ｎ−１）とし、ｉ＝０はαループ、ｉ＝２はＮループ、ｉ＝３はγループとする。
【０１０７】
この検索と情報付加機能の処理動作を図７を用いて説明する。前記ＰＣ１５はステップＳ５１で、ディスプレイ１８に表示されている再生制御ウィンドウ２１０において、再生表示対象もしくは検索対象の検査情報が選択されたか判定する。
【０１０８】
この再生表示対象もしくは検索対象の検査情報は、前記再生制御ウィンド２１０の検査情報表示領域２１９に表示されており、その検査情報のリストからマウス１６またはキーボード１７で選択する。
【０１０９】
このステップＳ５１で内視鏡検査情報リストから再生表示若しくは検索対象の検査情報が選択指示されたと判定されると、ステップＳ５２でＰＣ１５は、再生制御ウィンドウ２１０の検査情報表示領域２１９に表示されている検査情報リストの選択した検査情報を反転表示に表示変更する。
【０１１０】
前記ステップＳ５１で内視鏡検査情報リストからの選択が行われない場合は、その検査情報リストの最初にリストされている検査情報が選択されものと見なす。選択された検査情報に関連付けられている画像ファィルに含まれているフレーム数をＮｆとする。
【０１１１】
次に、ＰＣ１５はステップＳ５３で、再生制御ウィンドウ２１０の検索ボタン（図中Ｒｅｔｒｉｅｖａｌと表記）２１６が操作されたか判定し、検索ボタン２１６が操作されていないと判定されると、ステップＳ６０以降が実行され、検索ボタン２１６が操作されたと判定されると、ステップＳ５４でステータスを検索に設定（Ｓｔ＝Ｒｅｔｒｉｅｖａｌ）し、表示フレーム番号Ｆｒｍ＝０、Ｘ軸回りの回転角θｘ＝０、Ｙ軸回りの回転角θｙ＝０に設定する。なお、軸回りの回転の処理は前述の第１の実施形態と同じである。
【０１１２】
次に、ＰＣ１５はステップＳ５５で、図示しない検索情報ウィンドウをディスプレイ１８に表示させ、この検索情報ウィンドウを用いて、検索するループ形状等の検索情報を入力する。ここでは、αループを検索するための情報が入力されたとする。
【０１１３】
このステップＳ５５で検索するループ形状であるαループ情報が入力されると、ステップＳ５６で、挿入形状データから特徴データを１フレーム毎に算出する。この算出されたパワースペクトルをＣｊ（ｋ）、（ｋ＝０、…、ｎ−１）、（ｊ＝０、…、Ｎｆ−１）とする。
【０１１４】
次にＰＣ１５はステップＳ５７で、予め記憶しておいた代表的なループのパワースペクトルＣｒｉ（ｋ）と、前記ステップＳ５６で算出したパワースペクトルＣｊ（ｋ）との距離を求める。例えば、αループとパワースペクトルの距離が闇値より小さい場合は、Ｃｊ（ｋ）はαループであると判断する。この２つのパワースペクトルの距離は、例えばユークリッド距離を使用し、類似判定を全フレームに対して行う。
【０１１５】
ＰＣ１５はステップＳ５８において、スライダーコントロール２１４の範囲を最小値０、最大値をＮｆ−１に初期化し、ステップＳ５９で前記ステップＳ５６とＳ５７において、類似と判断されたフレーム位置を示す図形２１８をスライダーコントロール２１４の近傍に表示する。なお、図９（ａ）の再生制御ウィンドウ２１０のスライダーコントローラ２１４の図中の上側にフレーム位置図形２１８を表示している。このフレーム位置図形２１８は、ループの種類により色分けしても良い。
【０１１６】
次に、ＰＣ１５はステップＳ６０で、スライダーコントローラ２１４のつまみ２１４ａが移動されたか判定し、移動されていないと判定されるとステップＳ６３以降が実行され、つまみ２１４ａが移動したと判定されると、ステップＳ６１で移動したつまみ２１４ａの位置を検出して再生フレーム番号Ｆｒｍをつまみ位置にセットし、ステップＳ６２で、そのセットされたフレームの内視鏡静止画像と内視鏡挿入形状画像を表示する。表示方法はステップＳ２９と同様である。
【０１１７】
このステップＳ６２における内視鏡静止画像と内視鏡挿入画像の表示は、第１の実施形態と同様である。つまり、この内視鏡画像ウィンドウ２３５、及び挿入形状ウインドウ２３０は、ディスプレイ１８に適当に重畳表示するか、予め与えた設定に従い、内視鏡画像、挿入形状を適当な縮尺で縮小して両ウィンドウが重ならないように表示する。
【０１１８】
次に、ＰＣ１５はステップＳ６３で、前記再生制御ウィンドウ２１０の情報入力ボタン（図中Ｉｎｆｏｒｍａｔｉｏｎと表記）２１７が操作されたか判定し、操作されていないと判定されると、ステップＳ６５以降が実行され、情報入力ボタン２１７が操作されたと判定されると、ステップＳ６４で、ディスプレイ１８に表示されている内視鏡静止画像と内視鏡挿入形状画像に付加したい情報を図示していない情報入力ウィンドウを用いて入力する。この入力された付加情報は、前記内視鏡検査情報および再生フレーム番号（Ｆｒｍ）と関連付けて記録保存される。
【０１１９】
なお、この付加情報は、内視鏡画像と内視鏡挿入形状画像とは、別の情報として記憶できるようになっている。
【０１２０】
次に、ＰＣ１５はステップＳ６５で、再生ボタン（Ｐｌａｙ）２１１が操作されたか判定し、操作されたと判定されると前記ステップＳ２２（図３参照）以降の同期再生の処理動作に移行する。第２の実施形態におけるステップＳ２２〜Ｓ３６の同期再生処理は、再生終了ボタン、再生ボタン、一時停止ボタン、回転ボタン、スライダーコントロールは図６のものから図９のものに置き換えて処理は実行される。ステップＳ３６を実行後はステップＳ５１に戻るものとする。
【０１２１】
再生ボタン２１１が操作されていないと判定されると、ステップＳ６６で終了ボタン（Ｃｌｏｓｅ）２２０が操作されたか判定し、操作されていないと判定されると前記ステップＳ５１に戻り、終了ボタン２２０が操作されたと判定されるとステップＳ６７で、この検索と情報付加を行うビュアーを終了させる。
【０１２２】
以上説明したように、内視鏡検査後に、検索条件の基で検索した内視鏡画像と内視鏡挿入部形状画像に付加情報を追加入力することが可能となる。
【０１２３】
このように検索と情報付加機能により付加情報を追加入力した内視鏡画像と内視鏡挿入形状画像の同期再生動作は、前述の図３のステップＳ２２からＳ３６の処理と基本的に同じであるが、ステップＳ２４の再生タイマーの処理動作が異なるために、この検索と情報付加機能の再生タイマー処理動作について、図８を用いて説明する。
【０１２４】
この検索と情報付加機能の再生タイマー処理は、内視鏡画像フレームと内視鏡挿入形状の表示機能、付加情報表示機能、及びスライダーコントロールのつまみ位置の更新機能を実現する。
【０１２５】
ＰＣ１５はステップＳ７１で、ステータスが再生（Ｓｔ＝Ｐｌａｙｂａｃｋ）か判定し、再生（Ｐｌａｙｂａｃｋ）ではないと判定されると、この再生タイマー処理を終了する。再生であると判定されると、ステップＳ７２で内視鏡画像ファイルから指定されたフレームの内視鏡画像を復号化し、その復号化されたフレームの内視鏡画像をディスプレイ１８に図９（ｃ）に示す内視鏡画像ウィンドウ２３５の内視鏡画像領域２３６に表示する。
【０１２６】
次に、ＰＣ１５はステップＳ７３で、前記ステップＳ７２で復号化した内視鏡画像のフレームに対応する内視鏡挿入形状データ、及び表示属性を取得し、前記表示属性、及びＸ軸周りの回転角θｘ、Ｙ軸周りの回転角θｙによる回転により再構成した形状画像をディスプレイ１８に図９（ｂ）に示す挿入形状表示ウインドウ２３０の挿入部形状表示領域２３１に表示する。
【０１２７】
更に、ＰＣ１５はステップＳ７４で、前記ステップＳ７３と同様に復号化した内視鏡画像のフレームに対応する内視鏡挿入形状データから、前記ステップＳ５６とＳ５７（図７参照）と同様の方法により挿入形状を認識し、その結果を挿入形状表示画面２３０の認識結果表示領域２３２に表示する。認識できる形状は、例えば、αループ、Ｎループ、γループなどである。
【０１２８】
次に、ＰＣ１５はステップＳ７５で、前記復号化した内視鏡画像のフレームに対応する付加情報を検索して挿入形状表示ウィンドウ２３０の情報表示領域２３３に表示する。
【０１２９】
このようにして、ディスプレイ１８に指定したフレームの内視鏡画像と、そのフレームに対応する内視鏡挿入形状画像、挿入形状認識結果、及び付加情報が表示されると、ＰＣ１５はステップＳ７６で、ディスプレイ１８に表示しているフレームを示す再生フレーム番号Ｆｒｍに１を加算（Ｆｒｍ＋１）し、ステップＳ７７で、最終フレームまで再生表示したか判定し、最終フレームまで再生表示されたと判定されるとステップＳ７８でタイマー駆動を終了させる。
【０１３０】
前記ステップＳ７７で、最終フレームまで再生表示されていないと判定されると、ステップＳ７９で、スライダーコントロール２１４のつまみ２１４ａの位置をフレームに対応する位置に移動させて、この再生タイマーの処理を終了させる。
【０１３１】
以上説明したように、この第２の実施形態は、内視鏡検査の過程で撮像生成した内視鏡画像、及び内視鏡挿入形状画像から入力した検索事項で所望の画像を検索再生表示でき、且つ、その検索再生表示された画像に付加情報を追加入力できる。
【０１３２】
この第２の実施形態では、内視鏡挿入形状により検索し、その検索した内視鏡挿入形状に付加情報を入力する例に説明したが、内視鏡検査情報で検索して、その内視鏡検査情報に付加情報を入力したり、内視鏡画像検索により内視鏡画像を検索し、その検索した内視鏡画像に付加情報を入力したりできることは明らかである。
【０１３３】
なお、第２の実施形態の画像処理装置４の機能は、ビデオプロセッサ１０、または内視鏡挿入形状観測装置３に内蔵保有しても良いことは明らかである。
【０１３４】
また、内視鏡画像の保存形式は、動画像に限定されるものでなく、記録時間が明確であれば静止画の連続保存でも同様の効果が得られる。
【０１３５】
このようにして、内視鏡画像と挿入形状画像に関連する付加情報を入力記録保存し、同期再生を行うことにより、内視鏡画像とその時の内視鏡挿入部の形状、関連情報を自由に対比することができ、内視鏡挿入操作の教育に有効に活用できる。特に、関連情報の入力により内視鏡挿入の独学用アプリケーションとして使用できる。
【０１３６】
また、内視鏡検査後に内視鏡挿入部の形状の表示属性を変えながら同期再生を行うことで、内視鏡挿入の困難性の原因、患者の不快感の原因等を検討する際に有効で、その検討時に関連情報の付加が可能で、検討結果の記録保存ともなる。
【０１３７】
次に、本発明に係る画像処理装置の第３の実施形態を図１０と図１１を用いて説明する。
【０１３８】
この第３の実施形態の画像処理装置は、例えば、大腸内視鏡で内視鏡検査を行う場合、内視鏡挿入部を大腸に挿入していく過程で、挿入部がループを形成することがある。このループは、その形状によりαループ、Ｎループ、γループ等と称せられている。
【０１３９】
このようなループが形成されると被検体者である患者に不快感を与えることもあることから、内視鏡挿入部のループを解除して直線化させて患者への不快感を解消させている。 この内視鏡挿入部の直線化のための操作は、ループの状態に依存する。このため、挿入部のループの状態を認識表示し、且つ、内視鏡挿入部の操作方法を表示することにより、内視鏡検査の時間短縮化と患者の不快感軽減を図るものである。
【０１４０】
この第３の実施形態は、前述の第１の実施形態に加えて挿入形状の認識機能と、その認識結果および関連情報の表示機能を有するものである。これらの機能は、画像処理装置４で動作する検査用アプリケーションとして実現される。
【０１４１】
内視鏡検査を始めるにあたり、ビデオプロセッサ１０では検査情報を入力し、画像処理装置４では検査用アプリケーションを起動する。
【０１４２】
この検査用アプリケーションを起動するとディスプレイ１８に図１１（ａ）に示す検査ウィンドウ３００、及び図１１（ｂ）に示す内視鏡画像ウインドウ３０５が表示されるようになっている。
【０１４３】
この検査用アプリケーションでは、内視鏡挿入部のループの種類を認識し、その認識結果を表示し、且つ、その認識結果から関連情報である内視鏡挿入部の操作方法を検索して表示する例を用いて説明する。
【０１４４】
なお、以下の説明において、認識するループとしてα、Ｎ、γを考慮し、前述の第２の実施形態と同様にＰ形フーリエ記述子による特徴をあらかじめ記憶しておき、それぞれのループのパワースペクトルＣｒｉ（ｋ）、（ｋ＝０、…、ｎ−１）とし、ｉ＝０はα、ｉ＝２はＮ、ｉ＝３はγとする。
【０１４５】
また、各ループ状態に対応する内視鏡挿入部の操作方法は、あらかじめデータベースに登録しておき、認識結果を検索キーとして、その内視鏡挿入部の操作方法を検索できるようになっている。
【０１４６】
前述したように、検査用アプリケーションが起動すると、ＰＣ１５はステップＳ９１で、ディスプレイ１８に表示されている図１１（ａ）に示す検査ウインドウ３００、及び図１１（ｂ）に示す内視鏡画像ウインドウ３０５が表示され、ビデオプロセッサ１０と形状処理装置１３からの内視鏡画像、検査情報、及び挿入形状データの受信保存モードに設定され、ステップＳ９２で検査ウィンドウ３００の検査開始ボタン（図中Ｓｔａｒｔ Ｅｘａｍ．と表記）３０１がマウス１６またはキーボード１７で操作されるまで待機する。
【０１４７】
前記検査開始ボタン３０１が操作されると、ＰＣ１５はステップＳ９３で、通信ポート１５ａを開き、内視鏡挿入形状観測装置３の形状処理装置１３との通信を開始する。
【０１４８】
次に、ＰＣ１５はステップＳ９４で、通信ポート１５ｂを開き、ビデオプロセッサ１０との通信を開始し、ステップＳ９５で、検査情報取得コマンドを通信ポート１５ｂからビデオプロセッサ１０の通信ポート１０ａに送信し、この検査情報取得コマンドを通信ポート１０ａを介して受信したビデオプロセッサ１０は、内視鏡検査情報を前述の検査情報取得コマンドの送信経路と逆の経路で前記ＰＣ１５に送信する。
【０１４９】
ＰＣ１５は、前記ステップＳ９５でビデオプロセッサ１０から送信された内視鏡検査情報をステップＳ９６で受信し、図示していない記録メモリに記録保存する。
【０１５０】
次に、ＰＣ１５はステップＳ９７で、通信ポート１５ａから形状処理装置１３の通信ポート１３ａに挿入形状データの取得コマンドを送信し、この挿入形状データの取得コマンドを通信ポート１３ａを介して受信した形状処理装置１３は、挿入形状データを前述の挿入形状データ取得コマンドの送信経路と逆の経路で前記ＰＣ１５に送信を開始する。
【０１５１】
ＰＣ１５は、前記ステップＳ９７で形状処理装置１３から送信された内視鏡挿入形状データをステップＳ９８で受信し、図示していないハードディスクにに、前記ステップＳ９６で記録保存した内視鏡検査情報と関連づけてファイル記録保存する。
【０１５２】
次に、ＰＣ１５はステップＳ９９で、 受信した挿入形状データから挿入形状の特徴を抽出する。この挿入形状の特徴抽出は、前記Ｐ形フーリエ記述子を使用する（前述の第２の実施形態の図７のステップＳ５６の処理を参照）。フーリエ記述子によるパワースペクトルをＣ（ｋ）、（ｋ＝０、…、ｎ−１；ｎは正数であり、曲線の分割数）とする。
【０１５３】
このステップＳ９９で、挿入形状の特徴が抽出されると、ＰＣ１５はステップＳ１００で、Ｃ（ｋ）とＣｒｉ（ｋ）との距離を算出する。この距離は、例えばユークリッド距離を使用する。
【０１５４】
前記ステップＳ１００で算出された距離は、ステップＳ１０１で予め設定されている閾値と比較される。
【０１５５】
このステップＳ１０１の比較の結果、前記ステップＳ１００で算出した距離値が閾値より大きいと判定されるとステップＳ１０６以降が実行され、閾値よりも小さいと判定されると、ステップＳ１０２以降が実行される。
【０１５６】
前記ステップＳ１０１で算出距離値が閾値よりも小さいと判定されると、ＰＣ１５はステップＳ１０２で、内視鏡挿入部のループの認識結果をディスプレイ１８に表示させる。このループの認識結果表示は、検査ウィンドウ３００の認識結果表示部３０３に表示する（ループ名等）。
【０１５７】
次に、ＰＣ１５はステップＳ１０３で、挿入部のループ形状が今までと変化したかどうかを判定し、変化したと判定されると、ステップＳ１０４で警告音発生させる。この警告音発生により術者は、内視鏡挿入形状観測装置３のモニタ１３ｂに表示されている内視鏡挿入形状画像を見ることを促す。
【０１５８】
前記ステップＳ１０３で挿入部のループ形状に変化がないと判定されたり、または前記ステップＳ１０４の警告音が発生すると、ＰＣ１５はステップＳ１０５で、内視鏡挿入部のループ形状の認識結果を基に、関連情報を検索し、その検索した関連情報をディスプレイ１８に表示されている検査ウィンドウ３００の関連情報表示部３０４に表示する。
【０１５９】
つまり、関連情報表示部３０４には、事前に作成してデータベースに記録保存されているループ状態に応じた内視鏡挿入部の操作方法に関する情報が表示される。この表示を参考に術者は内視鏡操作を行うことが可能である。
【０１６０】
次に、ＰＣ１５はステップＳ１０６で、ビデオプロセッサ１０から動画像入力ボード１５ｃに入力された動画映像信号をＭＪＰＥＧ形式で圧縮画像データに変換して、前記内視鏡検査情報と関連付けて図示していないハードディスクにファイル記録保存する。なお、このビデオプロセッサ１０からの入力画像は、ディスプレイ１８の内視鏡画像３０５の画像表示領域３０６に表示する。
【０１６１】
次に、ＰＣ１５はステップＳ１０７で、検査ウインドウ３００の検査終了ボタン（図中Ｅｎｄ Ｅｘａｍ．と表記）３０２が操作されたか判定し、操作されていないと判定されると前記ステップＳ９８に戻り、検査終了ボタン３０２が操作されたと判定されると、ＰＣ１５はステップＳ１０８で前記ビデオプロセッサ１０と形状処理装置１３との通信を行っている通信ポート１５ａ，１５ｂを閉じて、この検査アプリケーションを終了する。
【０１６２】
この第３の実施形態は、内視鏡挿入形状を主体に説明したが、内視鏡検査情報、および、内視鏡動画像にも適用できる。
【０１６３】
また、この第３の実施形態は、画像処理装置４の機能として説明したが、ビデオプロセッサ１０や内視鏡挿入形状観測装置３に同じ機能を保有することも可能である。
【０１６４】
さらに、内視鏡画像の保存形式は、動画像に限定されるものでなく、記録時間が明確であれば静止画の連続保存でも同様の効果が得られる。
【０１６５】
このように、内視鏡挿入部のループ形状を認識し、その認識したループの状態を認識表示し、且つ、内視鏡操作方法等の関連情報を表示することにより、術者が内視鏡の挿入形状を正確に把握し、その関連情報の理解を促すことで、内視鏡検査の時間の短縮化と患者の不快感軽減が可能性となった。
【０１６６】
［付記］
以上詳述した本発明の実施形態によれば、以下のごとき構成を得ることができる。
【０１６７】
（付記１）
内視鏡装置、及びその周辺機器と接続可能な画像処理装置において、
内視鏡挿入部の形状を検出し、その形状を表示する形状観測装置からの第１のデータを受信し保存する第１のデータ保存手段と、
内視鏡装置から検査情報と内視鏡画像等の第２のデータを受信し、前記第１のデータと相互に関連付けて保存する第２のデータ保存手段と、
前記第１と第２のデータ保存手段で保存したデータを同期した状態、あるいは単独でモニタに表示させる再生手段と、
を有することを特徴とする画像処理装置。
【０１６８】
（付記２）
前記第１のデータと第２のデータをデータの特徴により検索を実行する検索手段と、
前記検索手段により検索されたデータに関連情報を付加する機能を有する検索結果情報付加手段と、
前記再生手段は、前記検索結果情報付加機能により付加された情報を前記第１と第２のデータの再生時にモニタに表示させることを特徴とする付記１記載の画像処理装置。
【０１６９】
（付記３）
前記第１および／または第２のデータ保存手段で受信保存する第１と第２のデータを解析する解析手段と、
前記解析手段による解析結果を基に、処理を決定し実行する処理手段と、
を有することを特徴とする付記１または２のいずれかに記載の画像処理装置。
【０１７０】
（付記４）
被検体を内視鏡により観察して内視鏡画像を得る内視鏡装置から受信した前記被検体の内視鏡画像データを記憶する内視鏡画像データ記憶手段と、
前記被検体に挿入した内視鏡の挿入形状を検出する挿入形状検出装置から受信した該内視鏡の挿入形状を表す挿入形状データを記憶する挿入形状データ記憶手段と、
前記内視鏡画像データ記憶手段から前記記憶された内視鏡画像データを読み出し、前記挿入形状データ記憶手段から前記記憶された挿入形状データを読み出し、該読み出された内視鏡画像データが有する該内視鏡画像データ取得時の取得時間情報と、該読み出された前記挿入形状データが有する該挿入形状データ取得時の取得時間情報とに基づき、前記読み出された内視鏡画像データによる内視鏡画像と、該内視鏡画像データに対応する挿入形状データとを対応させて表示するように制御する表示制御手段と、
を備えたことを特徴とする内視鏡画像処理装置。
【０１７１】
（付記５）
前記表示制御手段により表示制御されて表示している前記内視鏡画像または前記挿入形状に関連する付加情報を入力する関連情報入力手段と、
前記関連情報入力手段により入力された付加情報を該内視鏡画像または該挿入形状に関連付けて記憶する付加情報記憶手段と、
を更に有することを特徴とする付記４記載の内視鏡画像処理装置。
【０１７２】
（付記６）
内視鏡装置、及びその周辺機器と接続可能な画像処理装置において、
内視鏡形状を検出し形状を表示する形状観測装置から第１のデータを受信する第１のデータ受信手段と、
内視鏡装置から設定に従い第２のデータを受信する第２のデータ受信手段と、
前記第１および／または第２のデータ受信機能で受信したデータを解析する受信データ解析手段と、
前記受信データ解析手段による解析結果にもとに処理を決定し、実行する受信時処理手段と、
を有することを特徴とする画像処理装置。
【０１７３】
（付記７）
内視鏡装置、及びその周辺機器と接続可能な画像処理装置において、
内視鏡挿入部の形状を検出し、その形状を表示する形状観測装置からの第１のデータを受信し保存する第１のデータ保存手段と、
内視鏡装置から検査情報と内視鏡画像等の第２のデータを受信し、前記第１のデータと相互に関連付けて保存する第２のデータ保存手段と、
前記第１と第２のデータ保存手段で保存したデータを同期した状態、あるいは単独でモニタに表示させる再生手段と、
を有することを特徴とする画像処理装置。
【０１７４】
（付記８）
前記第１のデータは内視鏡形伏に関するデータであることを特徴とする付記７記載の画像処理装置。
【０１７５】
（付記９）
前記第２のデータは内視鏡検査に関連する検査データおよび／または、画像データであることを特徴とする付記項７または８のいずれかに記載の画像処理装置。
【０１７６】
（付記１０）
第１のデータおよび第２のデータ受信時に第１のデータおよび／または第２のデータを表示するデータ表示手段を有する付記７乃至９のいずれかに記載の画像処理装置。
【０１７７】
（付記１１）
前記再生手段は、前記第１のデータおよび、前記第２のデータの記録開始時間、第１のデータおよび、第２のデータの単位時間あたりのデータ数により作成した第１のデータと第２のデータの対応表を用いることにより同期再生を実現すること特徴とする付記７乃至１０のいずれかに記載の画像処理装置。
【０１７８】
（付記１２）
前記再生手段は、前記形状観測装置で設定された表示属性と同じ条件でデータを表示することを特徴とする付記７乃至１１のいずれかに記載の画像処理装置。
【０１７９】
（付記１３）
前記再生手段は、第２のデータの表示属性を変更する表示属性変更機能を持つことを特徴とする付記１２に記載の画像処理装置。
【０１８０】
（付記１４）
前記再生手段は、前記第１のデータと第２のデータが同期した状態で、入力手段の操作に応じて表示するデータを変更できることを特徴とする付記７乃至１３のいずれかに記載の画像処理装置。
【０１８１】
（付記１５）
前記入力手段により選択されたデータに関連情報を付加する情報付加手段と
前記情報付加機能により付加された情報を第1、第２のデータの再生時に、表示する機能を持つことを特徴とする付記１４に記載の画像処理装置。
【０１８２】
（付記１６）
前記第１のデータ、第２のデータをデータの特徴により検索を実行する検索手段と、
前記検索機能により検索されたデータに関連情報を付加する機能を有する検索結果情報付加手段と、
前記再生手段は、前記検索結果情報付加機能により付加された情報を第1、第２のデータの再生時に、表示する機能を持つことを特徴とする付記７乃至１５のいずれかに記載の画像処理装置。
【０１８３】
（付記１７）
前記入力手段は、操作可能な範囲で前記第１および、第２のデータの全体を示し、前記検索結果により抽出されたデータのデータ全体に対する相対位置に、図形を表示する機能を有する付記１６に記載の画像処理装置。
【０１８４】
（付記１８）
前記第１および／または第２のデータ保存機能により受信したデータを解析する解析手段と、
前記解析機能による解析結果をもとに処理を決定し、実行する処理手段と、
を有することを特徴とする付記７乃至１７のいずれかに記載の画像処理装置。
【０１８５】
（付記１９）
前記処理手段が、前記解析機能で解析結果を表示する機能を有することを特徴とする付記１８に記載の画像処理装置。
【０１８６】
（付記２０）
前記解析結果に関連する関連情報を保存する関連情報保存手段と、
前記処理手段は、解析結果をもとに前記関連情報保存機能から関連情報を検索し解析結果と共に、関連情報を表示する機能を有することを特徴とする付記１９に記載の画像処理装置。
【０１８７】
（付記２１）
内視鏡装置および、その周辺機器と接続可能な画像処理装置において、
内規鏡形状を検出し形状を表示する形状観測装置から第１のデータを受信する第１のデータ受信手段と、
内視鏡装置から設定に従い第２のデータを受信する第２のデータ受信手段と、
前記第１および／または、第２のデータ受信機能で受信したデータを解析する受信データ解析手段と、
前記受信データ解析手段による解析結果にもとに処理を決定し、実行する受信時処理手段と、
を有することを特徴とする画像処理装置。
【０１８８】
（付記２２）
前記第１のデータ受信手段で受信するデータが内視鏡形状に関するデータであることを特徴とする付記２１に記載の画像処理装置。
【０１８９】
（付記２３）
前記第２のデータ受信手段で受信するデータが、内視鏡検査に関する検査データおよび／または画像データであることを特徴とする付記項２１または２２のいずれかに記載の画像処理装置。
【０１９０】
（付記２４）
第１のデータおよび／または第２のデータを表示する受信時データ表示機能を有することを特徴とする付記２１乃至２３のいずれかに記載の画像処理装置。
【０１９１】
（付記２５）
前記受信時処理手段が、前記受信データ解析機能による解析結果を表示する機能を有することを特徴とする付記２１乃至２４のいずれかに記載の画像処理装置。
【０１９２】
（付記２６）
前記受信データ解析手段による解析結果に関連する関連情報を保存する受信時関連情報保存手段と、
前記受信時処理手段は、前記受信時関連情報保存手段から必要な関連情報を検索して解析結果と共に、関連情報を表示する機能を有することを特徴とする付記２５に記載の画像処理装置。
【０１９３】
【発明の効果】
本発明の画像処理装置は、記録保存されている内視鏡画像と内視鏡挿入形状データを基に内視鏡画像と内視鏡挿入形状画像を同期再生させて、内視鏡画像と、その内視鏡画像に内視鏡挿入形状画像を自由に対比させることができる。
【０１９４】
また、内視鏡検査後に内視鏡挿入形状の表示属性を変えながら同期再生させることで、実際の内視鏡検査を再現しながら内視鏡挿入操作の教育が可能で、且つ、内視鏡検査時の内視鏡挿入の困難性の原因や患者の不快感原因等を検討できると共に、内視鏡装置の訓練として用いることもできる。
【図面の簡単な説明】
【図１】本発明に係る電子内視鏡システムの構成を示すブロック図。
【図２】本発明に係る電子内視鏡システムの画像処理装置における第１の実施形態である内視鏡画像と内視鏡挿入形状データを記録保存する処理動作を説明するフローチャート。
【図３】本発明に係る電子内視鏡システムの画像処理装置における第１の実施形態である内視鏡画像と内視鏡挿入形状画像との同期再生処理動作を説明するフローチャート。
【図４】本発明に係る電子内視鏡システムの画像処理装置における第１の実施形態である内視鏡画像と内視鏡挿入形状画像との同期再生の再生タイマー処理動作を説明するフローチャート。
【図５】本発明に係る電子内視鏡システムの画像処理装置における第１の実施形態である内視鏡画像と内視鏡挿入形状データの記録保存時の表示画面を示し、（ａ）は検査ウィンドウ、（ｂ）は内視鏡画像ウインドウ。
【図６】本発明に係る電子内視鏡システムの画像処理装置における第１の実施形態である内視鏡画像と内視鏡挿入形状画像との同期再生処理動作の表示画面を示し、（ａ）は再生制御ウィンドウ、（ｂ）は挿入部形状画像ウィンドウ、（ｃ）は内視鏡画像ウインドウ。
【図７】本発明に係る電子内視鏡システムの画像処理装置における第２の実施形態である内視鏡画像と内視鏡挿入形状画像に付加情報の入力処理動作を説明するフローチャート。
【図８】本発明に係る電子内視鏡システムの画像処理装置における第２の実施形態である内視鏡画像、内視鏡挿入形状画像、及び付加情報を同期再生の再生タイマー処理動作を説明するフローチャート。
【図９】本発明に係る電子内視鏡システムの画像処理装置における第２の実施形態である内視鏡画像、内視鏡挿入形状画像、付加情報同期再生処理動作の表示画面を示し、（ａ）は再生制御ウィンドウ、（ｂ）は挿入部形状画像ウインドウ、（ｃ）は内視鏡画像ウインドウ。
【図１０】本発明に係る電子内視鏡システムの画像処理装置における第３の実施形態である内視鏡画像や内視鏡挿入形状画像の特徴項目検索と、その特徴項目に対する関連情報の表示処理動作を説明するフローチャート。
【図１１】本発明に係る電子内視鏡システムの画像処理装置における第３の実施形態である内視鏡画像や内視鏡挿入形状画像の特徴項目検索処理動作の表示画面を示し、（ａ）は検査ウィンドウ、（ｂ）は内視鏡画像ウインドウ。
【図１２】本発明に係る電子内視鏡システムの画像処理装置における内視鏡画像と内視鏡挿入形状画像とのフレーム対応表を説明する説明図。
【符号の説明】
１…電子内視鏡システム
２…内視鏡装置
３…内視鏡挿入形状観測装置
４…画像処理装置
１０…ビデオプロセッサ
１１…光源装置
１２…電子内視鏡
１３…形状処理装置
１４…観察モニタ
１５…パーソナルコンピュータ（ＰＣ）
１６…マウス
１７…キーボード
１８…ディスプレイ

Claims (5)

1. 内視鏡装置、及びその周辺機器と接続可能な画像処理装置において、
   内視鏡挿入部の形状を検出するとともに、当該形状を表示するためのデータを出力する形状観測装置から第１のデータを受信して保存する第１のデータ保存手段と、
   前記内視鏡装置から内視鏡画像データを含む第２のデータを受信して保存する第２のデータ保存手段と、
   前記内視鏡挿入部の形状を検出した検出時間の情報と前記内視鏡画像データに含まれる時間情報との対応表を作成する作成手段と、
   前記第１のデータ及び第２のデータを前記対応表に基づいて再生するとともに、同期した状態あるいは単独でモニタに表示させる再生手段と、
   を有することを特徴とする画像処理装置。
2. 前記第１のデータと第２のデータをデータの特徴により検索を実行する検索手段と、
   前記検索手段により検索されたデータに関連情報を付加する機能を有する検索結果情報付加手段と、
   前記再生手段は、前記検索結果情報付加機能により付加された情報を前記第１と第２のデータの再生時にモニタに表示させることを特徴とする請求項１記載の画像処理装置。
3. 前記第１および／または第２のデータ保存手段で受信保存する第１と第２のデータを解析する解析手段と、
   前記解析手段による解析結果を基に、処理を決定し実行する処理手段と、
   を有することを特徴とする請求項１または２のいずれかに記載の画像処理装置。
4. 被検体を内視鏡により観察して内視鏡画像を得る内視鏡装置から受信した前記被検体の内視鏡画像データを記憶する内視鏡画像データ記憶手段と、
   前記被検体に挿入した内視鏡の挿入形状を検出する挿入形状検出装置から受信した該内視鏡の挿入形状を表す挿入形状データを記憶する挿入形状データ記憶手段と、
   前記内視鏡画像データに含まれる時間情報と前記挿入形状データ取得時の取得時間情報との対応表を作成する作成手段と、
   前記内視鏡画像データ及び前記挿入形状データを読み出すとともに、前記対応表に基づいて前記内視鏡画像データと当該内視鏡画像データに対応する挿入形状データとを対応させて表示するように制御する表示制御手段と、
   を備えたことを特徴とする内視鏡画像処理装置。
5. 前記表示制御手段により表示制御されて表示している前記内視鏡画像または前記挿入形状に関連する付加情報を入力する関連情報入力手段と、
   前記関連情報入力手段により入力された付加情報を該内視鏡画像または該挿入形状に関連付けて記憶する付加情報記憶手段と、
   を更に有することを特徴とする請求項４記載の内視鏡画像処理装置。

Images