WO2022195725A1

WO2022195725A1 - 情報処理装置および画像表示方法

Info

Publication number: WO2022195725A1
Application number: PCT/JP2021/010634
Authority: WO
Inventors: 珠帆宮内; 卓志永田; 聡美小林; 奈々杉江
Original assignee: オリンパスメディカルシステムズ株式会社
Priority date: 2021-03-16
Filing date: 2021-03-16
Publication date: 2022-09-22

Abstract

撮影画像配置部３２は、撮影された複数の画像を一覧表示領域に並べて配置する。再生処理部３４は、画像を、撮影された順番にしたがって再生する。観察判定部４０は、再生された画像が、ユーザによって観察されたか否かを判定する。処理実行部４２は、再生された画像がユーザによって観察されたと判定された場合に、一覧表示領域に配置された画像に対して、観察済みであることを示す処理を実行する。

Description

情報処理装置および画像表示方法

　本開示は、複数の画像を表示する技術に関する。

　特許文献１は、映像データの本再生が中断されると、本再生が中断された映像データ部分を特定する再生履歴情報を映像データに対応付けて記憶し、再生履歴情報にもとづいて映像データの仮再生を開始する映像データ部分を指定する仮再生開始情報を生成し、仮再生開始情報で指定される映像部分から当該映像データを仮再生する映像再生方法を開示する。

特開２００９－２９０３１５号公報

　カプセル内視鏡検査では数万枚の画像が撮影される。従来、読影者は、連続（動画）再生される内視鏡画像を観察して病変を含む画像を特定するが、画像枚数が膨大であるために読影にかかる負担は大きい。

　近年、機械学習による学習済みモデルを利用して医療画像から病変を検出する画像診断支援機能の研究が進められている。画像診断支援機能を利用することで、カプセル内視鏡検査で撮影された膨大な枚数の内視鏡画像から、病変を含む内視鏡画像を短時間で抽出できるようになる。読影者が、抽出された複数の内視鏡画像の一覧画面上で画像観察を行うことで、読影にかかる負担が大幅に低減されることが期待されるが、読影者の要求に応じて、一覧画面に含まれない内視鏡画像も観察できるようにすることが望ましい。本開示はこうした状況に鑑みなされたものであり、その目的は、そのような観察環境において、読影者による効率的な画像観察を実現させるための技術を提供することにある。

　上記課題を解決するために、本発明のある態様の情報処理装置は、撮影された複数の画像を一覧表示領域に並べて配置する撮影画像配置部と、画像を撮影された順番にしたがって再生する再生処理部と、再生された画像が、ユーザによって観察されたか否かを判定する観察判定部と、再生された画像がユーザによって観察されたと判定された場合に、一覧表示領域に配置された画像に対して、観察済みであることを示す処理を実行する処理実行部と、を備える。

　本発明の別の態様の画像表示方法は、撮影された複数の画像を一覧表示領域に並べて表示し、画像を撮影された順番にしたがって再生し、再生された画像が、ユーザによって観察されたか否かを判定し、再生された画像がユーザによって観察されたと判定された場合に、一覧表示領域に配置された画像に対して、観察済みであることを示す処理を実行する。

　なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

実施例にかかる画像観察支援システムの概要を説明するための図である。情報処理装置の機能ブロックを示す図である。内視鏡画像の読影画面の例を示す図である。内視鏡画像の再生ボタンを示す図である。一覧表示領域に重畳表示される周辺画像再生領域の例を示す図である。順再生中の周辺画像再生領域の表示例を示す図である。一時停止した周辺画像再生領域の表示例を示す図である。一覧表示領域に施されたマーキング処理結果の一例を示す図である。キャプチャ画像表示領域の例を示す図である。一覧表示領域に施されたマーキング処理結果の一例を示す図である。

　図１は、実施例にかかる画像観察支援システムの概要を説明するための図である。画像観察支援システム１は、被検者（患者）の体内に導入されて被検体内を撮影した画像データを送信するカプセル内視鏡３と、カプセル内視鏡３から送信された画像データを受信する受信装置４と、受信装置４から画像データ群を取得して所定の画像処理を施し、表示装置１２に内視鏡画像を表示する情報処理装置１０とを備える。クレードル５は、情報処理装置１０とデータ転送ケーブルで接続される。受信装置４は、クレードル５に差し込まれることで、クレードル５を経由して情報処理装置１０と接続する。

　カプセル内視鏡検査において、被検者は腹部に複数の受信アンテナ（図示せず）を貼り付けられ、受信装置４をベルトで腰に付けた状態でカプセル内視鏡３を口から飲み込む。カプセル内視鏡３は、超小型カメラである撮像部、被検者の体内を照明する照明部、撮像部から出力される撮像信号をＡ／Ｄ変換して、画像ＩＤおよび撮影時間情報をメタデータとして付加した画像データを生成する信号処理部、画像データを一時記憶するメモリ、メモリに記憶された画像データを送信する通信モジュール、各部に電力を供給するバッテリを備える。カプセル内視鏡３は消化管を移動しながら静止画像を周期的に撮影して、画像データをアンテナ経由で受信装置４に送信する。

　受信装置４には記録媒体が内蔵されており、受信装置４は各受信アンテナで受信した画像データに、各受信アンテナにおける受信時の電波強度情報を関連付けて、記録媒体に記録する。カプセル内視鏡３が０．５秒ごとに体内を撮影する場合、約８時間で体内の撮影を終了すると、約６万枚の画像データが記録媒体に記録される。

　画像ＩＤは画像を識別するための情報であり、撮影順を示すシリアルな番号を付加された情報であってよい。たとえば最初に撮影された内視鏡画像の画像ＩＤには「１」が付加され、２番目に撮影された内視鏡画像の画像ＩＤには「２」が付加されてよい。このように画像ＩＤを生成することで、画像ＩＤに含まれるシリアル番号が撮影順を表現するとともに、画像ＩＤの重複を回避できる。なお画像ＩＤおよび撮影時間情報は、受信装置４が画像データを受信したときに、受信装置４によりメタデータとして画像データに付加されてもよい。いずれにしてもカプセル内視鏡３で撮影された画像データは、画像ＩＤおよび撮影時間情報をメタデータとして付加され、受信電波強度を関連付けられて記録媒体に記録される。

　体内の撮影が終了すると、被検者からアンテナと受信装置４が回収される。看護師が受信装置４をクレードル５に差し込むと、受信装置４のデータ端子が、クレードル５のコネクタに接続し、記録媒体に記録された約６万枚の画像データおよび電波強度情報が、情報処理装置１０に転送される。

　図２は、情報処理装置１０の機能ブロックを示す。情報処理装置１０は、取得部２０、画像診断部２２、画像処理部２４、操作受付部２６、画面生成部３０、観察判定部４０、処理実行部４２、画像キャプチャ部４４および記憶部５０を備える。画面生成部３０は、撮影画像配置部３２、再生処理部３４およびキャプチャ画像配置部３６を有し、表示画面を生成する。なお処理実行部４２は、画面生成部３０の一機能であってもよい。情報処理装置１０の各機能は、画像再生アプリケーションなどの各種アプリケーションを実行することによって実現されてよい。

　情報処理装置１０の構成はハードウエア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

　取得部２０は、クレードル５から転送される約６万枚の画像データおよび電波強度情報を取得し、記憶部５０に記憶させる。記憶部５０は、ＨＤＤ（ハードディスクドライブ）やＳＳＤ（ソリッドステートドライブ）などの大容量記録装置であり、内蔵型記録装置であってよく、またＵＳＢ（Universal Serial Bus）などによって情報処理装置１０と接続する外部記録装置であってもよい。電波強度情報は、カプセル内視鏡３の移動軌跡を特定する処理に利用される。

　クレードル５から転送される画像データは、無圧縮のＲＡＷ（生の）画像データであるか、または可逆圧縮のみを施したＲＡＷ画像データであり、データサイズは非常に大きい。そこで画像処理部２４は、取得部２０が画像データを取得すると、ＲＡＷ画像データに非可逆圧縮処理を施し、画像ＩＤおよび撮影時間情報をメタデータとして付加した内視鏡画像を生成して、記憶部５０に記憶してよい。たとえば画像処理部２４は、ＪＰＥＧなどの画像フォーマットで内視鏡ＲＡＷ画像を圧縮してよい。

　画像診断部２２は、内視鏡画像を診断する機能を有する。たとえば画像診断部２２は、過去に撮像した内視鏡画像である学習用画像と、病変を示すラベルとを教師データとして用いた機械学習により生成された学習済みモデルを用いて、画像診断機能を実現してよい。画像診断部２２が、カプセル内視鏡３が撮影した内視鏡画像を学習済みモデルに入力すると、学習済みモデルは、内視鏡画像に関する病変情報を出力する。ここで病変情報は、病変が検出されたか否かを示す情報を少なくとも含み、病変が検出された場合は、病変名を含んでよい。画像診断部２２は、画像ＩＤに含まれる撮影順にしたがって、内視鏡画像を学習済みモデルに入力し、学習済みモデルから、病変情報を取得する。

　画像診断部２２は、複数の内視鏡画像に含まれる病変を区別して認識する機能を有する。画像診断部２２は、学習済みモデルが検出した病変に識別情報（病変ＩＤ）を付与し、病変ＩＤを、内視鏡画像の病変情報に追加する。画像診断部２２は、学習済みモデルが病変を検出するたびに、検出された病変が、既に病変ＩＤを付与した病変と同一であるか否かを判別する。検出された病変が、既に病変ＩＤを付与した病変と同じであれば、画像診断部２２は、当該病変を含む内視鏡画像の病変情報に、当該病変の病変ＩＤを追加する。一方、検出された病変が、既に病変ＩＤを付与した病変と同一でなければ、画像診断部２２は、検出された病変に新しい病変ＩＤを付与して、当該病変を含む内視鏡画像の病変情報に、付与された病変ＩＤを追加する。

　画像診断部２２は、画像処理部２４により圧縮された後の内視鏡画像を用いて画像診断を行うが、画像処理部２４により圧縮される前の内視鏡ＲＡＷ画像を用いて画像診断を行ってもよい。画像診断部２２が、内視鏡画像の病変情報を取得すると、画像処理部２４が、病変情報を内視鏡画像のメタデータに追加する。したがって記憶部５０に記憶された内視鏡画像のメタデータは、画像ＩＤ、撮影時間情報および病変情報を少なくとも含む。

　以下、読影時に表示装置１２に表示される画面について説明する。
　ユーザである医師Ｂは、情報処理装置１０にユーザＩＤおよびパスワードを入力してログインする。ユーザがログインすると、表示装置１２には、カプセル内視鏡検査の一覧が表示される。検査一覧画面には、患者ＩＤ、患者氏名、検査ＩＤ、検査日時などの検査情報が表示され、ユーザは、読影レポート作成の対象となる検査を選択する。検査一覧から患者ＩＤ：１２３４５６、患者氏名：患者Ａ、検査日：２０２１／３／３の検査が選択されると、画面生成部３０は、ユーザが内視鏡画像を読影するための読影画面を生成して、表示装置１２に表示する。

　図３は、内視鏡画像の読影画面の例を示す。撮影画像配置部３２は、撮影された複数の内視鏡画像８０ａ～８０ｕ（以下、特に区別しない場合は、「内視鏡画像８０」と呼ぶ）を一覧表示領域１００に格子状に並べて配置する。表示画面に入りきらない内視鏡画像は、ユーザがスクロールバーを操作することで表示される。撮影画像配置部３２は、記憶部５０に記憶された内視鏡画像のメタデータを参照して、記憶部５０から、複数の内視鏡画像の中の一部の内視鏡画像を抽出し、一覧表示領域１００に撮影順に並べて配置する。具体的に、撮影画像配置部３２は、病変が検出された内視鏡画像を抽出し、一覧表示領域１００に撮影順に並べて配置する。各内視鏡画像８０の近傍には、撮影開始からの経過時間（以下、「撮影時間」と呼ぶ）が表示される。この例で撮影画像配置部３２は、複数の内視鏡画像８０を撮影時間が古い順に画面左端から画面右端に向かう方向に並べ、右端まで並べると、その下段に画面左端から画面右端に向けて並べている。図３に示す読影画面は、病変を含む内視鏡画像のみを表示するため、全ての内視鏡画像を表示する場合と比べると、表示枚数を大幅に削減できる。なお実施例では、一覧表示領域１００に配置する一部の内視鏡画像として病変を含む内視鏡画像を例にあげたが、別の例では病変を含む内視鏡画像以外に、たとえば各部位の入口を撮影した内視鏡画像、出血を含む出血画像、などが一覧表示領域１００に含まれていてもよい。また、病変を含む内視鏡画像の中でも、特定の病変に関する内視鏡画像だけを抽出して一覧表示領域１００に含まれてもよい。

　ユーザは、入力部１４であるマウスを利用して、一覧表示領域１００の内視鏡画像８０に対する操作を入力する。操作受付部２６は、ユーザの操作を受け付ける。図３に示す一覧表示領域１００において、内視鏡画像８０ｃが選択枠１２０で囲われているが、ユーザが、１つの内視鏡画像８０にマウスポインタをあわせて左クリックすると、その内視鏡画像８０が選択枠１２０で囲われる。

　タイムバー表示領域１０２は、左端を撮影開始時刻、右端を撮影終了時刻とするタイムバーを表示する。スライダ１０６は、一覧表示領域１００で選択された内視鏡画像８０ｃの時間的な位置を示す。キャプチャ画像表示切替ボタン１０４は、キャプチャ画像表示領域を表示させる際に操作される。

　図４は、内視鏡画像の再生ボタン１０８を示す。ユーザが、１つの内視鏡画像８０にマウスポインタ１１０をあわせると、その内視鏡画像８０上に再生ボタン１０８が表示される。図４に示す例では、選択枠１２０で囲まれた内視鏡画像８０ｃにマウスポインタ１１０をあわせているが、別の内視鏡画像８０にマウスポインタ１１０をあわせると、その内視鏡画像８０上に再生ボタン１０８が表示される。ユーザがマウスポインタ１１０を再生ボタン１０８にあわせて左クリックすると、操作受付部２６が、左クリック操作を周辺画像再生要求として受け付け、再生処理部３４が、内視鏡画像８０ｃを起点とする画像再生のための周辺画像再生領域を一覧表示領域１００に重畳表示する。

　図５は、一覧表示領域１００に重畳表示される周辺画像再生領域１１２の例を示す。再生処理部３４は周辺画像再生領域１１２において、複数の内視鏡画像を撮影された順番にしたがって再生する機能を有する。この再生機能は、選択された起点となる内視鏡画像８０ｃの撮影位置に距離的に近い画像を連続再生する機能であるため、「周辺画像再生機能」と呼ばれる。周辺画像再生領域１１２はウィンドウとして表示され、ユーザは周辺画像再生領域１１２を所望の位置に移動できる。

　再生処理部３４は、操作受付部２６が受け付けたユーザ操作に応じた再生態様で、内視鏡画像を再生する。再生処理部３４は、記憶部５０に記憶された複数の内視鏡画像を、再生ボタン１０８を操作された内視鏡画像８０ｃを起点として、撮影順にしたがって連続（動画）再生する。再生処理部３４が、内視鏡画像８０ｃの撮影位置の周辺で撮影された内視鏡画像を再生することで、ユーザは、一覧表示領域１００に表示されていない内視鏡画像を観察できる。

　再生ボタン表示領域１１４には、順再生ボタン１１４ａと逆再生ボタン１１４ｂとが表示される。ユーザがマウスポインタ１１０を用いて順再生ボタン１１４ａを操作すると、操作受付部２６が、順再生ボタン１１４ａの選択操作を受け付け、再生処理部３４が、周辺画像再生領域１１２において内視鏡画像８０ｃから順方向（撮影時間の古い画像から新しい画像に向かう方向）に内視鏡画像を切り替えて再生する。またユーザがマウスポインタを用いて逆再生ボタン１１４ｂを操作すると、操作受付部２６が逆再生ボタン１１４ｂの選択操作を受け付け、再生処理部３４が、周辺画像再生領域１１２において内視鏡画像８０ｃから逆方向（撮影時間の新しい画像から古い画像に向かう方向）に内視鏡画像を切り替えて再生する。再生速度（１枚の内視鏡画像の表示時間）は、再生ボタン表示領域１１４に設けられたスライダにより調節可能である。

　なお周辺画像再生領域１１２において、内視鏡画像は、順再生ボタン１１４ａおよび逆再生ボタン１１４ｂの操作により自動再生されるだけでなく、ユーザの手動操作によっても再生される。ユーザがマウスのホイールを回転させると、操作受付部２６は、ホイールの回転操作を受け付け、再生処理部３４は周辺画像再生領域１１２において、内視鏡画像を１枚ずつコマ送り再生またはコマ戻し再生する。ユーザがホイールを手前向きに回転させると、操作受付部２６は、コマ送り再生操作を受け付け、再生処理部３４は、周辺画像再生領域１１２において内視鏡画像を順方向にコマ送り再生し、ユーザがホイールを奥向きに回転させると、操作受付部２６は、コマ戻し再生操作を受け付け、再生処理部３４は、内視鏡画像を逆方向にコマ戻し再生する。

　以上のように再生処理部３４は、操作受付部２６が受け付けたユーザ操作に応じた再生態様で、記憶部５０に記憶された内視鏡画像を再生する。なお図５に示す周辺画像再生領域１１２において、内視鏡画像８０ｃの四隅に三角マークが付加されているが、この三角マークは、一覧表示領域１００で表示されている画像であることを示している。

　図６は、順再生中の周辺画像再生領域１１２の表示例を示す。この例では、操作受付部２６が、順再生ボタン１１４ａの選択操作を受け付け、再生処理部３４が撮影順にしたがって、内視鏡画像８０ｃを起点として順方向に内視鏡画像を再生している。図６に示す例では、撮影時間が「５１：０４」の内視鏡画像が再生されている。図３を参照して、撮影時間が「５１：０４」である内視鏡画像は、一覧表示領域１００に含まれる内視鏡画像８０ではないため、表示された内視鏡画像の四隅に三角マークは付加されていない。

　なお順再生ボタン１１４ａまたは逆再生ボタン１１４ｂが選択されると、選択された順再生ボタン１１４ａまたは逆再生ボタン１１４ｂの場所には、代わりに一時停止ボタン１１４ｃが表示される。内視鏡画像の再生表示中に、ユーザが一時停止ボタン１１４ｃを操作すると、再生処理部３４は、内視鏡画像の再生を一時停止して、再生停止時の内視鏡画像を表示し続ける。

　図７は、一時停止した周辺画像再生領域１１２の表示例を示す。この例では、内視鏡画像の再生中に、操作受付部２６が、一時停止ボタン１１４ｃの選択操作を受け付け、再生処理部３４が、内視鏡画像の再生を一時停止する。図７に示す例では、撮影時間が「５３：４１」の内視鏡画像９０が静止画像として表示されている。この状態でユーザがウィンドウ右上の「×」ボタンを操作すると、再生処理部３４が、周辺画像再生領域１１２の重畳表示を終了し、ユーザは、一覧表示領域１００の全体を見ることができるようになる。

　図３を参照して、「５３：４１」に撮影された内視鏡画像は、時間的に、「５３：０３」に撮影された内視鏡画像８０ｅと、「１：２０：０１」に撮影された内視鏡画像８０ｆとの間に位置する。そのため内視鏡画像８０ｃを起点とした周辺画像再生時、内視鏡画像８０ｃ、８０ｄ、８０ｅは周辺画像再生領域１１２に表示されている。そこで処理実行部４２は、一覧表示領域１００に配置された内視鏡画像８０ｃ、８０ｄ、８０ｅに対して、観察済みであることを示す処理を実行する。処理実行部４２は、一覧表示領域１００に配置された内視鏡画像８０ｃ、８０ｄ、８０ｅに対して、観察済みであることを示すマーキング処理を行ってよい。マーキング処理は、未観察の内視鏡画像８０と、観察済みの内視鏡画像８０ｃ、８０ｄ、８０ｅとを区別できる様々な態様の表示処理を含んでよい。

　図８は、一覧表示領域１００に施されたマーキング処理結果の一例を示す。図８においては、観察済みの内視鏡画像８０ｃ、８０ｄ、８０ｅに対して、観察済みマーク１２２が付加されている。このように観察済みマーク１２２が付加されることで、ユーザは、内視鏡画像８０ｃ、８０ｄ、８０ｅが観察済みであることを容易に認識でき、非効率な二重読影を防止できる。

　観察済みマーク１２２は、内視鏡画像８０ｃ、８０ｄ、８０ｅに関連付けられた位置に配置されればよく、処理実行部４２は、観察済みマーク１２２を撮影時間の近傍に配置してもよい。また処理実行部４２は、撮影時間の文字色や文字フォントを変更したり、画像周囲の表示色を変更するなどして、観察済みの内視鏡画像８０ｃ、８０ｄ、８０ｅを他の内視鏡画像８０と区別するように表示してよい。

　なお内視鏡画像８０ｃ、８０ｄ、８０ｅは、周辺画像再生機能により再生されたものの、ユーザが内視鏡画像８０ｃ、８０ｄ、８０ｅを観察していない可能性は否定できない。ユーザが観察していない内視鏡画像８０に観察済みマーク１２２を付加すると、ユーザは、当該内視鏡画像８０が観察済みであると判断して、当該内視鏡画像８０を観察せず、見落としの可能性が生じる。そこで実施例の処理実行部４２は、再生された内視鏡画像８０をユーザが観察したと推定される場合に限って、当該内視鏡画像８０に対して、観察済みであることを示す処理を実行してもよい。

　観察判定部４０は、周辺画像再生領域１１２において再生された内視鏡画像８０が、ユーザによって観察されたか否かを判定する。処理実行部４２は、再生された内視鏡画像８０がユーザによって観察されたと判定された場合に、一覧表示領域１００に配置された当該内視鏡画像８０に対して、観察済みであることを示す処理を実行する。以下、観察判定部４０が用いる判定基準について説明する。

＜判定基準１＞
　観察判定部４０は、再生処理部３４による再生時間にもとづいて、再生された内視鏡画像８０がユーザによって観察されたか否かを判定してよい。具体的に観察判定部４０は、再生時間が所定時間以上である場合に、内視鏡画像８０がユーザによって観察されたと判定し、再生時間が所定時間未満である場合に、内視鏡画像８０がユーザによって観察されていないと判定してよい。ユーザは、順再生ボタン１１４ａまたは逆再生ボタン１１４ｂを誤って操作する場合があり、そのような場合に、再生された内視鏡画像８０を観察済みと評価するのは好ましくない。ユーザが誤って再生ボタンを操作した場合には、すぐに再生を停止させると考えられるため、観察判定部４０は、再生時間が短時間である場合に、ユーザが観察していないことを判定してよい。たとえば観察の有無を判定するための時間の閾値は、３秒程度の時間であってよい。

　実施例において、再生処理部３４は、起点となる内視鏡画像８０ｃ（撮影時間：５０：１５）から内視鏡画像９０（撮影時間：５３：４１）まで、周辺画像再生機能により再生している。カプセル内視鏡３は、１秒間に２枚の画像を撮影しているため、再生した画像枚数は、４１２枚（＝３分２６秒×２枚／秒）となる。再生処理部３４が４１２枚の画像を、再生ボタン表示領域１１４に示すように１５ｆｐｓで再生すると、再生した時間は、約２７．５秒となり、時間閾値である３秒より長い。そこで判定基準１を用いた場合、観察判定部４０は、表示された内視鏡画像８０ｃ、８０ｄ、８０ｅがユーザによって観察されたと判定する。

　なお観察判定部４０は、再生処理部３４による再生時間を、再生された画像の撮影時間の間隔にもとづいて特定し、再生された内視鏡画像８０がユーザによって観察されたか否かを判定してもよい。この場合の閾値は、３秒より長くてよく、たとえば１５秒程度に設定されていてよい。撮影時間の間隔は３分２６秒であり、時間閾値である１５秒より長いため、観察判定部４０は、表示された内視鏡画像８０ｃ、８０ｄ、８０ｅがユーザによって観察されたと判定してよい。

　なお実施例において判定基準１は、順再生ボタン１１４ａまたは逆再生ボタン１１４ｂを操作した再生態様に対して適用されるが、別の例では、手動のホイール操作による再生態様に対して適用されてもよい。

＜判定基準２＞
　観察判定部４０は、再生処理部３４による内視鏡画像８０の再生態様にもとづいて、再生された内視鏡画像８０がユーザによって観察されたか否かを判定してよい。具体的に観察判定部４０は、再生態様が順再生または逆再生である場合に、再生された内視鏡画像８０がユーザによって観察されたと判定する。一方、観察判定部４０は、再生態様が手動操作にもとづくコマ送りまたはコマ戻しである場合に、再生された内視鏡画像８０がユーザによって観察されていないと判定する。マウスのホイールは、ユーザが誤操作する可能性が高いため、観察判定部４０は、ホイール操作で再生された内視鏡画像８０を、観察されていないと判定する。

　実施例において、再生処理部３４は、順再生ボタン１１４ａの操作にもとづいて内視鏡画像を再生している。そこで判定基準２を用いた場合、観察判定部４０は、表示された内視鏡画像８０ｃ、８０ｄ、８０ｅがユーザによって観察されたと判定する。

＜判定基準３＞
　ユーザは、観察した内視鏡画像をキャプチャ（保存）して、検査レポートに添付するための内視鏡画像を抽出する。キャプチャ操作は、周辺画像再生領域１１２において一時停止した内視鏡画像をダブルクリックする操作であってよい。再生処理部３４による画像再生が一時停止された後、操作受付部２６が、周辺画像再生領域１１２に表示されている内視鏡画像に対するキャプチャ操作を受け付けると、画像キャプチャ部４４は、その内視鏡画像をキャプチャする。たとえば図７に示す周辺画像再生領域１１２において、ユーザが、内視鏡画像９０をダブルクリック操作すると、画像キャプチャ部４４は、内視鏡画像９０をキャプチャする。

　図９は、キャプチャ画像表示領域１１６の例を示す。ユーザがキャプチャ画像表示切替ボタン１０４を操作すると、キャプチャ画像配置部３６が、キャプチャした画像をキャプチャ画像表示領域１１６に撮影順に並べて配置する。図９において、一番右に示すキャプチャ画像は、内視鏡画像９０である。

　観察判定部４０は、画像キャプチャ部４４が内視鏡画像９０をキャプチャしたか否かにもとづいて、再生された内視鏡画像がユーザによって観察されたか否かを判定する。具体的に観察判定部４０は、画像キャプチャ部４４が周辺画像再生領域１１２に表示された内視鏡画像９０をキャプチャした場合、再生された内視鏡画像がユーザによって観察されたと判定する。操作受付部２６がキャプチャ操作を受け付ける場合、ユーザは内視鏡画像を観察していることが確実であるため、観察判定部４０は、再生された内視鏡画像がユーザによって観察されたと判定できる。

　一方で、観察判定部４０は、画像キャプチャ部４４が周辺画像再生領域１１２に表示された内視鏡画像９０をキャプチャしない場合、再生された内視鏡画像がユーザによって観察されていないと判定してよい。

　実施例において、画像キャプチャ部４４は、内視鏡画像９０をキャプチャしている。そこで判定基準３を用いた場合、観察判定部４０は、再生処理において表示された内視鏡画像８０ｃ、８０ｄ、８０ｅがユーザによって観察されたと判定する。

　以上の判定基準１～３は、いずれか１つが単独で利用されてもよいが、組み合わされて利用されてもよい。以下、２つ以上の判定基準を組み合わせたときの判定手法を示す。

（１）判定基準３と、判定基準１および／または判定基準２を組み合わせた場合の判定手法
（ａ）内視鏡画像がキャプチャされた場合
　観察判定部４０は、判定基準１および／または判定基準２による判定結果に関係なく、判定基準３により、再生された内視鏡画像８０が観察されたと判定する。
（ｂ）内視鏡画像がキャプチャされていない場合
（b-1）判定基準３と判定基準１を組み合わせた場合
　観察判定部４０は、判定基準１により、再生された内視鏡画像８０が観察されたか否かを判定する。
（b-2）判定基準３と判定基準２を組み合わせた場合
　観察判定部４０は、判定基準２により、再生された内視鏡画像８０が観察されたか否かを判定する。
（b-3）判定基準３と、判定基準１および判定基準２を組み合わせた場合
　観察判定部４０は、再生態様がコマ送りまたはコマ戻しであれば、再生された内視鏡画像８０が観察されていないと判定する。観察判定部４０は、再生態様が順再生または逆再生であれば、判定基準１により、再生された内視鏡画像８０が観察されたか否かを判定する。そのため再生態様が順再生または逆再生であっても、再生時間が３秒未満であれば、観察判定部４０は、再生された内視鏡画像８０が観察されていないと判定する。

（２）判定基準１および判定基準２を組み合わせた場合
　観察判定部４０は、再生態様がコマ送りまたはコマ戻しであれば、再生された内視鏡画像８０が観察されていないと判定する。観察判定部４０は、再生態様が順再生または逆再生であれば、判定基準１により、再生された内視鏡画像８０が観察されたか否かを判定する。そのため再生態様が順再生または逆再生であっても、再生時間が３秒未満であれば、観察判定部４０は、再生された内視鏡画像８０が観察されていないと判定する。

　以上のように、観察判定部４０は、１つ以上の判定基準を用いて、再生された内視鏡画像８０がユーザによって観察されたか否かを判定する。処理実行部４２は、観察判定部４０により再生された内視鏡画像８０がユーザによって観察されたと判定された場合に、一覧表示領域１００に配置された内視鏡画像８０に対して、観察済みであることを示す処理を実行する。上記したように、図８は、観察済みであることを判定された内視鏡画像８０ｃ、８０ｄ、８０ｅに、観察済みマーク１２２が付加された状態を示している。

　なお内視鏡画像８０は、メタデータとして病変情報を付加されている。病変情報には、病変を識別する病変ＩＤが含まれており、観察判定部４０は、各内視鏡画像８０の病変ＩＤを参照することで、同じ病変を含む内視鏡画像群を特定できる。そのため観察判定部４０は、内視鏡画像８０ｃ、８０ｄ、８０ｅを観察済みと判定した場合に、内視鏡画像８０ｃ、８０ｄ、８０ｅのそれぞれに含まれる病変と同じ病変を含んでいる内視鏡画像８０を、観察済みとみなしてよい。

　図１０は、一覧表示領域１００に施されたマーキング処理結果の一例を示す。観察判定部４０は、観察済みと判定した内視鏡画像８０ｃ、８０ｄ、８０ｅの病変ＩＤを特定して、これらの病変ＩＤを含む別の内視鏡画像８０を探索する。ここでは、内視鏡画像８０ｂの病変ＩＤが、内視鏡画像８０ｃの病変ＩＤと同一であり、したがって観察判定部４０は、内視鏡画像８０ｃと同じ病変ＩＤを付加された、観察されていない内視鏡画像８０ｂを、観察された画像とみなす。処理実行部４２は、観察済みと判定された内視鏡画像８０ｃ、８０ｄ、８０ｅと、観察されたとみなされた内視鏡画像８０ｂに対して、観察済みであることを示すマーキング処理を施す。

　図１０においては、内視鏡画像８０ｂ、８０ｃ、８０ｄ、８０ｅに対して、観察済みマーク１２２が付加されている。このように観察済みマーク１２２が付加されることで、ユーザは、内視鏡画像８０ｂ、８０ｃ、８０ｄ、８０ｅが観察済みであることを容易に認識でき、非効率な二重読影を防止できる。

　なお観察済みマーク１２２は、１人のユーザが同じ病変を二重読影することを効果的に防止するが、複数のユーザで読影する場合には、観察済みマーク１２２が付加されてないことがよい場合もある。そこで処理実行部４２は、ユーザ操作にしたがって、内視鏡画像８０ｂ、８０ｃ、８０ｄ、８０ｅをマーキング処理前の状態に戻す機能を有してよい。処理実行部４２は、ユーザ操作にしたがって、複数の内視鏡画像８０ｂ、８０ｃ、８０ｄ、８０ｅをマーキング処理前の状態に一括して戻す機能を有してよい。全ての観察済みマーク１２２を一括して消去できることで、マークの消去作業を容易にできる。

　なお処理実行部４２は、ユーザ操作にしたがって、１つの内視鏡画像８０をマーキング処理前の状態に戻す機能を有してよい。観察済みマーク１２２を１つずつ消去できることで、実際には観察していなかった内視鏡画像８０に付加された観察済みマーク１２２を、個別に消去できる。

　以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。実施例では、ユーザが内視鏡画像を観察する例を示したが、観察対象となる画像は、内視鏡画像に限らず、その他の医療画像であってもよく、また医療画像以外の画像であってもよい。

　実施例の「周辺画像再生機能」は、撮影された順番にしたがって周辺画像を間引きすることなく再生するが、再生態様は、これに限られなくてもよい。たとえば、撮像した画像の中から所定の代表画像や病変等の異常所見が撮影された画像など特定の複数の画像を抽出し、抽出した特定の複数の画像のみを、撮影された順番にしたがって周辺画像として動画再生してもよい。このような構成とすることで、周辺画像再生時の読影枚数を削減でき、読影時間の短縮化を実現できる。

１・・・画像観察支援システム、３・・・カプセル内視鏡、１０・・・情報処理装置、１２・・・表示装置、１４・・・入力部、２０・・・取得部、２２・・・画像診断部、２４・・・画像処理部、２６・・・操作受付部、３０・・・画面生成部、３２・・・撮影画像配置部、３４・・・再生処理部、３６・・・キャプチャ画像配置部、４０・・・観察判定部、４２・・・処理実行部、４４・・・画像キャプチャ部、５０・・・記憶部。

　本開示は、画像の観察を支援する分野に利用できる。

Claims

　撮影された複数の画像を一覧表示領域に並べて配置する撮影画像配置部と、
　前記画像を、撮影された順番にしたがって再生する再生処理部と、
　再生された前記画像が、ユーザによって観察されたか否かを判定する観察判定部と、
　再生された前記画像がユーザによって観察されたと判定された場合に、前記一覧表示領域に配置された前記画像に対して、観察済みであることを示す処理を実行する処理実行部と、
　を備えることを特徴とする情報処理装置。
　前記観察判定部は、前記再生処理部による再生時間にもとづいて、再生された前記画像がユーザによって観察されたか否かを判定する、
　ことを特徴とする請求項１に記載の情報処理装置。
　ユーザの操作を受け付ける操作受付部をさらに備え、
　前記再生処理部は、前記操作受付部が受け付けたユーザ操作に応じた再生態様で、前記画像を再生し、
　前記観察判定部は、前記画像の再生態様にもとづいて、再生された前記画像がユーザによって観察されたか否かを判定する、
　ことを特徴とする請求項１に記載の情報処理装置。
　前記観察判定部は、再生態様が順再生または逆再生である場合に、再生された前記画像がユーザによって観察されたと判定する、
　ことを特徴とする請求項３に記載の情報処理装置。
　前記観察判定部は、再生態様がコマ送りまたはコマ戻しである場合に、再生された前記画像がユーザによって観察されていないと判定する、
　ことを特徴とする請求項３に記載の情報処理装置。
　ユーザの操作を受け付ける操作受付部と、
　前記再生処理部による画像再生が一時停止された後、ユーザ操作にしたがって表示画像をキャプチャする画像キャプチャ部と、をさらに備え、
　前記観察判定部は、前記画像キャプチャ部が前記画像をキャプチャしたか否かにもとづいて、再生された前記画像がユーザによって観察されたか否かを判定する、
　ことを特徴とする請求項１に記載の情報処理装置。
　前記観察判定部は、前記画像キャプチャ部が前記表示画像をキャプチャした場合、再生された前記画像がユーザによって観察されたと判定し、前記画像キャプチャ部が前記表示画像をキャプチャしない場合、再生された前記画像がユーザによって観察されていないと判定する、
　ことを特徴とする請求項６に記載の情報処理装置。
　前記一覧表示領域に並べて配置される前記画像は、前記画像に含まれる病変に関する病変情報を付加されており、
　前記観察判定部は、再生された前記画像がユーザによって観察されたと判定した場合に、当該画像に付加された病変情報と同じ病変に関する情報を付加された観察されていない画像を、観察された画像とみなす、
　ことを特徴とする請求項１に記載の情報処理装置。
　前記処理実行部は、再生された前記画像がユーザによって観察されたと判定された場合に、前記一覧表示領域に配置された前記画像に対して、観察済みであることを示すマーキング処理を施す、
　ことを特徴とする請求項１に記載の情報処理装置。
　ユーザの操作を受け付ける操作受付部を、さらに備え、
　前記処理実行部は、ユーザ操作にしたがって、前記画像をマーキング処理前の状態に戻す、
　ことを特徴とする請求項９に記載の情報処理装置。
　前記処理実行部は、ユーザ操作にしたがって、複数の前記画像をマーキング処理前の状態に一括して戻す、
　ことを特徴とする請求項１０に記載の情報処理装置。
　前記処理実行部は、ユーザ操作にしたがって、１つの前記画像をマーキング処理前の状態に戻す、
　ことを特徴とする請求項１０に記載の情報処理装置。
　撮影された複数の画像を記憶する記憶部をさらに備え、
　前記撮影画像配置部は、前記記憶部に記憶された複数の画像のうちの一部を一覧表示領域に並べて配置し、
　前記再生処理部は、前記記憶部に記憶された複数の画像を、撮影された順番にしたがって再生する、
　ことを特徴とする請求項１に記載の情報処理装置。
　前記記憶部は、カプセル内視鏡により撮影された複数の画像を記憶し、
　前記撮影画像配置部は、前記記憶部に記憶された複数の画像のうち、病変を含む複数の前記画像を一覧表示領域に並べて配置する、
　ことを特徴とする請求項１３に記載の情報処理装置。
　撮影された複数の画像を一覧表示領域に並べて表示し、
　前記画像を、撮影された順番にしたがって再生し、
　再生された前記画像が、ユーザによって観察されたか否かを判定し、
　再生された前記画像がユーザによって観察されたと判定された場合に、前記一覧表示領域に配置された前記画像に対して、観察済みであることを示す処理を実行する、
　画像表示方法。
　コンピュータに、
　撮影された複数の画像を一覧表示領域に並べて表示する機能と、
　前記画像を、撮影された順番にしたがって再生する機能と、
　再生された前記画像が、ユーザによって観察されたか否かを判定する機能と、
　再生された前記画像がユーザによって観察されたと判定された場合に、前記一覧表示領域に配置された前記画像に対して、観察済みであることを示す処理を実行する機能と、
　を実現させるためのプログラム。