以下、図面を参照して、実施形態に係る画像表示装置及び医用画像診断装置を説明する。
(第1の実施形態)
第1の実施形態においては、医用画像診断装置として、X線診断装置を例に挙げて説明する。図1は、第1の実施形態に係るX線診断装置100の構成例を説明するための図である。図1に示すように、X線診断装置100は、架台部10と、計算機システム20とを備える。図1に示すように、架台部10は、寝台11と、架台12と、Cアーム13と、X線源14と、X線検出器15と、表示部16とを備える。なお、X線診断装置100は、被検体Pを含まない。
寝台11は、垂直方向及び水平方向に移動可能であり、被検体Pが載置される。架台12は、Cアーム13を支持する。Cアーム13は、Z軸を中心に矢印R方向に回転可能であり、X線源14及びX線検出器15を対向して保持する。X線源14は、X線を照射するX線管球と、コリメータとを有する。X線検出器15は、X線源14から照射され、被検体Pを透過したX線を検出する。表示部16は、立体視可能な画像などを表示する。なお、第1の実施形態においては、立体視可能な画像のことを「立体視画像」という。後述するように、立体視画像は、複数の視差画像が表示部16に表示されることによって観察者(例えば、操作者)に立体的に認識される仮想的な画像のことである。
ここで、第1の実施形態に係る表示部16は、操作者が画像を立体的に認識することができる3Dモニタである。例えば、表示部16は、シャッター方式によって画像を3次元表示する。なお、図1中には表示部16が1つである例を示すが、表示部16の数は図1に図示した数に限定されるものではない。
図2は、第1の実施形態に係る表示部16を説明するための一例を示す図である。図2は、隣り合う2人の操作者が個別に設けられた表示部16をそれぞれ観察する場合を示す。なお、操作者には、医師や技師が含まれる。図2に示す表示部16には、同一の画像が表示され、2人の操作者は、個別に設けられた表示部16に表示される同一の画像を観察する。例えば、一方の医師が表示部16を観察して他方の医師に指示を送り、指示を受けた医師が被検体Pに対して作業を行う。
図2に示すように、表示部16を観察する医師は、X線防護メガネとの兼用が可能な立体視用メガネとして、シャッターメガネを装着する。この場合、表示部16は、右眼用の画像(以下、右眼画像)と左眼用の画像(以下、左眼画像)とを、例えば120Hzで交互に表示する。また、表示部16は、赤外線出射部を有し、赤外線出射部は、右眼画像と左眼画像とを切り替えるタイミングに合わせて赤外線の出射を制御する。一方、シャッターメガネは、赤外線受光部を有し、赤外線受光部は、赤外線出射部から出射された赤外線を受光し、シャッターメガネの左右それぞれに取り付けられたシャッターの透過状態及び遮光状態を交互に切り替える。
なお、3Dモニタはシャッター方式に限られるものではなく、例えば偏光メガネ方式や、レンチキュラーレンズなどの光線制御子を用いることで裸眼による立体視が可能な方式などでもよい。
また、図3に示すように、2人の操作者が対面しながら、個別に設けられた表示部16をそれぞれ観察するようにしてもよい。図3は、第1の実施形態に係る表示部16を説明するための別の一例を示す図である。図3に示す例では、例えば、診療科の異なる医師2名が表示部16を観察しながらそれぞれが独立して被検体Pに対して作業を行う。
また、図4に示すように、2人の操作者が異なる場所にいてもよい。図4は、第1の実施形態に係る表示部16を説明するための別の一例を示す図である。図4に示す例では、別室にいる先輩医師が表示部16を観察しながら、手術室にいる後輩医師に指示を出す。そして、手術室にいる後輩医師は、表示部16を観察して先輩医師の指示を確認し、被検体Pに対して作業を行う。なお、別室と手術室とが同じ病院内に設けられていてもよい。また、手術室とは離れた遠隔地に別室を設けてもよい。
図1に戻り、計算機システム20は、操作部21と、医用画像データ記憶部22と、制御部23と、医用画像データ収集部24と、Cアーム制御部25と、視差画像群生成部26と、表示制御部27とを備える。
操作部21は、コントロールパネル、フットスイッチ、ジョイスティック、マウス、キネクトなどであり、X線診断装置100に対する各種操作の入力を操作者から受け付ける。具体的には、第1の実施形態に係る操作部21は、3次元画像データなどの画像データの収集指示や、立体視画像の表示指示などを受け付ける。医用画像データ記憶部22は、立体視画像の表示に用いられる3次元画像データなどを記憶する。制御部23は、X線診断装置100の全体制御を行う。
医用画像データ収集部24は、3次元画像データなどの画像データを収集する。例えば、医用画像データ収集部24は、3次元画像データの収集指示を受け付けると、X線源14、X線検出装置15、及びCアーム制御部25を制御し、3次元画像データを収集する。医用画像データ収集部24は、収集した3次元画像データを医用画像データ記憶部22に格納する。なお、第1の実施形態においては、X線診断装置100のCアーム13を回転させることで3次元画像データを収集する例を説明したが、実施形態はこれに限られるものではなく、例えば、X線診断装置100とは異なるX線CT(Computed Tomography)装置によって予め収集された3次元画像データを用いてもよい。
視差画像群生成部26は、3次元画像データから、視差画像群である右眼画像及び左眼画像を生成する。具体的には、視差画像群生成部26は、視差画像群の生成指示を表示制御部27から受け取ると、医用画像データ記憶部22を参照し、予め収集された3次元画像データを取得する。そして、視差画像群生成部26は、取得した3次元画像データから右眼画像及び左眼画像を生成し、生成した右眼画像及び左眼画像を表示制御部27に送る。表示制御部27は、操作部21を介して立体視画像の表示指示を受け付けると、視差画像群の生成指示を視差画像群生成部26に送り、生成された視差画像群を視差画像群生成部26から受け取ると、この視差画像群を用いて立体視画像を表示部16に3次元表示する。
このようにして表示制御部27によって表示部16に表示された立体視画像を見ながら操作者は作業を行う。ここで、操作者が2名以上である場合、奥行き方向にも物体が存在するため、見る角度や奥行きの認識距離の相違によっては、意思疎通を間違えるリスクがある。そこで、第1の実施形態に係る計算機システム20では、立体視画像中に、立体視画像において位置を示す位置情報(例えば、矢印記号等で表現されるカーソル等)を表示する。具体的には、図1に示す表示制御部27及び位置情報制御部28が、この位置情報の表示を制御する処理を実行する。
表示制御部27は、3次元画像データから生成された視差画像群を用いて立体視画像を表示部16に3次元表示するとともに、立体視画像において位置を示す位置情報を表示部16に3次元表示する。
位置情報制御部28は、位置情報を立体視画像において奥行き方向に移動する指示を操作者から受付けた場合に、視差画像群に含まれる各視差画像内の位置情報を、操作者から受付けた移動量に応じて各視差画像内で移動させる。表示制御部27は、位置情報制御部28によって位置情報が移動された後の視差画像群を用いて、立体視可能な位置情報が重畳された立体視画像を表示部16に3次元表示する。すると、操作者には、位置情報が、仮想的な立体視画像において奥行き方向に移動したように認識される。なお、位置情報制御部28の詳細については後述する。
次に、図5を用いて、第1の実施形態に係る位置情報制御部28による処理動作について説明する。図5は、第1の実施形態に係る位置情報制御部28による処理動作の一例を示す図である。なお、図5において、左眼画像及び右眼画像それぞれには、立体視できるように若干ずらした状態で、血管が描出されている。図5に示すように、位置情報制御部28は、操作部21を介して立体視画像の表示指示を受け付けると、各視差画像内の所定の位置(例えば、初期の位置)に、位置情報を位置付ける。
図5に示す例では、位置情報制御部28が、初期の位置として位置情報を基準点に表示する場合を説明する。ここで、「基準点」とは、立体視画像内で左右両眼による視差が生じない点であり、例えば、表示部16の表示面上に位置付けられる。また、基準点が位置付けられる立体視画像上の面を「基準面」と呼ぶ。例えば、基準点の位置が表示部16の表示面上である場合、基準面は、表示部16の表示面に相当する。なお、基準点の位置は、表示部16の表示面上に限定されるものではない。
図5に示すように、位置情報制御部28は、左眼画像のL1の座標に位置情報を位置付け、右眼画像のR1の座標に位置情報を位置付ける。ここで、左眼画像のL1の座標は、右眼画像のR1の座標と同一である。すなわち、左眼画像と右眼画像との間にずらし量が発生しない。また、立体視画像において位置情報は、操作者の左眼を示すLと座標L1とを結ぶ線と、操作者の右眼を示すRと座標R1とを結ぶ線の交点に結像される。すなわち図5に示す立体視画像において位置情報は、基準点に結像される(図5の立体視画像において矢印の位置)。なお、位置情報制御部28により初期の位置として位置付ける位置情報の位置は、図5に図示した位置に限定されるものではない。
次に、図6を用いて、第1の実施形態に係る位置情報制御部28による処理動作について説明する。図6は、第1の実施形態に係る位置情報制御部28による処理動作の別の一例を示す図である。図6は、基準点に結像された位置情報を基準点から奥行き方向の手前側に移動させる場合の一例を示す。
位置情報制御部28は、図5に示した立体視画像において、奥行き方向の手前側へ位置情報を移動させる操作を操作者から受付けた場合、以下の処理を実行する。すなわち、位置情報制御部28は、図6に示すように、左眼画像については、L1より右側の座標であるL2に位置情報を移動させる。また、位置情報制御部28は、図6に示すように、右眼画像については、R1より左側の座標であるR2に位置情報を移動させる。これにより、右眼画像と左眼画像との間に位置情報のずらし量が発生する。この場合、立体視画像において位置情報は、奥行き方向の手前側へ移動する。また、立体視画像において位置情報は、操作者の左眼を示すLと座標L2とを結ぶ線と、操作者の右眼を示すRと座標R2とを結ぶ線の交点に結像される。すなわち図5に示す立体視画像において位置情報は、基準点よりも奥行き方向の手前側の位置に結像される(図6の立体視画像において矢印の位置)。
例えば、マウスの左右上下の動きは従来のしくみを残し、ホイールを動かすことにより、ずらし量を変えた位置情報が表示される。なお、位置情報の操作を受け付ける操作部21は、マウスに限定されるものではなく、例えば、操作者のジェスチャーや音声を検知し、検知した内容に基づいて操作を受け付けるデバイスなどでもよい(例えば、奥行き方向の奥側へ位置情報を移動させる操作は、操作者が手で押し出すジェスチャーをすることで検知されるなど)。
このように、位置情報制御部28が、例えば、右眼画像と左眼画像との間に位置情報のずらし量を生じさせ、表示制御部27が、ずらし量が生じた後の右眼画像と左眼画像とを用いて立体視画像を3次元表示することで、位置情報は、立体視画像において奥行き方向に移動する。
ここで、位置情報制御部28が右眼画像と左眼画像とに等しく位置情報のずらし量を生じさせた場合、位置情報は、位置情報を観察する操作者の視点位置と位置情報の座標とによっては奥行き方向の奥側又は手前側に移動せず、斜め方向に移動する場合がある。
このようなことから、第1の実施形態において、位置情報制御部28は、操作者の視点位置と、操作者から受け付けた移動量と、各視差画像内において位置情報が位置付けられている座標とに基づいて、各視差画像内において位置情報の移動先となる座標を算出することで、適切なずらし量を求めている。なお、視点位置の検出は、公知の技術を用いて実現することができる。例えば、位置情報制御部28は、カメラを有し、カメラによって撮影された画像と顔のモデル画像とのパターンマッチングにより、操作者が立っている位置(例えば、表示部16との相対的な位置など)を特定することができる。図7及び図8を用いて、第1の実施形態に係る位置情報制御部28によるずらし量の制御動作について説明する。また、図7及び図8では、操作者が表示部16の正面に立っている場合を説明する。
図7は、第1の実施形態に係る位置情報制御部28によるずらし量の制御動作の一例を示す図である。図7において、Lは操作者の左眼を示し、Rは操作者の右眼を示す。また、図7において、位置情報は、表示部16の真ん中に位置付けられている。すなわち、位置情報は、操作者の左眼と操作者の右眼とのほぼ中央の基準点に位置付けられている。具体的には、位置情報制御部28は、視差画像群生成部26によって生成された左眼画像に対して、座標L1(X1,Y1)に位置情報を位置付け、位置情報が座標L1(X1,Y1)に位置付けられた新たな左眼画像を生成する。また、位置情報制御部28は、視差画像群生成部26によって生成された右眼画像に対して、座標R1(X1,Y1)に位置情報を位置付け、位置情報が座標R1(X1,Y1)に位置付けられた新たな右眼画像を生成する。この場合、右眼画像と左眼画像との間に位置情報のずらし量が発生しない。
ここで、基準面に位置付けられる位置情報を奥行き方向の手前側に移動させる場合について説明する。この場合、位置情報制御部28は、奥行き方向の手前側で位置情報が結像される位置と左眼の視点位置とを結ぶ線上において、基準面と交差する座標L2に位置情報を移動させるとともに、奥行き方向の手前側で位置情報が結像される位置(図7において点線の円で示す)と右眼の視点位置とを結ぶ線上において、基準面と交差する座標R2に位置情報を移動させる。例えば、位置情報制御部28は、操作者の視点位置を検出する。また、位置情報制御部28は、操作者から受付けた移動量に対応する移動後の位置情報が結像される位置を求める。続いて、位置情報制御部28は、検出した視点位置と、立体視画像の仮想空間内で移動後の位置情報が結像される位置とを結ぶ直線上において、基準面と交差する座標を求める。そして、位置情報制御部28は、各視差画像に対して、求めた座標に位置情報を位置付けるように制御する。例えば、位置情報制御部28は、現在の左眼画像に対して、座標L2(X1+ΔX,Y1)に位置情報を位置付け、位置情報が座標L2(X1+ΔX,Y1)に位置付けられた新たな左眼画像を生成する。また、位置情報制御部28は、現在の右眼画像に対して、座標R2(X1−ΔX,Y1)に位置情報を位置付け、位置情報が座標R2(X1−ΔX,Y1)に位置付けられた新たな右眼画像を生成する。この場合、右眼画像と左眼画像との間に位置情報のずらし量が発生する。したがって、仮想的な立体視画像において位置情報は基準面から手前側に移動する。
続いて、基準面に位置付けられる位置情報を奥行き方向の奥側に移動させる場合について説明する。この場合、位置情報制御部28は、奥行き方向の奥側で位置情報が結像される位置と左眼の視点位置とを結ぶ線上において、基準面と交差する座標L3に位置情報を移動させるとともに、奥行き方向の奥側で位置情報が結像される位置と右眼の視点位置とを結ぶ線上において、基準面と交差する座標R3に位置情報を移動させる。例えば、位置情報制御部28は、現在の左眼画像に対して、座標L3(X1−ΔX´,Y1)に位置情報を位置付け、位置情報が座標L3(X1−ΔX´,Y1)に位置付けられた新たな左眼画像を生成する。また、位置情報制御部28は、現在の右眼画像に対して、座標R3(X1+ΔX´,Y1)に位置情報を位置付け、位置情報が座標R3(X1+ΔX´,Y1)に位置付けられた新たな右眼画像を生成する。この場合、右眼画像と左眼画像との間に位置情報のずらし量が発生する。したがって、仮想的な立体視画像において位置情報は基準面から奥側に移動する。
図8は、第1の実施形態に係る位置情報制御部28によるずらし量の制御動作の別の一例を示す図である。図8において、Lは操作者の左眼を示し、Rは操作者の右眼を示す。また、図8において、位置情報は、表示部16の右眼よりに位置付けられている。すなわち、位置情報は、操作者の右眼の延長線上に位置付けられている。具体的には、位置情報制御部28は、視差画像群生成部26によって生成された左眼画像に対して、座標L1(X1+ΔX,Y1)に位置情報を位置付け、位置情報が座標L1(X1+ΔX,Y1)に位置付けられた新たな左眼画像を生成する。また、位置情報制御部28は、視差画像群生成部26によって生成された右眼画像に対して、座標R1(X1+ΔX,Y1)に位置情報を位置付け、位置情報が座標R1(X1+ΔX,Y1)に位置付けられた新たな右眼画像を生成する。この場合、右眼画像と左眼画像との間に位置情報のずらし量が発生しない。
ここで、基準面に位置付けられる位置情報を奥行き方向の手前側に移動させる場合について説明する。この場合、位置情報制御部28は、奥行き方向の手前側で位置情報が結像される位置(図8において点線の円で示す)と左眼の視点位置とを結ぶ線上において、基準面と交差する座標L2に位置情報を移動させるとともに、奥行き方向の手前側で位置情報が結像される位置と右眼の視点位置とを結ぶ線上において、基準面と交差する座標R2に位置情報を移動させる。例えば、位置情報制御部28は、現在の左眼画像に対して、座標L2(X1+ΔX+α,Y1)に位置情報を位置付け、位置情報が座標L2(X1+ΔX+α,Y1)に位置付けられた新たな左眼画像を生成する。また、位置情報制御部28は、現在の右眼画像に対しては、位置情報を変更しない(座標R2は、座標R1と同一である)。この場合、右眼画像と左眼画像との間に位置情報のずらし量が発生する。したがって、仮想的な立体視画像において位置情報は基準面から手前側に移動する。
続いて、基準面に位置付けられる位置情報を奥行き方向の奥側に移動させる場合について説明する。この場合、位置情報制御部28は、奥行き方向の奥側で位置情報が結像される位置と左眼の視点位置とを結ぶ線上において、基準面と交差する座標L3に位置情報を移動させるとともに、奥行き方向の奥側で位置情報が結像される位置と右眼の視点位置とを結ぶ線上において、基準面と交差する座標R3に位置情報を移動させる。例えば、位置情報制御部28は、現在の左眼画像に対して、座標L3(X1+ΔX−α,Y1)に位置情報を位置付け、位置情報が座標L3(X1+ΔX−α,Y1)に位置付けられた左眼画像を生成する。また、位置情報制御部28は、現在の右眼画像に対しては、位置情報を変更しない(座標R3は、座標R1と同一である)。この場合、右眼画像と左眼画像との間に位置情報のずらし量が発生する。したがって、仮想的な立体視画像において位置情報は基準面から奥側に移動する。
このように、第1の実施形態において、位置情報制御部28は、操作者の視点位置と、操作者から受け付けた移動量とに基づいて、各視差画像内において位置情報の移動先となる座標を算出するので、適切なずらし量を求めることができる。なお、第1の実施形態においては、操作者の視点位置を検出して上記処理を行う例を説明したが、実施形態はこれに限られるものではない。例えば、操作者が表示部16の正面に立っていると仮定することにより、位置情報制御部28は、操作者の視点位置を検出せずに、適切なずらし量を求めることができる。
次に、図9を用いて、第1の実施形態に係るX線診断装置100による位置情報制御処理の手順について説明する。図9は、第1の実施形態に係るX線診断装置100による位置情報制御処理の手順を示すフローチャートである。図9に示すように、第1の実施形態に係るX線診断装置100は、奥行き方向の操作を操作者から受付けたか否かを判定する(ステップS101)。
第1の実施形態に係るX線診断装置100は、奥行き方向の操作を操作者から受付けたと判定した場合(ステップS101、Yes)、操作者の視点位置を取得する(ステップS102)。
また、第1の実施形態に係るX線診断装置100は、操作者から受付けた移動量に対応する移動後の位置情報が結像される位置を算出する(ステップS103)。例えば、第1の実施形態に係るX線診断装置100は、操作者から受付けた移動量に応じて、位置情報を奥行き方向の手前側に移動させた場合に位置情報が結像される位置或いは位置情報を奥行き方向の奥側に移動させた場合に位置情報が結像される位置を算出する。
続いて、第1の実施形態に係るX線診断装置100は、検出した視点位置と移動後の位置情報が結像される位置とを結ぶ直線上において、基準面と交差する座標を求める(ステップS104)。そして、位置情報制御部28は、求めた座標に位置情報を位置付けた各視差画像を生成する(ステップS105)。例えば、第1の実施形態に係るX線診断装置100は、求めた座標に位置情報を移動させた左眼画像及び右眼画像を生成する。
第1の実施形態に係るX線診断装置100は、ステップS103の処理の終了後、位置情報制御処理を終了する。なお、第1の実施形態に係るX線診断装置100は、奥行き方向の操作を操作者から受付けたと判定しなかった場合(ステップS101、No)、引き続き、ステップS101の判定を繰り返す。
(第1の実施形態の効果)
上述したように、第1の実施形態によれば、位置情報を奥行き方向に移動する指示を操作者から受付けた場合に、視差画像群に含まれる各視差画像内の位置情報を、操作者から受付けた移動量に応じて各視差画像内で移動させることで、立体視画像において、位置情報を奥行き方向に移動させる。これにより、第1の実施形態によれば、立体視画像において位置を指し示す位置情報を適切に表示することができる。そして、操作者は、上下左右方向のみならず、奥行き方向についても、位置情報が指し示す位置を正しく認識することができる。
また、第1の実施形態によれば、操作者の視点位置と、操作者から受け付けた移動量と、各視差画像内において位置情報が位置付けられている座標とに基づいて、各視差画像内において位置情報の移動先となる座標を算出することで、適切なずらし量を求めている。これにより、第1の実施形態によれば、立体視画像において、位置情報を奥行き方向に適切に移動させることができる。
(第2の実施形態)
第1の実施形態では、操作者による操作に従って位置情報を移動させる例を説明した。ところで、例えば、血管内治療を想定した場合、操作者は、血管やステントを指し示す機会が多いと考えられる。ここで、操作者が、血管やステントを指し示しながら奥行き方向へ位置情報を移動させようとした場合、2段階の操作を行うと考えられる。例えば、位置情報を奥行き方向に移動させる第1の段階と、位置情報を奥行き方向に移動させた後に左右方向に位置情報を移動させる第2の段階である。このようなことから、第2の実施形態においては、血管やステント等の対象物に沿って位置情報を移動させる手法を説明する。なお、対象物に沿って位置情報を移動させる手法として、「自動トレースする手法A1」と、「コントラストの高い物体に自動フォーカスする手法A2」とがある。
(自動トレースする手法A1)
血管内治療においては、細い血管や、カテーテル、ワイヤ、リード、ステント等の細いデバイスを表示する場合が多い。このため、操作者は、血管やデバイスに沿って位置情報を動かす操作を行うことがある。そこで、第2の実施形態に係る位置情報制御部28は、血管やデバイスを自動的にトレースする機能を更に有する。
第2の実施形態に係る位置情報制御部28は、例えば、視差画像群に対して、線画像の線幅を1画素にする細線化処理を行う。続いて、第2の実施形態に係る位置情報制御部28は、細線化した視差画像群において、細線化された画素上(若しくはその近辺を含む)に動きを限定し、マウスの操作を受付ける。そして、第2の実施形態に係る位置情報制御部28は、受付けた移動量に応じて血管に沿って奥行き方向に位置情報を移動させる。なお、第2の実施形態に係る位置情報制御部28は、視差画像群間の座標を対応付けた情報をパターンマッチングにより予め生成し保持する。例えば、左眼画像及び右眼画像それぞれに、立体視できるように若干ずらした状態で血管が描出されているとする。かかる場合、左眼画像と右眼画像との間でパターンマッチングすることで、左眼画像に描出された血管上のある位置を、右眼画像に描出された血管上で特定することができる。すなわち、左眼画像と右眼画像との間で座標を対応付けることができる。なお、第2の実施形態に係る位置情報制御部28は、右眼画像に描出された血管上のある位置を、左眼画像に描出された血管上で特定してもよい。
図10を用いて第2の実施形態に係る位置情報制御部28による自動トレースする手法の具体例を説明する。図10は、第2の実施形態に係る位置情報制御部28による自動トレースする手法の一例を示す図である。図10に示すように、第2の実施形態に係る位置情報制御部28は、左眼画像及び右眼画像を細線化する。そして、第2の実施形態に係る位置情報制御部28は、例えば、左眼画像のL1に位置情報を位置付けた左眼画像を生成し、右眼画像のR1に位置情報を位置付けた右眼画像を生成する。ここで、左眼画像のL1と右眼画像のR1とが同じ位置を指し示す。そして、第2の実施形態に係る位置情報制御部28は、受付けた移動量に応じて、左眼画像の位置情報と右眼画像の位置情報とが同じ位置を指し示しながら、奥行き方向に位置情報を移動させた画像を生成する。
例えば、第2の実施形態に係る位置情報制御部28は、図10に示す立体視画像において、位置情報を手前側に移動する操作を操作者から受付けた場合、位置情報を図10中のA方向に血管中心線に沿って移動させた画像を生成する。具体的には、第2の実施形態に係る位置情報制御部28は、左眼画像において、操作者から受付けた移動量に応じて求めた座標L2に位置情報を位置付ける。続いて、第2の実施形態に係る位置情報制御部28は、左眼画像の座標L2と対応する右眼画像の座標R2をパターンマッチングによって特定する。そして第2の実施形態に係る位置情報制御部28は、右眼画像において座標R2に位置情報を位置付ける。また、第2の実施形態に係る位置情報制御部28は、図10に示す立体視画像において、位置情報を奥側に移動する操作を操作者から受付けた場合、位置情報を図10中のB方向に血管中心線に沿って移動させた画像を生成する。具体的には、第2の実施形態に係る位置情報制御部28は、左眼画像において、操作者から受付けた移動量に応じて求めた座標L3に位置情報を位置付ける。続いて、第2の実施形態に係る位置情報制御部28は、左眼画像の座標L3と対応する右眼画像の座標R3をパターンマッチングによって特定する。そして、第2の実施形態に係る位置情報制御部28は、右眼画像において座標R3に位置情報を位置付ける。
また、第2の実施形態に係る位置情報制御部28は、例えば血管の分岐点等においては、操作者からマウスを左右上下方向に動かす操作を受付けることによって、いずれの血管に沿って位置情報を動かすかを判定する。例えば、第2の実施形態に係る位置情報制御部28は、血管の分岐点Xに到達した場合、マウスを右方向へ動かす操作を受付けたと判定するとC方向へ位置情報を移動した画像を生成し、マウスを下方向へ動かす操作を受付けたと判定するとD方向へ位置情報を移動した画像を生成する。
次に、図11を用いて、第2の実施形態に係るX線診断装置100による位置情報制御処理の手順について説明する。図11は、第2の実施形態に係るX線診断装置100による位置情報制御処理の手順を示すフローチャートである。
図11に示すように、第2の実施形態に係るX線診断装置100は、トレースモードの設定を受付けたか否かを判定する(ステップS201)。そして、第2の実施形態に係るX線診断装置100は、トレースモードの設定を受付けたと判定した場合(ステップS201、Yes)、視差画像群に対して細線化処理を行う(ステップS202)。これにより第2の実施形態に係るX線診断装置100は、例えば、視差画像群から血管を抽出する。なお、第2の実施形態に係るX線診断装置100は、トレースモードの設定を受付けたと判定しなかった場合(ステップS201、No)、ステップS201の判定を繰り返す。
そして、第2の実施形態に係るX線診断装置100は、奥行き方向の操作を操作者から受付ける(ステップS203)。続いて、第2の実施形態に係るX線診断装置100は、受付けた移動量に応じて対象物に沿って位置情報を移動させた画像を生成する(ステップS204)。例えば、第2の実施形態に係るX線診断装置100は、奥行き方向の奥側への操作を受付けた場合、対象物に沿って位置情報を奥行き方向の奥側へ移動させた画像を生成する。また、例えば、第2の実施形態に係るX線診断装置100は、奥行き方向の手前側への操作を受付けた場合、対象物に沿って位置情報を奥行き方向の手前側へ移動させた画像を生成する。
第2の実施形態に係るX線診断装置100は、分岐点に到達したか否かを判定する(ステップS205)。例えば、第2の実施形態に係るX線診断装置100は、対象物が血管である場合、血管の分岐点に到達したか否かを判定する。
第2の実施形態に係るX線診断装置100は、分岐点に到達したと判定した場合(ステップS205、Yes)、操作者からの選択を受付ける(ステップS206)。例えば、第2の実施形態に係るX線診断装置100は、血管の分岐点に到達した場合、マウスを左右上下のいずれかに動かす操作を操作者から受付け、受付けた方向に分岐する血管に位置情報を移動させた画像を生成する。
第2の実施形態に係るX線診断装置100は、分岐点に到達したと判定しなかった場合(ステップS205、No)、あるいはステップS206の終了後、操作の終了を受付けたか否かを判定する(ステップS207)。第2の実施形態に係るX線診断装置100は、操作の終了を受付けたと判定しなかった場合(ステップS207、No)、ステップS203に移行する。
一方、第2の実施形態に係るX線診断装置100は、操作の終了を受付けたと判定した場合(ステップS207、Yes)、トレースモードでの処理を終了する。第2の実施形態に係るX線診断装置100は、トレースモードでの処理が終了後、第1の実施形態に係るX線診断装置100と同様の処理を行う。すなわち、第2の実施形態に係るX線診断装置100は、立体視画像において位置情報を奥行き方向に移動する指示を操作者から受付けた場合に、視差画像群に含まれる各画像の位置情報を、操作者から受付けた移動量に応じて各画像内で移動させる。
(自動トレースする手法A1の変形例)
第2の実施形態に係る位置情報制御部28は、例えば血管の分岐点においては、操作が可能な血管の候補をポップアップ表示し、表示した血管の候補の中から操作者から選択された血管に沿って位置情報を動かすようにしてもよい。
図12を用いて位置情報が血管の分岐点に到達した場合の位置情報制御部28の処理動作の一例を示す。図12は、位置情報が血管の分岐点に到達した場合の位置情報制御部28の処理動作の一例を示す図である。図12に示す立体視画像において、位置情報が血管の分岐点Xに到達した場合、第2の実施形態に係る位置情報制御部28は、「右クリック」及び「左クリック」をポップアップ表示する。そして、第2の実施形態に係る位置情報制御部28は、操作者から右クリックの操作を受付けた場合、位置情報を図12中のA方向に血管中心線に沿って移動させる。また、第2の実施形態に係る位置情報制御部28は、操作者から左リックの操作を受付けた場合、位置情報を図12中のB方向に血管中心線に沿って移動させる。
また、第2の実施形態に係る位置情報制御部28は、例えば血管の分岐点においては、候補となる血管の色を変えて表示するようにしてもよい。
また、第2の実施形態に係る位置情報制御部28は、例えば血管の分岐点においては、いずれかの血管を選択し、選択した血管に沿うように位置情報を移動してもよい。なお、この場合、第2の実施形態に係る位置情報制御部28は、操作者が観察対象とする血管とは異なる血管を選択した場合、操作者から観察対象とする血管を受付ける。
また、第2の実施形態に係る位置情報制御部28は、細線化処理によって血管やデバイスを視差画像群から抽出する場合を説明したが、2値化処理によって血管やデバイスを視差画像群から抽出してもよい。
このように第2の実施形態に係る位置情報制御部28は、細線化によって抽出した血管に沿って(血管中心線に沿って)位置情報を視差画像内で移動させる。これにより、操作者は、血管に沿って位置情報を奥行き方向へ移動する操作を容易に行うことができる。
(コントラストの高い物体に自動フォーカスする手法A2)
血管造影画像でもステント等のデバイスの画像でも、多くはフラットに近い背景に、コントラストの高い長細い物体が写っている画像が多い。そこで、第2の実施形態に係る位置情報制御部28は、コントラストの高い物体に自動フォーカスする手法A2において、近くのコントラストの高い物体(血管)に自動的に奥行きが合うようにする機能を更に有する。
例えば、第2の実施形態に係る位置情報制御部28は、コントラストの高い物体に自動フォーカスする機能を設定された場合、視差画像群においてコントラストの高い物体(血管やデバイス)に位置情報を自動調整する。そして、第2の実施形態に係る位置情報制御部28は、マウスの操作を操作者から受付け、受付けた移動量に応じて血管やデバイスに沿って奥行き方向に位置情報を移動させる。なお、第2の実施形態に係る位置情報制御部28は、視差画像群間の座標を対応付けた情報をパターンマッチングにより予め生成し保持する。
図13を用いて、コントラストの高い物体に自動フォーカスする機能を設定された場合の位置情報制御部28の処理動作を説明する。図13は、コントラストの高い物体に自動フォーカスする機能を設定された場合の位置情報制御部28の処理動作の一例を示す図である。図13は、血管造影剤を投与後の心臓冠状動脈を撮影した視差画像群を示す。
図13に示すように、第2の実施形態に係る位置情報制御部28は、コントラストの高い物体に自動フォーカスする機能を設定された場合、視差画像内の画像値に基づいてコントラストを判定し、血管造影剤の投与によって視差画像内でコントラストの高い血管に位置情報を合わせる。例えば、第2の実施形態に係る位置情報制御部28は、操作者によって最初に置かれた位置情報から最も近い左眼画像のL1に位置情報を位置付けた左眼画像を生成するとともに、右眼画像のR1に位置情報を位置付けた右眼画像を生成する。ここで、左眼画像のL1と右眼画像のR1とが同じ位置を指し示す。そして、第2の実施形態に係る位置情報制御部28は、受付けた移動量に応じて、左眼画像の位置情報と右眼画像の位置情報とが同じ位置を指し示しながら、奥行き方向に位置情報を移動させた画像を生成する。
図13に示す立体視画像において、位置情報を手前側に移動する操作を操作者から受付けた場合、位置情報を図13中のA方向に血管中心線に沿って移動させた画像を生成する。具体的には、第2の実施形態に係る位置情報制御部28は、左眼画像において、操作者から受付けた移動量に応じて求めた座標L2に位置情報を位置付ける。続いて、第2の実施形態に係る位置情報制御部28は、左眼画像の座標L2と対応する右眼画像の座標R2をパターンマッチングによって特定する。そして第2の実施形態に係る位置情報制御部28は、右眼画像において座標R2に位置情報を位置付ける。また、第2の実施形態に係る位置情報制御部28は、図13に示す立体視画像において、位置情報を奥側に移動する操作を操作者から受付けた場合、位置情報を図13中のB方向に血管中心線に沿って移動させた画像を生成する。具体的には、第2の実施形態に係る位置情報制御部28は、左眼画像において、操作者から受付けた移動量に応じて求めた座標L3に位置情報を位置付ける。続いて、第2の実施形態に係る位置情報制御部28は、左眼画像の座標L3と対応する右眼画像の座標R3をパターンマッチングによって特定する。そして、第2の実施形態に係る位置情報制御部28は、右眼画像において座標R3に位置情報を位置付ける。
また、第2の実施形態に係る位置情報制御部28は、コントラストの高い物体から位置情報が離れそうになった場合、位置情報の移動範囲をコントラストの高い物体に制限する。
次に、図14を用いて、第2の実施形態に係るX線診断装置100による位置情報制御処理の手順について説明する。図14は、第2の実施形態に係るX線診断装置100による位置情報制御処理の手順を示すフローチャートである。
図14に示すように、第2の実施形態に係るX線診断装置100は、コントラストの高い物体に自動フォーカスする機能の設定を受付けたか否かを判定する(ステップS301)。そして、第2の実施形態に係るX線診断装置100は、コントラストの高い物体に自動フォーカスする機能の設定を受付けたと判定した場合(ステップS301、Yes)、コントラストの判定を行う(ステップS302)。例えば、第2の実施形態に係るX線診断装置100は、視差画像群から血管やステント等のデバイスを抽出する。なお、第2の実施形態に係るX線診断装置100は、コントラストの高い物体に自動フォーカスする機能の設定を受付けたと判定しなかった場合(ステップS301、No)、ステップS301の判定を繰り返す。なお、ステップS303からステップS307の処理手順は、図12に示したステップS203からステップS207の処理手順と同様であるので、詳細な説明は省略する。
このように第2の実施形態に係る位置情報制御部28は、コントラストに基づいて抽出した血管に沿って(血管中心線に沿って)位置情報を視差画像内で移動させる。これにより、操作者は、血管に沿って位置情報を奥行き方向へ移動する操作を容易に行うことができる。
上述したように、第2の実施形態によれば、血管やステント等の対象物に沿って位置情報を奥行き方向に移動することができる。
(第3の実施形態)
図4に示したように、手術室とは離れた場所にいる医者や技師が、モニタを操作することで手術室にいる医師が観察するモニタに指示を出す場合がある。また、手術室にいる医師が観察するモニタに3Dモニタを使用する場合であっても、手術室とは離れた場所にいる医者や技師が使用するモニタに2Dモニタを使用する場合がある。そこで、第3の実施形態として、手術室とは離れた場所にいる医者や技師が2Dモニタを使用する場合に、手術室にいる医師が使用する3Dモニタに位置情報を指示する例を示す。
第3の実施形態に係る位置情報制御部28は、別室に設置された2Dモニタを見ている技師がマウスを操作して視差画像群中に位置情報を指定すると、手術室に設置された3Dモニタに表示される立体視画像に自動的に位置情報を表示する。視差画像群が右眼画像と左眼画像との2枚である場合を例に説明する。
例えば、第3の実施形態に係る位置情報制御部28は、右眼画像において対象物のある位置を指し示すように位置情報を移動させる操作を別室にいる操作者から受付けた場合、パターンマッチングによって左眼画像において対応する位置に位置情報を移動させる。この結果、第3の実施形態に係る位置情報制御部28は、手術室に設置された3Dモニタにおいて位置情報を、2Dモニタで指定された位置に移動させて表示する。すなわち、第3の実施形態に係る位置情報制御部28は、対象物のある位置を指し示すように位置情報が位置付けられた右眼画像と、対象物のある位置を指し示すように位置情報が位置付けられた左眼画像とを用いて、手術室に設置された3Dモニタに、立体視画像において対象物のある位置を指し示すように位置付けられた位置情報を表示する。なお、第3の実施形態に係る位置情報制御部28は、左眼画像において対象物のある位置を指し示すように位置情報を移動させる操作を別室にいる操作者から受付けた場合、パターンマッチングによって右眼画像において対応する位置に位置情報を移動させてもよい。また、第3の実施形態に係る位置情報制御部28は、パターンマッチングを行わず、右眼画像において対象物のある位置を指し示すように位置情報を移動させる操作と左眼画像において対象物のある位置を指し示すように位置情報を移動させる操作とを操作者から受付けてもよい。
また、第3の実施形態に係る位置情報制御部28は、第2の実施形態で説明した「自動トレースする手法A1」と、「コントラストの高い物体に自動フォーカスする手法A2」とを併用することが可能である。例えば、第3の実施形態に係る位置情報制御部28は、別室に設置された2Dモニタを観察している操作者からトレースモードの設定を受付けた場合、視差画像群を細線化して別室の2Dモニタに表示する。そして、第3の実施形態に係る位置情報制御部28は、視差画像群において位置情報を対象物のある位置を指し示すように移動させる操作を別室にいる操作者から受付けた場合、手術室に設置された3Dモニタにおいて位置情報を、2Dモニタで指定された位置に移動させて表示する。また、第3の実施形態に係る位置情報制御部28は、手術室にいる操作者から位置情報を動かす操作を受付けた場合、対象物の近辺で位置情報を移動させる。
また、第3の実施形態に係る位置情報制御部28は、別室に設置された2Dモニタを観察している操作者からコントラストの高い物体に自動フォーカスする設定を受付けた場合、視差画像群においてコントラストの高い物体(血管やデバイス)に位置情報を自動調整する。そして、第3の実施形態に係る位置情報制御部28は、別室にいる操作者から対象物のある位置を指し示すように移動させて位置情報を表示する操作を受付けた場合、手術室に設置された3Dモニタにおいて位置情報を、2Dモニタで指定された位置に移動させて表示する。
上述したように、第3の実施形態によれば、手術室とは離れた場所にいる医者や技師が2Dモニタを使用する場合に、手術室にいる医師が使用する3Dモニタに位置情報を指示することができる。
また、第2の実施形態では、血管に沿って移動させる例を説明したが、血管に限らず、他の器官等に沿って移動させてもよい。
X線診断装置100が表示する立体視画像の位置情報を移動させる例を説明したが、実施形態はこれに限定されるものではない。例えば、超音波診断装置、X線CT装置、MRI(Magnetic Resonance Imaging)等の医用画像診断装置は、自装置が収集した3次元画像データを用いて立体視画像を表示する際に、立体視画像の位置情報を移動させてもよい。また、医用画像診断装置は、自装置が収集した3次元画像データを画像表示装置に転送してもよい。すなわち、医用画像診断装置は、3次元画像データを収集する。そして、医用画像診断装置は、3次元画像データから生成された視差画像群を用いて立体視画像を表示部に3次元表示するとともに、立体視画像中における位置を示す位置情報を表示部に表示する。続いて、医用画像診断装置は、立体視画像において位置情報を奥行き方向に移動する指示を操作者から受付けた場合に、視差画像群に含まれる各画像の位置情報を、操作者から受付けた移動量に応じて各視差画像内で移動させることで、位置情報を表示部において奥行き方向に移動させる。これにより、医用画像診断装置は、立体視画像において位置を指し示す位置情報を適切に表示することができる。
また、画像表示装置は、3次元画像データから生成された視差画像群を用いて立体視画像を表示部に3次元表示するとともに、立体視画像中における位置を示す位置情報を表示部に表示する。例えば、画像表示装置は、医用画像診断装置により収集された3次元医用画像データから生成された視差画像群を用いて立体視画像を表示部に3次元表示するとともに、立体視画像中における位置を示す位置情報を表示部に表示する。そして、画像表示装置は、立体視画像において位置情報を奥行き方向に移動する指示を操作者から受付けた場合に、視差画像群に含まれる各画像の位置情報を、操作者から受付けた移動量に応じて各視差画像内で移動させることで、位置情報を表示部において奥行き方向に移動させる。これにより、画像表示装置は、立体視画像において位置を指し示す位置情報を適切に表示することができる。なお、3次元画像データは、医用画像診断装置により収集された3次元医用画像データに限定されるものではなく、医療用以外の画像データでもよい。
以上述べた少なくとも一つの実施形態の画像表示装置及び医用画像診断装置によれば、立体視画像において位置を指し示す位置情報を適切に表示することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。