JP5936508B2 - 立体内視鏡装置及びその画像取込方法 - Google Patents

Description

本発明は立体内視鏡装置及びその画像取込方法に係り、特に体腔内に挿入される挿入部の先端部に設けられた撮影部によって視差画像を撮影し、体腔内の被観察部位の立体視画像（３Ｄ画像）を表示できるようにした立体内視鏡装置及びその画像取込方法に関する。

立体内視鏡システムは、体腔内に挿入される内視鏡装置の挿入部の先端部に撮影光学系及び固体撮像素子を含む左右一対の撮影部（撮像手段）を備えており、それらの撮影部によって、被観察部位が撮影され、左右の視差画像が立体視用の立体画像（３Ｄ画像）として得られるようになっている。そして、その３Ｄ画像は、３Ｄ表示装置により３Ｄ表示されて観察者の右眼で右眼用の画像が観察され、観察者の左眼で左眼用の画像が観察されることによって、被観察部位が立体的に観察されるようになっている。

特許文献１には、立体内視鏡装置において、狭角の３Ｄ画像による被観察部位の観察のみでは、その周辺部の状況確認や処置具の位置確認等ができないことから、平面視用の広角の２Ｄ画像を表示できるようにすることが開示されている。これによれば、左右一対の撮影部のうち一方の撮影部によって標準画角の２Ｄ画像の撮影が行われ、他方の撮像部によって広角の２Ｄ画像の撮影が行われる。広角２次元モードでは広角の２Ｄ画像が表示され、３次元モードでは標準画角の２Ｄ画像と、広角の２Ｄ画像から切り出した２Ｄ画像とによって３Ｄ画像が表示される。これによって、３Ｄ画像と広角の２Ｄ画像が表示が行われるようになっている。

特許文献２には、３Ｄ画像の撮影を行う左右一対の撮影部とは別に広角の２Ｄ画像の撮影が行う撮影部を備えた立体内視鏡が開示されており、それらの撮影部によって撮影された３Ｄ画像と広角の２Ｄ画像が表示されるようになっている。

特開平９−５６４３号公報 特開２００３−３３４１６０号公報

ところで、特許文献２の立体内視鏡装置のように、３Ｄ画像の撮影のための左右一対の撮影部の他に、広角の２Ｄ画像の撮影のための撮影部を設けることは、内視鏡の先端部の太径化と大型化を招くため好ましくない。

一方、特許文献１のように左右一対の撮影部により撮影した左右の視差画像により３Ｄ画像と広角の２Ｄ画像とを表示できるようにした場合には、特許文献２のような不具合なく３Ｄ画像と広角の２Ｄ画像とを表示できるという利点がある。

ここで、３Ｄ画像や２Ｄ画像の品質を高くするためには解像度を高くし、動画の場合にはフレームレートも高くする必要がある。

しかしながら、解像度やフレームレートを高くすると、単位時間当たりに処理しなければならないデータ量が多くなり、システムの処理負担（圧縮、記録、伝送等）が増えるという問題がある。

一方、３Ｄ画像と２Ｄ画像を観察する場合において、画質に不満を感じない画像の解像度は、２Ｄ画像よりも３Ｄ画像の方が高く、動画の場合には、要求されるフレームレートも、立体効果が自然且つ滑らかに感じられるようにするために、２Ｄ画像よりも３Ｄ画像の方が高い。

また、観察者にとって３Ｄ画像は２Ｄ画像よりも有用な画像であり、３Ｄ画像をより高精細で滑らかな動画として高品質化することが重要である。

したがって、システムの処理負担の増加を極力抑えながら、３Ｄ画像の高品質化を図ることが望まれる。特許文献１ではこのような３Ｄ画像の品質の向上に関して提案はなされていない。

本発明はこのような事情に鑑みてなされたもので、一対の撮影部により撮影した視差画像により３Ｄ画像と２Ｄ画像を形成可能にした立体内視鏡装置において、システムの処理負担の増加を極力抑えて３Ｄ画像の高品質化（３Ｄ動画の円滑化等）を図ることができる立体内視鏡装置及びその画像取込方法を提供することを目的とする。

上記目的を達成するために本発明の一の態様に係る立体内視鏡装置は、第１視野範囲の被写体を撮影し、立体視用の３Ｄ画像及び平面視用の２Ｄ画像を形成するための第１画像を取得する第１撮影部と、第１視野範囲と一部で重なる第２視野範囲の被写体を撮影し、立体視用の３Ｄ画像及び平面視用の２Ｄ画像を形成するための第２画像を取得する第２撮影部とを有する立体内視鏡装置であって、第１撮影部及び第２撮影部はそれぞれ、第１画像及び第２画像の画像領域のうち、立体視用の３Ｄ画像を形成する３Ｄ領域の画像を取り込む第１撮影領域と、画像領域のうち、平面視用の２Ｄ画像のみを形成する２Ｄ領域の画像を取り込む第２撮影領域と、を有しており、第１撮影部及び第２撮影部がそれぞれ第１画像及び第２画像を動画像として周期的に取り込む際に、第１撮影領域が３Ｄ領域の画像を取り込む周期を、第２撮影領域が２Ｄ領域の画像を取り込む周期よりも短くする取込み周期設定手段を備えている。
また、本発明の他の態様に係る立体内視鏡装置は、第１視野範囲の被写体を撮影し、立体視用の３Ｄ画像及び平面視用の２Ｄ画像を形成するための第１画像を取得する第１撮影部と、第１視野範囲と一部で重なる第２視野範囲の被写体を撮影し、立体視用の３Ｄ画像及び平面視用の２Ｄ画像を形成するための第２画像を取得する第２撮影部とを有する立体内視鏡装置であって、第１撮影部は、第１画像の画像領域のうち立体視用の３Ｄ画像を形成する３Ｄ領域の画像を取り込む第１撮影領域と、第１画像の画像領域のうち平面視用の２Ｄ画像のみを形成する２Ｄ領域の画像を取り込む第２撮影領域と、を有し、且つ第２撮影部は、第２画像の画像領域のうち立体視用の３Ｄ画像を形成する３Ｄ領域の画像を取り込む第１撮影領域と、第２画像の画像領域のうち平面視用の２Ｄ画像のみを形成する２Ｄ領域の画像を取り込む第２撮影領域と、を有しており、第１撮影部が第１画像を動画像として周期的に取り込む際に、第１撮影領域が３Ｄ領域の画像を取り込む周期を、第２撮影領域が２Ｄ領域の画像を取り込む周期よりも短くし、且つ第２撮影部が第２画像を動画像として周期的に取り込む際に、第１撮影領域が３Ｄ領域の画像を取り込む周期を、第２撮影領域が２Ｄ領域の画像を取り込む周期よりも短くする取込み周期設定手段を備える。

本発明によれば、２Ｄ画像のデータに対する処理負担を減らして、３Ｄ画像のフレームレートや解像度を高くすることが可能となり、システムの処理負担の増加を招くことなく３Ｄ画像の高品質化を図ることができる。特に３Ｄ画像のフレームレートを高くすることによって滑らかな３Ｄ動画を得ることができる。

本発明は、取込み周期設定手段は、３Ｄ領域の画像を取り込む周期を変更可能にする手段である形態とすることができる。本形態によれば、状況に応じて３Ｄ画像（３Ｄ動画）の品質を変更することができる。

本発明は、３Ｄ画像の重要度を設定する重要度設定手段を備え、取込み周期設定手段は、３Ｄ領域の画像を取り込む周期を、重要度設定手段により設定された重要度に基づいて変更する形態とすることができる。

本形態によれば、３Ｄ画像の重要度によって３Ｄ画像の品質を変更することができる。

本発明は、取込み周期設定手段は、重要度設定手段により設定された重要度が高いほど、３Ｄ領域の画像を取り込む周期を短い時間に設定する形態とすることができる。

本形態によれば、３Ｄ画像の重要度が高い程、３Ｄ画像のフレームレートが高い、滑らかな３Ｄ動画を提供することができる。

本発明は、第１撮影部及び第２撮影部の動きの速度を検出する動き検出手段を備え、重要度設定手段は、動き検出手段により検出された動きの速度が遅いほど重要度を高く設定する形態とすることができる。

本形態によれば、第１撮影部及び第２撮影部の動きの速度によって自動的に重要度が設定される。特に、動きの速度が遅い程、観察者が３Ｄ画像により特定の被観察部位を注視している可能性が高いため、３Ｄ画像の重要度が高いとものとして設定される。

本発明は、動き検出手段は、第１画像又は第２画像に基づいて第１撮影部及び第２撮影部の動きの速度を検出する形態とすることができる。

本形態によれば、第１撮影部及び第２撮影部の動きの速度が第１画像又は第２画像に基づいて検出されるため、第１撮影部及び第２撮影部の近傍に特別なセンサを搭載することが不要となる。

本発明は、重要度をユーザが指定する指定手段を備え、重要度設定手段は、重要度を指定手段により指定された重要度に設定する形態とすることができる。

本形態によれば、ユーザが適宜重要度を変更して３Ｄ画像の品質を変更することができるようになる。

本発明の一の態様に係る立体内視鏡装置における画像取込方法は、第１視野範囲の被写体を撮影し、立体視用の３Ｄ画像及び平面視用の２Ｄ画像を形成するための第１画像を取得する第１撮影部と、第１視野範囲と一部で重なる第２視野範囲の被写体を撮影し、立体視用の３Ｄ画像及び平面視用の２Ｄ画像を形成するための第２画像を取得する第２撮影部とを有する立体内視鏡装置における画像取込方法であって、第１撮影部及び第２撮影部はそれぞれ、第１画像及び第２画像の画像領域のうち、立体視用の３Ｄ画像を形成する３Ｄ領域の画像を取り込む第１撮影領域と、画像領域のうち、平面視用の２Ｄ画像のみを形成する２Ｄ領域の画像を取り込む第２撮影領域と、を有しており、第１撮影部及び第２撮影部がそれぞれ第１画像及び第２画像を動画像として周期的に取り込む際に、第１撮影領域が３Ｄ領域の画像を取り込む周期を、第２撮影領域が２Ｄ領域の画像を取り込む周期よりも短くする取込み周期設定工程を備えている。
また、本発明の他の態様に係る立体内視鏡装置における画像取込方法は、第１視野範囲の被写体を撮影し、立体視用の３Ｄ画像及び平面視用の２Ｄ画像を形成するための第１画像を取得する第１撮影部と、第１視野範囲と一部で重なる第２視野範囲の被写体を撮影し、立体視用の３Ｄ画像及び平面視用の２Ｄ画像を形成するための第２画像を取得する第２撮影部とを有する立体内視鏡装置における画像取込方法であって、第１撮影部は、第１画像の画像領域のうち立体視用の３Ｄ画像を形成する３Ｄ領域の画像を取り込む第１撮影領域と、第１画像の画像領域のうち平面視用の２Ｄ画像のみを形成する２Ｄ領域の画像を取り込む第２撮影領域と、を有し、且つ第２撮影部は、第２画像の画像領域のうち立体視用の３Ｄ画像を形成する３Ｄ領域の画像を取り込む第１撮影領域と、第２画像の画像領域のうち平面視用の２Ｄ画像のみを形成する２Ｄ領域の画像を取り込む第２撮影領域と、を有しており、第１撮影部が第１画像を動画像として周期的に取り込む際に、第１撮影領域が３Ｄ領域の画像を取り込む周期を、第２撮影領域が２Ｄ領域の画像を取り込む周期よりも短くし、且つ第２撮影部が第２画像を動画像として周期的に取り込む際に、第１撮影領域が３Ｄ領域の画像を取り込む周期を、第２撮影領域が２Ｄ領域の画像を取り込む周期よりも短くする取込み周期設定工程を備える。

本発明によれば、２Ｄ画像のデータに対する処理負担を減らして、３Ｄ画像のフレームレートや解像度を高くすることが可能となり、システムの処理負担の増加を招くことなく３Ｄ画像の高品質化を図ることができる。特に３Ｄ画像のフレームレートを高くすることによって滑らかな３Ｄ動画を得ることができる。

本発明は、取込み周期設定工程は、３Ｄ領域の画像を取り込む周期を変更する工程である形態とすることができる。本形態によれば、状況に応じて３Ｄ画像（３Ｄ動画）の品質を変更することができる。

本形態によれば、３Ｄ画像の重要度によって３Ｄ画像の品質を変更することができる。

本発明は、３Ｄ画像の重要度を設定する重要度設定工程を備え、取込み周期設定工程は、３Ｄ領域の画像を取り込む周期を、重要度設定工程により設定された重要度に基づいて変更する形態とすることができる。

本形態によれば、３Ｄ画像の重要度が高い程、３Ｄ画像のフレームレートが高い、滑らかな３Ｄ動画を提供することができる。

本発明は、取込み周期設定工程は、重要度設定工程により設定された重要度が高いほど、３Ｄ領域の画像を取り込む周期を短い時間に設定する形態とすることができる。

本形態によれば、第１撮影部及び第２撮影部の動きの速度によって自動的に重要度が設定される。特に、動きの速度が遅い程、観察者が３Ｄ画像により特定の被観察部位を注視している可能性が高いため、３Ｄ画像の重要度が高いとものとして設定される。

本発明は、第１撮影部及び第２撮影部の動きの速度を検出する動き検出工程を備え、重要度設定工程は、動き検出工程により検出された動きの速度が遅いほど重要度を高く設定する形態とすることができる。

本形態によれば、第１撮影部及び第２撮影部の動きの速度が第１画像又は第２画像に基づいて検出されるため、第１撮影部及び第２撮影部の近傍に特別なセンサを搭載することが不要となる。

本発明は、動き検出工程は、第１画像又は第２画像に基づいて第１撮影部及び第２撮影部の動きの速度を検出する形態とすることができる。

本発明は、重要度をユーザが指定する指定工程を備え、重要度設定工程は、重要度を指定工程により指定された重要度に設定する形態とすることができる。

本形態によれば、ユーザが適宜重要度を変更して３Ｄ画像の品質を変更することができるようになる。

本発明によれば、システムの処理負担の増加を極力抑えて３Ｄ画像の高品質化を図ることができるようになる。

本発明が適用される立体内視鏡システムの外観の概略を示した全体構成図 内視鏡の先端部を先端面側から示した正面図 立体内視鏡システムにおいて、内視鏡画像として３Ｄ画像や広角２Ｄ画像を表示する処理部に関連する構成を示したブロック図 撮影部の撮影光学系及びイメージセンサと、それらの視野範囲に関して示した図 右撮影部及び左撮影部により視差画像として撮影された右画像及び左画像を例示した図 表示画像生成部によって生成される表示画像（右眼用表示画像及び左眼用表示画像）の３Ｄ表示装置での画面構成を例示した図であり、内視鏡画像を表示する表示エリアを例示した図 表示画像生成部によって生成される表示画像（右眼用表示画像及び左眼用表示画像）の３Ｄ表示装置での画面構成を例示した図であり、内視鏡画像を表示する表示エリアを例示した図 表示画像生成部によって生成される表示画像（右眼用表示画像及び左眼用表示画像）の３Ｄ表示装置での画面構成を例示した図であり、内視鏡画像を表示する表示エリアを例示した図 図６における３Ｄ画像＆広角２Ｄ画像表示エリアの右表示画像及び左表示画像を生成する処理の概要を示した図 図６における３Ｄ画像＆広角２Ｄ画像表示エリアの右表示画像及び左表示画像を生成する処理の変形例を示した図 図７及び図８（Ａ）における３Ｄ画像表示エリア１６０の右表示画像及び左表示画像を生成する処理の概要を示した図 図７及び図８（Ｂ）における広角２Ｄ画像表示エリア１７０の右表示画像及び左表示画像を生成する処理の概要を示した図 変形例１において右撮影部及び左撮影部により取り込まれる右画像及び左画像を示した図 変形例１において右撮影部のイメージセンサから右画像が取り込まれる様子を示した図 変形例１において図６における３Ｄ画像＆広角２Ｄ画像表示エリアの右表示画像及び左表示画像を生成する処理の説明に使用した図 変形例１において図７及び図８（Ｂ）における広角２Ｄ画像表示エリア１７０の右表示画像及び左表示画像を生成する処理の説明に使用した図 内視鏡の右撮影部及びプロセッサ装置における変形例１での右画像の取り込みに関する構成について示したブロック図 変形例１において３Ｄ画像の重要度に応じた右画像のフレームレートの変更についての説明に使用した図 変形例１における右画像及び左画像の取り込みに関する処理手順を示したフローチャート 変形例２、３において撮影部により取り込まれる右画像及び左画像ＩＬの画素構成を示したイメージ１において右撮影部及び左撮影部により取り込まれる右画像及び左画像を示した図 変形例３におけるイメージセンサの受光面における画素ピッチを示した図

以下、添付図面に従って本発明の好ましい実施の形態について詳説する。

図１は、本発明が適用される立体内視鏡システム（立体内視鏡装置）の外観の概略を示した全体構成図である。同図に示す立体内視鏡システム１０は、立体視用の立体画像（３Ｄ画像）を撮影して表示することが可能なシステムである。撮影に関する構成及び処理以外については、３Ｄ画像ではなく通常の２Ｄ画像（平面視用の画像）を撮影し、表示する周知の内視鏡システムと大きく相違しない。以下では、主として撮影に関連する構成、処理について説明し、その他の構成、処理については周知の任意の内視鏡システムと同様に構成することが可能であるものとする。

同図に示すように本実施の形態の立体内視鏡システム１０は、立体内視鏡１２（以下、内視鏡１２という。）、内視鏡１２が接続されたプロセッサ装置１４及び光源装置１６と、プロセッサ装置１４に接続された３Ｄ表示装置１８などから構成される。

患者の体腔内には内視鏡１２が挿入され、所望の被観察部位の３Ｄ画像を表示するための左右一対の視差画像（右画像及び左画像）が内視鏡１２により撮影されるようになっている。被観察部位には、光源装置１６から内視鏡１２に供給される照明光が照射される。また、それらの視差画像は３Ｄ画像だけでなく広角の２Ｄ画像（広角２Ｄ画像）を表示するための画像としても使用される。

内視鏡１２により撮影された視差画像は、プロセッサ装置１４に取り込まれ、所要の処理が施されて、３Ｄ画像や２Ｄ画像を表示するための表示画像に成形される。そして、その表示画像が３Ｄ表示装置１８に出力され、３Ｄ表示装置１８に３Ｄ画像や広角２Ｄ画像が内視鏡画像として表示されるようになっている。施術者は３Ｄ表示装置１８に表示された内視鏡画像を観察することによって、体腔内の被観察部位を立体的又は平面的に観察することができる。

上記の内視鏡１２は、患者（被検体）の体腔内に挿入可能な挿入部２０と、施術者が把持して各種操作を行う操作部２２と、内視鏡１２をプロセッサ装置１４及び光源装置１６に接続するユニバーサルコード２４とを備えている。

挿入部２０は、長手方向の長手軸２０ａを中心軸として長尺状に形成され、長手軸２０ａに直交する断面において略円形となる外周面を有している。挿入部２０は、先端部３０、湾曲部３２、及び軟性部３４により構成されている。

先端部３０は、挿入部２０の先端に設けられており、長手軸２０ａに略直交する先端面３０ａを有している。この先端部３０には、詳細を後述するように先端面３０ａに対して正面側に位置する体腔内の被観察部位を撮影する撮影部の構成部材や、撮影部で撮影する被観察部位に光源装置１６からの照明光を出射する照明部の構成部材等が硬質部材に収容されて保持されている。

湾曲部３２は、先端部３０の基端側に連設され、操作部２２のアングルノブ４０の回動操作によって上下左右方向に能動的に湾曲させることができるようになっている。この湾曲部３２に対する湾曲操作によって体腔内での先端部３０の向きを変更して先端部３０の撮影部で撮影等を行う被観察部位の方向を調整することができる。

軟性部３４は、湾曲部３２の基端側に連設されると共に操作部２２の先端に連設され、湾曲部３２の基端から操作部２２の先端までの間を連結している。軟性部３４は軟性で可撓性を有しており、この軟性部３４が体腔内への挿入経路の形状等に応じて受動的に湾曲することによって、先端部３０を体腔内の所期の位置に挿入配置することができるようになっている。軟性部３４及び湾曲部３２の内部には、先端部３０の撮影部や照明部に接続されるケーブル、ライトガイド等が挿通配置されている。

操作部２２は、挿入部２０の基端側に連設されており、操作部２２には、上記のアングルノブ４０や、送気・送水ボタン４２等の内視鏡１２の操作部材が設けられている。施術者は操作部２２を把持して操作部２２に設けられた操作部材を操作することによって内視鏡１２の各種操作を行うことができるようになっている。

また、操作部２２の先端側には、処置具挿入口４４が設けられている。この処置具挿入口４４は、挿入部２０の内部を挿通する処置具チャンネル（管路）を通じて先端部３０（後述の処置具導出口５４）に連通している。したがって、処置具挿入口４４から所望の処置具を挿入することによって、その処置具を先端部３０の処置具導出口５４から導出し、処置具の種類に対応した処置を体腔内の被観察部位等に施すことができるようになっている。

ユニバーサルコード２４は、操作部２２から延出されており、端部には複合タイプのコネクタ２６が設けられている。ユニバーサルコード２４は、そのコネクタ２６によりプロセッサ装置１４及び光源装置１６に接続されるようになっている。

このユニバーサルコード２４の内部には、先端部３０の撮影部や照明部から挿入部２０及び操作部２２の内部を挿通したケーブルやライトガイド等が挿通配置されており、撮影部に接続されたケーブル（信号線）はコネクタ２６を介してプロセッサ装置１４に接続され、照明部に接続されたライトガイドはコネクタ２６を介して光源装置１６に接続されるようになっている。

これによって、先端部３０の撮影部で撮影された視差画像の撮像信号がケーブルを伝送してプロセッサ装置１４に取り込まれ、光源装置１６から出射された照明光がライトガイドを伝送して先端部３０の照明部から出射されるようになっている。

図２は、内視鏡１２の先端部３０を先端面３０ａ側から示した正面図である。同図に示すように、先端部３０には、先端面３０ａの正面側の被観察部位を撮影する撮影部５０と、被観察部位を照明する照明光を出射する照明部５２とが配設されている。

撮影部５０は、左右に並設された一対の撮影部５０Ｒ、５０Ｌ（右撮影部５０Ｒ、左撮影部５０Ｌ）を有し、これらの撮影部５０Ｒ、５０Ｌによって、体腔内の同一の被観察部位を異なる位置から撮影した左右一対の視差画像が撮影されるようになっている。

先端面３０ａには、撮影部５０Ｒ、５０Ｌの各々に被観察部位からの光を取り込む観察窓６２Ｒ、６２Ｌが配設され、照明部５２から被観察部位に照明光を出射する照明窓９４が配設されている。また、先端面３０ａには、挿入部２０の処置具挿入口４４から挿入されて処置具チャンネルを挿通した処置具を先端面３０ａから導出する処置具導出口５４や、操作部２２の送気・送水ボタン４２の操作によって洗浄水や空気を観察窓６２Ｒ、６２Ｌに向けて噴射する送気・送水ノズル５６が設けられている。

図３は、上記立体内視鏡システム１０において、内視鏡画像として３Ｄ画像や広角２Ｄ画像を表示する処理部に関連する構成を示したブロック図である。

同図に示すよう内視鏡１２（先端部３０）には、撮影部５０として左右一対の右撮影部５０Ｒ（第１撮影部）と左撮影部５０Ｌ（第２撮影部）が配置されており、右撮影部５０Ｒと左撮影部５０Ｌとは所定の中心面５０ａに対して対称に配置されている。撮影部５０Ｒ、５０Ｌの各々は、撮影光学系６０Ｒ、６０Ｌ（第１撮影光学系及び第２撮影光学系）、ＣＣＤ又はＭＯＳ型（ＣＭＯＳ）のイメージセンサ（撮像素子）７０Ｒ、７０Ｌ（第１撮像素子及び第２撮像素子）、アナログ信号処理部（ＡＦＥ）８０Ｒ、８０Ｌ、送信部８２Ｒ、８２Ｌ等を備えている。

右撮影部５０Ｒと左撮影部５０Ｌの各々の撮影光学系６０Ｒ、６０Ｌは、同一特性を有しており、詳細な構成を省略しているが複数のレンズにより構成されている。図２に示した照明部５２からの照明光により照明された先端面３０ａに対向する被観察部位からの光は、これらの撮影光学系６０Ｒ、６０Ｌに入射し、撮影光学系６０Ｒ、６０Ｌの結像作用により、被観察部位の像をイメージセンサ７０Ｒ、７０Ｌの受光面上に形成する。

イメージセンサ７０Ｒ、７０Ｌの受光面上に形成された像は、イメージセンサ７０Ｒ、７０Ｌにより左右一対の視差画像として撮像（光電変換）されて、撮像信号としてイメージセンサ７０Ｒ、７０Ｌの各々から出力される。なお、右撮影部５０Ｒのイメージセンサ７０Ｒにより撮像されて得られる視差画像を右画像（第１画像）といい、左撮影部５０Ｌのイメージセンサ７０Ｌにより撮像されて得られる視差画像を左画像（第２画像）というものとする。

図４は、撮影部５０Ｒ、５０Ｌの撮影光学系６０Ｒ、６０Ｌ及びイメージセンサ７０Ｒ、７０Ｌと、それらの視野範囲に関して示した図である。

同図において、右撮影部５０Ｒの撮影光学系６０Ｒ及びイメージセンサ７０Ｒと、左撮影部５０Ｌの撮影光学系６０Ｌ及びイメージセンサ７０Ｌは、紙面に垂直な中心面５０ａに対して左右対称となるように配置されている。

右撮影部５０Ｒの撮影光学系６０Ｒ及びイメージセンサ７０Ｒは、視野範囲ＶＦＲ（第１視野範囲）の被写体を右画像として撮影し、左撮影部５０Ｌの撮影光学系６０Ｌ及びイメージセンサ７０Ｌは、視野範囲ＶＦＬの被写体を左画像として撮影するようになっており、これらの視野範囲ＶＦＲと視野範囲ＶＦＬは上記中心面５０ａに対して左右対称となっており、中央部分において重なるようになっている。

同図の基準面ＲＰは、上記中心面５０ａに対して直交する平面であり、例えば挿入部２０の長手軸２０ａに対して直交している。そして、先端部３０の先端面３０ａから所定距離Ｌの位置であって、撮影光学系６０Ｒ、６０Ｌによりピントが合う距離に想定されている。

この基準面ＲＰは、撮影部５０Ｒ、５０Ｌにより撮像された左右一対の視差画像により３Ｄ表示装置１８の画面に３Ｄ画像を表示した場合において、画面上の位置に存在すると認識される物点の位置を示している。即ち、基準面ＲＰ上の物点は、３Ｄ画像において画面上に存在するように表示される。基準面ＲＰの先端面３０ａからの距離Ｌは、一般的な内視鏡においてピント位置となる８ｃｍ〜１０ｃｍであることが望ましい。また、その基準面ＲＰの前後１ｃｍ程度は被写界深度の範囲としてピントが合うことが望ましい。

その基準面ＲＰにおいて、視野範囲ＶＦＲと視野範囲ＶＦＬとが重なる領域は、視野範囲ＶＦＲの左端からの視野範囲３ＤＲと、視野範囲ＶＦＬの右端からの視野範囲３ＤＬで示されている。また、基準面ＲＰにおいて、視野範囲ＶＦＲと視野範囲ＶＦＬとが重ならない領域のうち、視野範囲ＶＦＲのみの領域は視野範囲ＶＦＲの右端からの視野範囲２ＤＲで示され、視野範囲ＶＦＬのみの領域は視野範囲ＶＦＬの左端からの視野範囲２ＤＬで示されている。

なお、以下において、視野範囲ＶＦＲ、ＶＦＬ、３ＤＲ、３ＤＬを個別にいう場合には、視野範囲ＶＦＲを“右全視野範囲ＶＦＲ”、視野範囲ＶＦＬを“左全視野範囲ＶＦＬ”、視野範囲３ＤＲを“右３Ｄ視野範囲３ＤＲ”、視野範囲３ＤＬを“左３Ｄ視野範囲３ＤＬ”というものとし、基準面ＲＰにおいて右全視野範囲ＶＦＲと左全視野範囲ＶＦＬが重なる視野範囲（即ち、右３Ｄ視野範囲３ＤＲと左３Ｄ視野範囲３ＤＬとを合わせた視野範囲）を“３Ｄ視野範囲３ＤＲ＆３ＤＬ”というものとする。また、視野範囲２ＤＲ、２ＤＬを個別にいう場合には、視野範囲２ＤＲを“右２Ｄ視野範囲２ＤＲ”、視野範囲２ＤＬを“左２Ｄ視野範囲２ＤＬ”というものとする。

同図に示す被写体Ｏ１、Ｏ２、Ｏ３は、基準面ＲＰ上に存在する物体を例示しており、被写体Ｏ１は、３Ｄ視野範囲３ＤＲ＆３ＤＬに存在し、被写体Ｏ２は、右２Ｄ視野範囲２ＤＲに存在し、被写体Ｏ３は、左２Ｄ視野範囲２ＤＬに存在している。被写体Ｏ４、Ｏ５は、３Ｄ視野範囲３ＤＲ＆３ＤＬに存在するが、基準面ＲＰ上に存在しない被写体を示しており、被写体Ｏ４は、基準面ＲＰよりも先端面３０ａに近い位置に存在し、被写体Ｏ５は、基準面ＲＰよりも先端面３０ａから遠い位置に存在する被写体を示している。

これらの被写体Ｏ１〜Ｏ５が存在する場合に、右撮影部５０Ｒと左撮影部５０Ｌの各々により、図４の上部及び図５（Ａ）、（Ｂ）に示すような右画像ＩＲと左画像ＩＬが左右一対の視差画像として撮影される。右画像ＩＲには、被写体Ｏ１〜Ｏ５のうち、被写体Ｏ１、Ｏ２、Ｏ４、Ｏ５の画像が映り込み、それらの画像が各々、被写体画像Ｏ１Ｒ、Ｏ２、Ｏ４Ｒ、Ｏ５Ｒとして示されている。左画像ＩＬには、被写体Ｏ１〜Ｏ５のうち、被写体Ｏ１、Ｏ３、Ｏ４、Ｏ５の画像が映り込み、それらの画像が各々、被写体画像Ｏ１Ｌ、Ｏ３Ｌ、Ｏ４Ｌ、Ｏ５Ｌとして示されている。

図４の上部に示す右画像ＩＲと左画像ＩＬは、基準面ＲＰにおいて右撮影部５０Ｒの右全視野範囲ＶＦＲと左撮影部５０Ｌの全視野範囲ＶＦＬが互いに重なる視野範囲である右３Ｄ視野範囲３ＤＲと左３Ｄ視野範囲３ＤＬの画像を３Ｄ視野範囲３ＤＲ＆３ＤＬの画像として重ねて示したものである。

このような位置関係で右画像ＩＲと左画像ＩＬを表示した場合において、基準面ＲＰ上の３Ｄ視野範囲３ＤＲ＆３ＤＬに存在する被写体の画像は、被写体Ｏ１の画像である右画像ＩＲにおける被写体画像Ｏ１Ｒと左画像ＩＬにおける被写体画像Ｏ１Ｌを合わせて示した被写体画像Ｏ１Ｒ＆Ｏ１Ｌのように同一位置に表示される。

一方、３Ｄ視野範囲３ＤＲ＆３ＤＬに存在するが、基準面ＲＰよりも先端面３０ａからの距離が近い位置に存在する被写体の画像は、被写体Ｏ４の画像である右画像ＩＲにおける被写体画像Ｏ４Ｒと左画像ＩＬにおける被写体画像Ｏ４Ｌのように、右画像ＩＲでは左側、左画像ＩＬでは右側となる異なる位置に分離されて表示される。

これとは反対に、３Ｄ視野範囲３ＤＲ＆３ＤＬに存在するが、基準面ＲＰよりも先端面３０ａからの距離が遠い位置に存在する被写体の画像は、被写体Ｏ５の画像である右画像ＩＲにおける被写体画像Ｏ５Ｒと左画像ＩＬにおける被写体画像Ｏ５Ｌのように、右画像ＩＲでは右側、左画像ＩＬでは左側となる異なる位置に分離されて表示される。

また、右全視野範囲ＶＦＲと左全視野範囲ＶＦＬとが重ならない領域であって右２Ｄ視野範囲２ＤＲに存在する被写体の画像は、基準面ＲＰ上に存在する被写体Ｏ２の画像である右画像ＩＲにおける被写体画像Ｏ２のように、右画像ＩＲの右２Ｄ視野範囲２ＤＲのみに表示される。同様に、右全視野範囲ＶＦＲと左全視野範囲ＶＦＬとが重ならない領域であって左２Ｄ視野範囲２ＤＬに存在する被写体の画像は、基準面ＲＰ上の左２Ｄ視野範囲２ＤＬに存在する被写体Ｏ３の画像である左画像ＩＬにおける被写体画像Ｏ３ように、左画像ＩＬの左２Ｄ視野範囲２ＤＬのみに表示される。

したがって、３Ｄ表示装置１８において、右撮影部５０Ｒによって撮影された右全視野範囲ＶＦＲの右画像ＩＲと左撮影部５０Ｌによって撮影された左全視野範囲ＶＦＬの左画像ＩＬとを、図４の上部のように右３Ｄ視野範囲３ＤＲの画像と左３Ｄ視野範囲３ＤＬの画像とが重なるように３Ｄ画像として表示することで、３Ｄ視野範囲３ＤＲ＆３ＤＬの領域に存在する被写体Ｏ１、Ｏ４、Ｏ５のような被写体を観察者が立体視することができる。被写体Ｏ１のように基準面ＲＰ上に存在する被写体は３Ｄ表示装置１８の画面上に存在する被写体として認識され、被写体Ｏ４のように基準面ＲＰよりも近い位置に存在する被写体は３Ｄ表示装置１８の画面よりも近い位置に存在する被写体として認識され、被写体Ｏ５のように基準面ＲＰよりも遠い位置に存在する被写体は３Ｄ表示装置１８の画面よりも遠い位置に存在する被写体として認識される。

また、右２Ｄ視野範囲２ＤＲや左２Ｄ視野範囲２ＤＬのように撮影部５０Ｒ、５０Ｌのうちの一方のみによって撮影される領域に存在する被写体も２Ｄ画像として表示することができるため、３Ｄ視野範囲３ＤＲ＆３ＤＬの３Ｄ画像よりも広角の視野範囲の被観察部位の様子を観察することができる。

図３に戻り、上記のように右撮影部５０Ｒの撮影光学系６０Ｒ及びイメージセンサ７０Ｒにより撮影される右画像ＩＲと、左撮影部５０Ｌの撮影光学系６０Ｌ及びイメージセンサ７０Ｌにより撮影される左画像ＩＬは、各々、イメージセンサ７０Ｒ、７０Ｌからアナログの撮像信号として出力され、アナログ信号処理部（ＡＦＥ）８０Ｒ、８０Ｌに取り込まれる。

ＡＦＥ８０Ｒ、８０Ｌでは、相関二重サンプリング（ＣＤＳ）、自動ゲイン（ＡＧＣ）、及びアナログ／デジタル変換（Ａ／Ｄ）等のアナログ信号処理が撮像信号に対して施され、パラレルのデジタル信号としてＡＦＥ８０Ｒ、８０Ｌから送信部８２Ｒ、８２Ｌに出力される。

送信部８２Ｒ、８２Ｌでは、パラレル／シリアル変換処理等が撮像信号に対して施され、シリアルのデジタル信号として撮影部５０Ｒ、５０Ｌに接続されたケーブル（信号線）に送出される。そのケーブルは、挿入部２０、操作部２２、及び、ユニバーサルコード２４の内部を挿通してプロセッサ装置１４の受信部１００に接続されており、ケーブルに送出された撮像信号は受信部１００で受信される。

ここで、本実施の形態では、３Ｄ表示装置１８に内視鏡画像を動画として表示するものとすると、イメージセンサ７０Ｒ、７０Ｌの各々において動画を構成するフレーム画像として右画像ＩＲと左画像ＩＬが連続的に撮像され、フレーム画像として順次撮像された右画像ＩＲと左画像ＩＬの撮像信号が、フレーム画像ごとにシリアルのデジタル信号として送信部８２Ｒ、８２Ｌの各々から受信部１００に順次伝送されるようになっている。

なお、送信部８２Ｒ、８２ＬＤから受信部１００への撮像信号の伝送には、例えば、低電圧作動信号（ＬＶＤＳ）等によりデータ伝送を行う高速デジタル伝送技術を用いることが望ましい。また、右画像ＩＲと左画像ＩＬの撮像信号は異なる信号線により並列に伝送するようにしてもよいし、共通の信号線により交互に送信するようにしてもよい。

プロセッサ装置１４は、内視鏡画像を表示するための処理部として、受信部１００、画像処理部１０２、表示画像生成部１０４、表示制御部１０６等を備えている。

受信部１００では、内視鏡１２の右撮影部５０Ｒ、左撮影部５０Ｌから送信されてケーブルを介してシリアルのデジタル信号として伝送された右画像ＩＲと左画像ＩＬの各々の撮像信号が受信され、それらの撮像信号に対してパラレル／シリアル変換処理等が施される。これによって、撮像信号が、送信部８２Ｒ、８２Ｌにおいて変換される前のパラレルのデジタル信号に復元されて画像処理部１０２に取り込まれる。

画像処理部１０２では、色分離、色補間、ゲイン補正、ホワイトバランス調整、ガンマ補正、輪郭強調処理、明度の調整処理などのデジタル画像処理が施される。これによって、右画像ＩＲと左画像ＩＬの各々の撮像信号が、表示に適した画像データとして生成され、その画像データが表示画像生成部１０４に取り込まれる。

なお、画像処理部１０２では、右画像ＩＲと左画像ＩＬの画像データが順次生成されて、その画像データが不図示のメモリに一次的に記憶されると共に最新の画像データに順次更新される。表示画像生成部１０４には、そのメモリから最新の画像データが順次取り込まれるようになっている。

表示画像生成部１０４では、３Ｄ表示装置１８の画面全体に表示される右眼用表示画像と左眼用表示画像の画像データが、画像処理部１０２から順次取り込まれる右画像ＩＲと左画像ＩＬの画像データを用いて生成される。右眼用表示画像は、観察者の右眼によって視認される画面全体の画像を示し、その中に内視鏡画像として右画像ＩＲの一部又は全ての画像が含められる。左眼用表示画像は、観察者の左眼によって視認される画面全体の画像を示し、その中に内視鏡画像として左画像ＩＬの一部又は全ての画像が含められる。これらの右眼用表示画像と左眼用表示画像の画像データは、右画像ＩＲと左画像ＩＬの画像データの更新等と共に順次更新されて表示制御部１０６に出力される。なお、表示画像生成部１０４の処理についての詳細は後述する。

表示制御部１０６では、表示画像生成部１０４により生成された右眼用表示画像と左眼用表示画像を３Ｄ表示装置１８に表示させるための映像信号が、表示画像生成部１０４から与えられた右眼用表示画像と左眼用表示画像の画像データに基づいて生成される。映像信号は３Ｄ表示装置１８において対応可能な規格のものに生成される。その映像信号が３Ｄ表示装置１８に出力される。

３Ｄ表示装置１８では、表示制御部１０６からの映像信号に従って画像の表示が行われ、表示画像生成部１０４により生成された右眼用表示画像と左眼用表示画像の各々が右眼と左眼のうちの対応する一方の眼によって視認されるように表示される。そして、右眼用表示画像と左眼用表示画像の各々に含まれる右画像ＩＲと左画像ＩＬとの表示とその更新によって、内視鏡画像が動画として表示されると共に、被観察部位の３Ｄ画像や２Ｄ画像が表示されるようになっている。

ここで、周知の３Ｄ表示装置として、１台のモニタの画面に右眼用表示画像と左眼用表示画像とを交互に表示し、これに同期して左右交互に開閉するシャッターメガネを介して右眼で右眼用表示画像を観察し左眼で左眼用表示画像を観察する方式（フレームシーケンシャル方式）のものや、１台のモニタの画面に右眼用表示画像と左眼用表示画像とを例えば走査線単位で交互に表示し、左右で偏光方向の異なる偏光フィルターメガネを介してを右眼で右眼用表示画像を観察し左眼で左眼用表示画像を観察する方式（偏光方式）のものや、１台のモニタの画面に微細なレンズを並べて画面を見る角度によって異なる画像を表示できるようにしたものに右眼用表示画像と左眼用表示画像を表示し、裸眼でも右眼で右眼用表示画像を観察し左眼で左眼用表示画像を観察できるようにした方式（インテグラルイメージング方式）のものや、１台のモニタの画面に微細な縦縞状の遮光物を配置して画面を見る角度によって異なる画像を表示できるようにしたものに右眼用表示画像と左眼用表示画像を表示し、裸眼でも右眼で右眼用表示画像を観察し左眼で左眼用表示画像を観察できるようにした方式（視差バリア方式）のものが知れられている。また、ヘッドマウントディスプレイのように右眼用と左眼用の２台のモニタの各々に右眼用表示画像と左眼用表示画像とを表示し、右眼で右眼用表示画像を観察し左眼で左眼用表示画像を観察する方式のもの等も知られている。本実施の形態の３Ｄ表示装置１８としては、どのような方式のものでも採用することができる。また、３Ｄ画像と２Ｄ画像とを別のモニタに表示する構成としても良い。

続いて、表示画像生成部１０４の処理内容について具体的に説明する。

図６〜図８は、表示画像生成部１０４によって生成される表示画像（右眼用表示画像及び左眼用表示画像）の３Ｄ表示装置１８での画面構成を例示した図であり、内視鏡画像を表示する表示エリアを例示した図である。

図６の形態の画面構成では、内視鏡画像の表示エリアとして３Ｄ画像＆広角２Ｄ画像表示エリア１５０を画面内に有している。この３Ｄ画像＆広角２Ｄ画像表示エリア１５０は、図５（Ａ）、（Ｂ）のように撮影部５０Ｒ、５０Ｌにより撮影された右画像ＩＲと左画像ＩＬとを、図４の上部に示したように右３Ｄ視野範囲３ＤＲの画像と左３Ｄ視野範囲３ＤＬの画像とが重なるように表示するエリアである。

これによって、３Ｄ視野範囲３ＤＲ＆３ＤＬの画像が３Ｄ画像として３Ｄ表示され、その両脇の右２Ｄ視野範囲２ＤＲと左２Ｄ視野範囲２ＤＬの画像が広角２Ｄ画像として２Ｄ表示される。

詳細な説明は省略するが、画面内における３Ｄ画像＆広角２Ｄ画像表示エリア１５０以外の領域には、患者情報や内視鏡１２の状態情報等の他の情報に関する文字や画像が表示される。図７及び図８の形態における内視鏡画像の表示エリア以外の領域についても同様である。

図７の形態の画面構成では、内視鏡画像の表示エリアとして３Ｄ画像表示エリア１６０と広角２Ｄ画像表示エリア１７０を画面内に個別に有している。３Ｄ画像表示エリア１６０は、図５（Ａ）、（Ｂ）のように撮影部５０Ｒ、５０Ｌにより撮影された右画像ＩＲと左画像ＩＬのうち、右３Ｄ視野範囲３ＤＲの画像と左３Ｄ視野範囲３ＤＬの画像のみを、図４の上部に示した３Ｄ視野範囲３ＤＲ＆３ＤＬの画像のように同一位置に表示するエリアである。これによって、３Ｄ視野範囲３ＤＲ＆３ＤＬの画像が３Ｄ画像として３Ｄ表示される。

なお、３Ｄ画像表示エリア１６０に３Ｄ画像として表示する視野範囲は３Ｄ視野範囲３ＤＲ＆３ＤＬよりも左右に一定量拡げた範囲としても良い。

一方、広角２Ｄ画像表示エリア１７０は、詳細を後述するように３Ｄ視野範囲３ＤＲ＆３ＤＬの画像と、その左右両側の右２Ｄ視野範囲２ＤＲと左２Ｄ視野範囲２ＤＬの画像を広角２Ｄ画像として２Ｄ表示するエリアである。

図８の形態は、内視鏡画像の表示エリアとして、同図（Ａ）のように図７と同様の３Ｄ画像表示エリア１６０を有する画面と、同図（Ｂ）のように図７と同様の広角２Ｄ画像表示エリア１７０を有する画面との２つの構成の画面を有し、それらの画面を表示モードの種類によって切り替えるようにした形態を示している。

表示モードとして３Ｄ画像表示モードが選択された場合には、同図（Ａ）のように３Ｄ画像表示エリア１６０を有する画面が表示され、広角２Ｄ画像表示モードが選択された場合には、同図（Ｂ）のように広角２Ｄ画像表示エリア１７０を有する画面が表示される。表示モードの切替えは、プロセッサ装置１４に接続された不図示の入力装置の操作によって、又は、内視鏡１２の操作部２２に設けられた操作部材の操作によって観察者が行うようにすることができる。

なお、図８（Ａ）、（Ｂ）の画面構成は、３Ｄ画像と広角２Ｄ画像とを別のモニタに表示する場合の画面構成としても適用できる。

また、図６〜図８に示した内視鏡画像の表示エリア以外にも、右画像ＩＲのみ又は左画像ＩＬのみを２Ｄ画像として２Ｄ表示する表示エリア等も設けるようにしてもよい。

更に、図６〜図８に示した画像構成は一例であって、任意の種類の表示エリア（３Ｄ画像＆広角２Ｄ画像表示エリア１５０、３Ｄ画像表示エリア１６０、及び広角２Ｄ画像表示エリア１７０等）のうちのいずれか１つ又は複数の種類の表示エリアを有する画面構成としても良く、それらの画面を表示モードの選択によって切り替えるようにしてもよい。また、複数の種類の表示エリアを１つの画面内に表示する場合にそれらを異なる領域に配置する構成ではなく、１つの表示エリア内の一部に他の表示エリアを配置するいわゆるＰｉｎＰ表示の構成としても良い。

図３の表示画像生成部１０４は、これらの図６〜図８に例示したような画面構成に対応した右眼用表示画像と左眼用表示画像とを生成する。その際に、右眼用表示画像における内視鏡画像の表示エリアの画像と、左眼用表示画像における内視鏡画像の表示エリアの画像を画像処理部１０２により順次生成される右画像ＩＲの画像データと左画像ＩＬの画像データの最新のものを使用して生成する。この内視鏡画像の表示エリアの生成処理について、図６〜図８に示した３Ｄ画像＆広角２Ｄ画像表示エリア１５０、３Ｄ画像表示エリア１６０、及び広角２Ｄ画像表示エリア１７０を生成する場合を以下で例示する。また、内視鏡画像の表示エリア以外の画像については不図示のＣＰＵ等の処理部により生成された画像データや文字データ等を取得して生成するが、詳細な説明は省略する。

なお、以下において、右眼用表示画像における内視鏡画像の表示エリアの画像をその表示エリアの右表示画像といい、同様に左眼用表示画像における内視鏡画像の表示エリアの画像をその表示エリアの左表示画像という。

図９は、図６における３Ｄ画像＆広角２Ｄ画像表示エリア１５０の右表示画像及び左表示画像を生成する処理の概要を示した図であり、同図（Ａ）は、３Ｄ画像＆広角２Ｄ画像表示エリア１５０の右表示画像の生成処理を示し、同図（Ｂ）は、３Ｄ画像＆広角２Ｄ画像表示エリア１５０の左表示画像の生成処理を示している。

同図（Ａ）、（Ｂ）に示すように３Ｄ画像＆広角２Ｄ画像表示エリア１５０は、中央部に３Ｄ視野範囲３ＤＲ＆３ＤＬ（図４参照）の画像を表示する領域１５０Ｍと、領域１５０Ｍの右側において右２Ｄ視野範囲２ＤＲ（図４参照）の画像を表示する領域１５０Ｒと、領域１５０Ｍの左側において左２Ｄ視野範囲２ＤＬ（図４参照）の画像を表示する領域１５０Ｌとにより形成されている。

まず、３Ｄ画像＆広角２Ｄ画像表示エリア１５０の右表示画像について説明すると、同図（Ａ）に示すように、３Ｄ画像＆広角２Ｄ画像表示エリア１５０の３Ｄ視野範囲３ＤＲ＆３ＤＬ及び右２Ｄ視野範囲２ＤＲの領域１５０Ｍ、１５０Ｒには、右撮影部５０Ｒにより撮影された右全視野範囲ＶＦＲの右画像ＩＲ（右画像ＩＲの右３Ｄ視野範囲３ＤＲの画像及び右２Ｄ視野範囲２ＤＲの画像）が嵌め込まれる。

このとき、画像処理部１０２によって順次生成される右画像ＩＲの最新の画像データを用いて、３Ｄ視野範囲３ＤＲ＆３ＤＬ及び右２Ｄ視野範囲２ＤＲの領域１５０Ｍ、１５０Ｒの画像の画像データが生成される。そして、その際に、３Ｄ表示装置１８の画面上における３Ｄ画像＆広角２Ｄ画像表示エリア１５０の解像度に適合するように、右画像ＩＲの画像データに対して間引き処理又は補間処理などが施される。

また、３Ｄ画像＆広角２Ｄ画像表示エリア１５０の左２Ｄ視野範囲２ＤＬの領域１５０Ｌには、例えば無模様の黒色画像が嵌め込まれる。

これにより、３Ｄ画像＆広角２Ｄ画像表示エリア１５０の右表示画像として同図（Ａ）に示すような右表示画像１５０ＤＲが生成される。

次いで３Ｄ画像＆広角２Ｄ画像表示エリア１５０の左表示画像について説明すると、同図（Ｂ）に示すように、３Ｄ画像＆広角２Ｄ画像表示エリア１５０の３Ｄ視野範囲３ＤＲ＆３ＤＬ及び左２Ｄ視野範囲２ＤＬの領域１５０Ｍ、１５０Ｌには、左撮影部５０Ｌにより撮影された左全視野範囲ＶＦＬの左画像ＩＬ（左画像ＩＬの左３Ｄ視野範囲３ＤＬの画像及び左２Ｄ視野範囲２ＤＬの画像）が嵌め込まれる。このとき、画像処理部１０２によって順次生成される左画像ＩＬの最新の画像データを用いて、３Ｄ視野範囲３ＤＲ＆３ＤＬ及び左２Ｄ視野範囲２ＤＬの領域１５０Ｍ、１５０Ｌの画像の画像データが生成され、その際に、３Ｄ表示装置１８の画面上における３Ｄ画像＆広角２Ｄ画像表示エリア１５０の解像度に適合するように、左画像ＩＬの画像データに対して間引き処理又は補間処理などが施される。

また、３Ｄ画像＆広角２Ｄ画像表示エリア１５０の右２Ｄ視野範囲２ＤＲの領域１５０Ｒには、例えば無模様の黒色画像が嵌め込まれる。

これにより、３Ｄ画像＆広角２Ｄ画像表示エリア１５０の左表示画像として同図（Ｂ）に示すような左表示画像１５０ＤＬが生成される。

以上のようにして生成された右表示画像１５０ＤＲと左表示画像１５０ＤＬとが３Ｄ表示装置１８の画面上における３Ｄ画像＆広角２Ｄ画像表示エリア１５０に表示されると共に、右表示画像１５０ＤＲが観察者の右眼のみで視認できるように、且つ、左表示画像１５０ＤＬが観察者の左眼のみで視認できるように表示されることによって、３Ｄ視野範囲３ＤＲ＆３ＤＬの領域１５０Ｍの画像が立体視可能な３Ｄ画像として３Ｄ表示される。また、右２Ｄ視野範囲２ＤＲの領域１５０Ｒと左２Ｄ視野範囲２ＤＬの領域１５０Ｌの画像が広画角範囲の２Ｄ画像として表示される。

なお、図９に示した形態では、３Ｄ画像＆広角２Ｄ画像表示エリア１５０の右表示画像１５０ＤＲにおける左２Ｄ視野範囲２ＤＬの領域１５０Ｌの画像を黒色画像とし、また、３Ｄ画像＆広角２Ｄ画像表示エリア１５０の左表示画像１５０ＤＬにおける右２Ｄ視野範囲２ＤＲの領域１５０Ｒの画像を黒色画像としたが、これに限らない。例えば、図９と同様の図面構成で示した図１０の変形例のようにしても良い。

図１０（Ａ）に示すように、３Ｄ画像＆広角２Ｄ画像表示エリア１５０の右表示画像１５０ＤＲにおける左２Ｄ視野範囲２ＤＬの領域１５０Ｌには、左画像ＩＬの左２Ｄ視野範囲２ＤＬの画像が嵌め込まれる。これによって、３Ｄ画像＆広角２Ｄ画像表示エリア１５０の右表示画像として同図（Ａ）に示すような右表示画像１５０ＤＲが生成される。

一方、図１０（Ｂ）に示すように、３Ｄ画像＆広角２Ｄ画像表示エリア１５０の左表示画像１５０ＤＬにおける右２Ｄ視野範囲２ＤＲの領域１５０Ｒには、右画像ＩＲの右２Ｄ視野範囲２ＤＲの画像が嵌め込まれる。これによって、３Ｄ画像＆広角２Ｄ画像表示エリア１５０の左表示画像として同図（Ｂ）に示すような左表示画像１５０ＤＬが生成される。

これによれば、３Ｄ画像＆広角２Ｄ画像表示エリア１５０の右表示画像１５０ＤＲと左表示画像１５０ＤＬの両方において、右２Ｄ視野範囲２ＤＲの領域１５０Ｒと左２Ｄ視野範囲２ＤＬの領域１５０Ｌとに撮影部５０Ｒ、５０Ｌで撮影された画像が表示されるため、それらの領域の画像を両眼で視認することができ、違和感なく広角２Ｄ画像を観察することができる。

図１１は、図７及び図８（Ａ）における３Ｄ画像表示エリア１６０の右表示画像及び左表示画像を生成する処理の概要を示した図であり、同図（Ａ）は、３Ｄ画像表示エリア１６０の右表示画像の生成処理を示し、同図（Ｂ）は、３Ｄ画像表示エリア１６０の左表示画像の生成処理を示している。

同図（Ａ）、（Ｂ）に示すように３Ｄ画像表示エリア１６０は、３Ｄ視野範囲３ＤＲ＆３ＤＬ（図４参照）の画像を表示する領域のみにより形成されている。

まず、３Ｄ画像表示エリア１６０の右表示画像について説明すると、同図（Ａ）に示すように、３Ｄ画像表示エリア１６０（３Ｄ視野範囲３ＤＲ＆３ＤＬの領域）には、右撮影部５０Ｒにより撮影された右全視野範囲ＶＦＲの右画像ＩＲのうちの右３Ｄ視野範囲３ＤＲの画像が嵌め込まれる。このとき、画像処理部１０２によって順次生成される右画像ＩＲの最新の画像データを用いて、３Ｄ画像表示エリア１６０の画像の画像データが生成され、その際に、３Ｄ表示装置１８の画面上における３Ｄ画像表示エリア１６０の解像度に適合するように右画像ＩＲの画像データに対して間引き処理又は補間処理などが施される。

これにより、３Ｄ画像表示エリア１６０の右表示画像として同図（Ａ）に示すような右表示画像１６０ＤＲが生成される。即ち、右画像ＩＲにおける右３Ｄ視野範囲３ＤＲの画像が３Ｄ画像表示エリア１６０の右表示画像として生成される。

次いで３Ｄ画像表示エリア１６０の左表示画像について説明すると、同図（Ｂ）に示すように、３Ｄ画像表示エリア１６０（３Ｄ視野範囲３ＤＲ＆３ＤＬの領域）には、左撮影部５０Ｌにより撮影された左全視野範囲ＶＦＬの左画像ＩＬのうちの左３Ｄ視野範囲３ＤＬの画像が嵌め込まれる。このとき、画像処理部１０２によって順次生成される左画像ＩＬの最新の画像データを用いて、３Ｄ画像表示エリア１６０の画像の画像データが生成され、その際に、３Ｄ表示装置１８の画面上における３Ｄ画像表示エリア１６０の解像度に適合するように左画像ＩＬの画像データに対して間引き処理又は補間処理などが施される。

これにより、３Ｄ画像表示エリア１６０の左表示画像として同図（Ｂ）に示すような左表示画像１６０ＤＬが生成される。即ち、左画像ＩＬにおける左３Ｄ視野範囲３ＤＬの画像が３Ｄ画像表示エリア１６０の左表示画像として生成される。

以上のようにして生成された右表示画像１６０ＤＲと左表示画像１６０ＤＬとが３Ｄ表示装置１８の画面上における３Ｄ画像表示エリア１６０に表示されると共に、右表示画像１６０ＤＲが観察者の右眼のみで視認できるように、且つ、左表示画像１６０ＤＬが観察者の左眼のみで視認できるように表示されることによって、３Ｄ画像表示エリア１６０の画像（３Ｄ視野範囲３ＤＲ＆３ＤＬの画像）が立体視可能な３Ｄ画像として３Ｄ表示される。

図１２は、図７及び図８（Ｂ）における広角２Ｄ画像表示エリア１７０の右表示画像及び左表示画像を生成する処理の概要を示した図であり、同図（Ａ）は、広角２Ｄ画像表示エリア１７０の右表示画像の生成処理を示し、同図（Ｂ）は、広角２Ｄ画像表示エリア１７０の左表示画像の生成処理を示している。

同図（Ａ）、（Ｂ）に示すように広角２Ｄ画像表示エリア１７０は、図９の３Ｄ画像＆広角２Ｄ画像表示エリア１５０と同様に、中央部に３Ｄ視野範囲３ＤＲ＆３ＤＬ（図４参照）の画像を表示する領域１７０Ｍと、領域１７０Ｍの右側において右２Ｄ視野範囲２ＤＲ（図４参照）の画像を表示する領域１７０Ｒと、領域１７０Ｍの左側において左２Ｄ視野範囲２ＤＬ（図４参照）の画像を表示する領域１７０Ｌとにより形成されている。

まず、広角２Ｄ画像表示エリア１７０の右表示画像について説明すると、同図（Ａ）に示すように、広角２Ｄ画像表示エリア１７０の３Ｄ視野範囲３ＤＲ＆３ＤＬ及び右２Ｄ視野範囲２ＤＲの領域１７０Ｍ、１７０Ｒには、右撮影部５０Ｒにより撮影された右全視野範囲ＶＦＲの右画像ＩＲ（右画像ＩＲの右３Ｄ視野範囲３ＤＲの画像及び右２Ｄ視野範囲２ＤＲの画像）が嵌め込まれる。このとき、画像処理部１０２によって順次生成される右画像ＩＲの最新の画像データを用いて、３Ｄ視野範囲３ＤＲ＆３ＤＬ及び右２Ｄ視野範囲２ＤＲの領域１７０Ｍ、１７０Ｒの画像の画像データが生成され、その際に、３Ｄ表示装置１８の画面上における広角２Ｄ画像表示エリア１７０の解像度に適合するように、右画像ＩＲの画像データに対して間引き処理又は補間処理などが施される。

一方、広角２Ｄ画像表示エリア１７０の左２Ｄ視野範囲２ＤＬの領域１７０Ｌには、左画像ＩＬの左２Ｄ視野範囲２ＤＬの画像が嵌め込まれる。このときも同様に画像処理部１０２によって順次生成される左画像ＩＬの最新の画像データを用いて、左２Ｄ視野範囲２ＤＬの領域１７０Ｌの画像の画像データが生成され、その際に、３Ｄ表示装置１８の画面上における広角２Ｄ画像表示エリア１７０の解像度に適合するように、左画像ＩＬの画像データに対して間引き処理又は補間処理などが施される。

これにより、広角２Ｄ画像表示エリア１７０の右表示画像として同図（Ａ）に示すような右表示画像１７０ＤＲが生成される。

広角２Ｄ画像表示エリア１７０の左表示画像は、上述の右表示画像１７０ＤＲと完全に一致した処理により生成され、同図（Ｂ）に示すように左表示画像１７０ＤＬは、右表示画像１７０ＤＲと完全に一致した画像となる。

以上のようにして生成された右表示画像１７０ＤＲと左表示画像１７０ＤＬとが、３Ｄ表示装置１８の画面上における広角２Ｄ画像表示エリア１７０に表示されると共に、右表示画像１７０ＤＲが観察者の右眼のみで視認できるように、且つ、左表示画像１７０ＤＬが観察者の左眼のみで視認できるように表示された場合に、右眼と左眼とで完全に一致した画像が視認される。したがって、広角２Ｄ画像表示エリア１７０の全範囲における画像が広画角範囲の２Ｄ画像として表示される。

なお、広角２Ｄ画像表示エリア１７０の画像を表示するモニタ（画面）は、３Ｄ画像を表示するモニタとは別の２Ｄ画像を表示するモニタを使用するようにしてもよく、その場合には広角２Ｄ画像表示エリア１７０の右表示画像と左表示画像（画面全体に対する右眼用表示画像と左眼用表示画像）を生成する必要はなく、一方のみを生成して２Ｄ表示装置に表示させるようにすればよい。

また、図１２では、右表示画像１７０ＤＲと左表示画像１７０ＤＬのいずれにおいても、広角２Ｄ画像表示エリア１７０の３Ｄ視野範囲３ＤＲ＆３ＤＬの領域１７０Ｍに対して、右画像ＩＲの右３Ｄ視野範囲３ＤＲの画像を嵌め込むようにしたが、その代わりに左画像ＩＬの左３Ｄ視野範囲３ＤＬの画像を嵌め込むようにしてもよいし、右画像ＩＲの右３Ｄ視野範囲３ＤＲの画像と左画像ＩＬの左３Ｄ視野範囲３ＤＬの画像とを用いて生成した画像を嵌め込むようにしてもよい。

以上、上記実施の形態では、撮影部５０Ｒ、５０Ｌにより撮影された右画像ＩＲと左画像ＩＬをプロセッサ装置１４に取り込んで、３Ｄ表示装置１８に３Ｄ画像や広角２Ｄ画像として表示する場合について説明したが、プロセッサ装置１４に取り込んだ右画像ＩＲと左画像ＩＬ、又は、これらによって形成された３Ｄ画像や広角２Ｄ画像等を記憶手段に記憶させることもできる。

次に、上記実施の形態を基本の実施の形態として、その基本の実施の形態に対して３Ｄ表示装置１８における３Ｄ画像の高品質化（３Ｄ動画の円滑化等）を図るための変形例について説明する。

本発明は、３Ｄ画像を形成する右３Ｄ視野範囲３ＤＲと左３Ｄ視野範囲３ＤＬの画像の取込み周期が２Ｄ画像を形成する右２Ｄ視野範囲２ＤＲと左２Ｄ視野範囲２ＤＬの画像の取込み周期よりも短くなるようにし、３Ｄ画像のフレームレートが２Ｄ画像のフレームレートよりも高くなるように構成するものである。

これによって、システムの処理負担を増加させないという前提の元で、それらのフレームレートが同等である構成と比較したときに、２Ｄ画像に対する処理負担を減らし、３Ｄ画像に対するシステムの処理負担を増やすものとして３Ｄ画像のフレームレートや解像度を高くすることが可能となり、３Ｄ画像の高品質化を図ることできる。即ち、円滑な３Ｄ動画や高解像度の３Ｄ動画を得ることができる。

なお、本発明は、２Ｄ画像のフレームレートを低くしも３Ｄ画像よりは品質の低下が少ないことを前提とするものであるが、それにも限度があるため２Ｄ画像の品質の低下を許容できる範囲で２Ｄ画像のフレームレートを３Ｄ画像のフレームレートよりも低くすることが望ましい。

上記基本の実施の形態では、図５（Ａ）に示したように右撮影部５０Ｒにおいて右３Ｄ視野範囲３ＤＲと右２Ｄ視野範囲２ＤＲとからなる右全視野範囲ＶＦＲの右画像ＩＲを１フレーム画像として連続的に取り込み、図５（Ｂ）に示したように左撮影部５０Ｌにおいて左３Ｄ視野範囲３ＤＬと左２Ｄ視野範囲２ＤＬとからなる左全視野範囲ＶＦＬの左画像ＩＬを１フレームの画像として取り込むようにしている。

一方、本変形例１の実施の形態では、右撮影部５０Ｒにおいて右全視野範囲ＶＦＲの全体画像の取り込みと、右３Ｄ視野範囲３ＤＲのみの画像の取り込みとを特定の割合で順に行うようにし、左撮影部５０Ｌにおいても左全視野範囲ＶＦＬの全体画像の取り込みと、左３Ｄ視野範囲３ＤＬの画像の取り込みとを特定の割合で順に行うようにする。

図１３は、図４に示した撮影部５０Ｒ、５０Ｌの撮影状態に対して、本変形例１の実施の形態において撮影部５０Ｒ、５０Ｌの各々により取り込まれる右画像ＩＲと左画像ＩＬを示した図である。

同図（Ａ）に示すように、右撮影部５０Ｒでは、右画像ＩＲとして、基本の実施の形態と同様に右全視野範囲ＶＦＲの全体画像からなる右画像ＩＲ１と、３Ｄ画像の表示に使用される右３Ｄ視野範囲３ＤＲのみの画像からなる右画像ＩＲ２が取り込まれる。

即ち、図１４（Ａ）、（Ｂ）に示すように、イメージセンサ７０Ｒの受光面において、右３Ｄ視野範囲３ＤＲの画像を撮像する領域を２３０Ｒとし、右画像ＩＲの右２Ｄ視野範囲２ＤＲの画像を撮像する領域２３２Ｒとすると、同図（Ａ）に示すように、イメージセンサ７０Ｒの受光面の領域２３０Ｒと領域２３２Ｒの全範囲の画素データをイメージセンサ７０Ｒから連続して読み出すことによって右画像１Ｒ１が取り込まれる。

一方、同図（Ｂ）に示すように、イメージセンサの受光面の領域２３２Ｒのみの画素データをイメージセンサ７０Ｒから読み出すことによって右画像ＩＲ２が取り込まれる。

これらの右画像ＩＲ１と右画像ＩＲ２の取り込みは、特定の割合で行われる。例えば、１：１の割合として右画像ＩＲ１と右画像ＩＲ２とを交互に取り込むこともできるし、１：２の割合として、右画像ＩＲ１、右画像ＩＲ２、右画像ＩＲ２の順に取り込むこともできる。後述のようにこの割合を変更することによって３Ｄ画像のフレームレートと２Ｄ画像のフレームレートとを変更することもできる。

これと同様に、図１３（Ｂ）に示すように、左撮影部５０Ｌでは、左画像ＩＬとして、基本の実施の形態と同様に左全視野範囲ＶＦＬの全体画像からなる左画像ＩＬ１と、３Ｄ画像の表示に使用される左３Ｄ視野範囲３ＤＬのみの画像からなる左画像ＩＬ２が取り込まれる。これらの左画像ＩＬ１と左画像ＩＬ２の取り込みは、右画像ＩＲ１と右画像ＩＲ２の取り込みと同じ割合で行われる。また、右画像ＩＲ１の取り込みと左画像ＩＬ１の取り込みとが同期して行われ、右画像ＩＲ２の取り込みと左画像ＩＬ２の取り込みとが同期して行われる。ただし、必ずしもこれらの取り込みが同期して行われなくてもよく、また、右画像ＩＲ１と右画像ＩＲ２の取り込みの割合と左画像ＩＬ１と左画像ＩＬ２の取り込みの割合とが一致していなくてもよい。

このような右画像ＩＲ（右画像ＩＲ１、右画像ＩＲ２）と左画像ＩＬ（左画像ＩＬ１、左画像ＩＬ２）の取り込みによれば、３Ｄ画像の表示に使用される右３Ｄ視野範囲３ＤＲと左３Ｄ視野範囲３ＤＬの画像は、順次取り込まれる右画像ＩＲ１、右画像ＩＲ２、左画像ＩＬ、左画像ＩＬ２の全てにより取り込まれるのに対して、２Ｄ画像の表示に使用される右２Ｄ視野範囲２ＤＲと左２Ｄ視野範囲２ＤＬの画像は、右画像１Ｒ１と左画像１Ｌ１のみにより取り込まれる。

したがって、３Ｄ画像（３Ｄ動画）を形成する右３Ｄ視野範囲３ＤＲと左３Ｄ視野範囲３ＤＬの画像の取込み周期が、２Ｄ画像（２Ｄ動画）を形成する右２Ｄ視野範囲２ＤＲと左２Ｄ視野範囲２ＤＬの画像の取込み周期より短く、３Ｄ画像（３Ｄ動画）のフレームレートを２Ｄ画像（２Ｄ動画）のフレームレートよりも高くすることができる。これによって、２Ｄ画像のデータに対するシステムの処理負担が軽減された分、３Ｄ画像のフレームレートや解像度を高くすることが可能となり、３Ｄ画像の高品質化を図ることができる。

次に上記変形例１における右画像ＩＲと左画像ＩＬの取り込みに対する上記表示画像生成部１０４での表示画像の生成処理について説明する。

まず、図６における３Ｄ画像＆広角２Ｄ画像表示エリア１５０の右表示画像及び左表示画像を生成する場合の処理について説明する。なお、右表示画像と左表示画像は同様の処理により生成されるため、ここでは右表示画像の生成処理についてのみ詳説する。

右撮影部５０Ｒにより上記のように順次取り込まれる図１３（Ａ）に示した右画像ＩＲ１、ＩＲ２は、プロセッサ装置１４に伝送されて画像処理部１０２で表示用の画像データとして順次生成され、表示画像生成部１０４に取り込まれる。

表示画像生成部１０４では、画像処理部１０２により右画像１Ｒ１の画像データが得られたときには、その画像データを用いて図９（Ａ）又は図１０（Ａ）に示した基本の実施の形態における生成処理と同一の処理が行われる。これによって図９（Ａ）又は図１０（Ａ）の右表示画像１５０ＤＲが生成される。そして、その右表示画像１５０ＤＲが最新のものとされる。

一方、画像処理部１０２により右画像１Ｒ２の画像データが得られたときには、図１５（Ａ）に示すように、表示画像生成部１０４により既に生成された最新の右表示画像１５０ＤＲに対して３Ｄ視野範囲３ＤＲ＆３ＤＬの画像の画像データのみが、その右画像ＩＲ２の画像データで置き換えられる。これによって３Ｄ視野範囲３ＤＲ＆３ＤＬの画像のみが更新された新たな右表示画像１５０ＤＲが生成され、その右表示画像１５０ＤＲが最新のものとされる。

そして、このような生成処理が画像処理部１０２により右画像１Ｒ１又は右画像ＩＲ２の画像データが得られるごとに繰り返される。

左表示画像についても同様に、左画像ＩＬ１の画像データが得られたときには図９（Ｂ）又は図１０（Ｂ）に示した基本の実施の形態における生成処理と同一の処理により左表示画像１５０ＤＬが生成され、左画像１Ｌ２の画像データが得られたときには、図１５（Ｂ）に示すように、最新の左表示画像１５０ＤＬの３Ｄ視野範囲３ＤＲ＆３ＤＬの画像のみが更新される。

このようにして順次生成される右表示画像１５０ＤＲと左表示画像１５０ＤＬとが３Ｄ表示装置１８の画面上における３Ｄ画像＆広角２Ｄ画像表示エリア１５０に表示されることによって、３Ｄ画像として表示される３Ｄ視野範囲３ＤＲ＆３ＤＬの画像のフレームレートが、２Ｄ画像として表示される右２Ｄ視野範囲２ＤＲと左２Ｄ視野範囲２ＤＬの画像のフレームレートよりも実質的に高くなる。

次に、図７及び図８（Ａ）における３Ｄ画像表示エリア１６０の右表示画像及び左表示画像を生成する場合の処理について説明する。なお、右表示画像と左表示画像は同様の処理により生成されるため、ここでは右表示画像の生成処理についてのみ詳説する。

上述のように右撮影部５０Ｒにより順次取り込まれる図１３（Ａ）に示した右画像ＩＲ１、ＩＲ２は、プロセッサ装置１４に伝送されて画像処理部１０２で表示用の画像データとして順次生成され、表示画像生成部１０４に取り込まれる。

表示画像生成部１０４では、画像処理部１０２により右画像１Ｒ１の画像データが得られたときには、その画像データを用いて図１１（Ａ）に示した基本の実施の形態における生成処理と同一の処理が行われて３Ｄ画像表示エリア１６０の右表示画像１６０ＤＲが生成される。

一方、画像処理部１０２により右画像１Ｒ２の画像データが得られたときには、その右画像１Ｒ２の画像データが３Ｄ画像表示エリア１６０の右表示画像１６０ＤＲの画像データとされ、右画像ＩＲ２がそのまま右表示画像１６０ＤＲとなる。

そして、このような生成処理が画像処理部１０２により右画像１Ｒ１又は右画像ＩＲ２の画像データが得られるごとに繰り返される。

左表示画像についても同様に、左画像ＩＬ１の画像データが得られたときには図１１（Ｂ）に示した基本の実施の形態における生成処理と同一の処理により左表示画像１６０ＤＬが生成され、左画像１Ｌ２の画像データが得られたときには、その左画像１Ｌ２が左表示画像１６０ＤＬとなる。

このようにして順次生成される右表示画像１５０ＤＲと左表示画像１５０ＤＬとが３Ｄ表示装置１８の画面上における３Ｄ画像表示エリア１６０に表示されることによって、３Ｄ画像として表示される３Ｄ画像表示エリア１６０の画像（３Ｄ視野範囲３ＤＲ＆３ＤＬの画像）が右画像１Ｒ１と右画像ＩＲ２の取り込みごと（左画像１Ｌ１と左画像１Ｌ２の取り込みごと）に更新される。なお、この３Ｄ画像表示エリア１６０での３Ｄ画像の表示は、これと別のエリアに表示される広角２Ｄ画像表示エリア１７０での２Ｄ画像の表示と共に、又は切り替えて行われるものであり、２Ｄ画像のフレームレートとの比較については後述する。

次に、図７及び図８（Ｂ）における広角２Ｄ画像表示エリア１７０の右表示画像及び左表示画像を生成する場合の処理について説明する。なお、右表示画像と左表示画像は同様の処理により同一画像として生成されるため、ここでは右表示画像の生成処理についてのみ詳説する。

上述のように右撮影部５０Ｒにより順次取り込まれる図１３（Ａ）に示した右画像ＩＲ１、ＩＲ２は、プロセッサ装置１４に伝送されて画像処理部１０２で表示用の画像データとして順次生成され、表示画像生成部１０４に取り込まれる。

表示画像生成部１０４では、画像処理部１０２により右画像１Ｒ１の画像データが得られたときには、その画像データを用いて図１２（Ａ）に示した基本の実施の形態における生成処理と同一の処理が行われて広角２Ｄ画像表示エリア１７０の右表示画像１７０ＤＲが生成される。そして、その右表示画像１７０ＤＲが最新のものとされる。なお、図１２（Ａ）のように右表示画像１７０ＤＲの生成には、左画像ＩＬ１の画像データも使用される。

一方、画像処理部１０２により右画像１Ｒ２の画像データが得られたときには、図１６（Ａ）に示すように、表示画像生成部１０４により既に生成された最新の右表示画像１７０ＤＲに対して３Ｄ視野範囲３ＤＲ＆３ＤＬの画像の画像データのみが、その右画像ＩＲ２の画像データで置き換えられる。これによって３Ｄ視野範囲３ＤＲ＆３ＤＬの画像のみが更新された新たな右表示画像１７０ＤＲが生成され、その右表示画像１５０ＤＲが最新のものとされる。

そして、このような生成処理が画像処理部１０２により右画像１Ｒ１又は右画像ＩＲ２の画像データが得られるごとに繰り返される。

なお、右表示画像１７０ＤＲは、右画像１Ｒ１の画像データが得られたときのみ更新するものとし、右画像ＩＲ２の画像データが得られてときに右表示画像１７０ＤＲには変更を加えないものとしてもよい。

左表示画像については、右表示画像１７０ＤＲと同一の処理により右表示画像１７０ＤＲと同一の左表示画像１７０ＤＬが生成される。

このようにして順次生成される表示画像１７０ＤＲと左表示画像１７０ＤＬとが３Ｄ表示装置１８の画面上における広角２Ｄ画像表示エリア１７０に表示されることによって、広角２Ｄ画像表示エリア１７０の全範囲における画像が広画角範囲の２Ｄ画像として表示される。このとき、少なくとも広角２Ｄ画像表示エリア１７０の右２Ｄ視野範囲２ＤＲと左２Ｄ視野範囲２ＤＬの画像は、右画像ＩＲ１（左画像１Ｌ１）の取り込みごとに更新される。したがって、上記の３Ｄ画像として表示される３Ｄ画像表示エリア１６０の画像のフレームレートの方が、２Ｄ画像として表示される広角２Ｄ画像表示エリア１７０の画像のフレームレートよりも高くなる。

次に上記変形例１において右画像ＩＲと左画像ＩＬを取り込むための構成とフレームレートの変更について説明する。

図１７は、内視鏡１２の右撮影部５０Ｒ及びプロセッサ装置１４における右画像ＩＲの取り込みに関する構成について示したブロック図である。左撮影部５０Ｌ及びプロセッサ装置１４における左画像ＩＬの取り込みに関する構成及び作用については右画像ＩＲの取り込みに関する構成と同様であるため説明を省略する。

同図に示すように、右撮影部５０Ｒには、駆動部２００Ｒ（取込み周期設定手段）が具備されており、この駆動部２００Ｒによってイメージセンサ７０Ｒが制御され、イメージセンサ７０Ｒの各画素での電荷蓄積の開始や、各画素に蓄積された電荷（画素データ）の読出しが行われ、また、受光面上の特定の位置又は領域の画素に限定した画素データの読出しなどが行われるようになっている。

なお、特定の位置又は領域の画素に限定した画素データの読出しは、イメージセンサ７０Ｒから全画素分の画素データを読み出した後、右撮影部５０Ｒ内の所定の処理部２０２Ｒにより、特定の位置又は領域の画素の画素データのみを抽出することによって同等の処理を行うようにしてもよい。この処理部２０２Ｒは、図３におけるＡＦＥ８０Ｒの前段、又は後段のいずれに設けられたものでもよいし、ＡＦＥ８０Ｒ内に包含されるものであってもよい。

このように構成された右撮影部５０Ｒによれば、図１３（Ａ）、図１４（Ａ）のように右全視野範囲ＶＦＲの全体画像からなる右画像ＩＲ１と、３Ｄ画像の表示に使用される右３Ｄ視野範囲３ＤＲのみの画像からなる右画像ＩＲ２とを取り込むことができる。即ち、イメージセンサ７０Ｒの受光面上において、３Ｄ画像の表示に使用される右３Ｄ視野範囲３ＤＲの画像を撮像する領域の各画素から画素データを取り込むサンプリングレートを、２Ｄ画像の表示のみに使用される右２Ｄ視野範囲２ＤＲの画像を撮像する領域の各画素から画素データを取り込むサンプリングレートよりも高くし、右３Ｄ視野範囲３ＤＲの画像のフレームレート（３Ｄ動画のフレームレート）を右２Ｄ視野範囲２ＤＲの画像のフレームレート（２Ｄ動画のフレームレート）よりも高くすることができる。

駆動部２００Ｒには、プロセッサ装置１４の制御部２１０（取込み周期設定手段）が接続されており、制御部２１０から駆動部２００Ｒへの駆動信号が与えられ、その駆動信号に従って駆動部２００Ｒにより上記のようなイメージセンサ７０Ｒの制御が行われるようになっている。

プロセッサ装置１４には、制御部２１０の他に重要度判断部（重要度設定手段）２１２、入力部（指定手段）２１４、動き検出部（動き検出手段）２１６が具備されている。

重要度判断部２１２は、入力部２１４又は動き検出部２１６から与えられた情報に基づいて、３Ｄ画像の重要度（２Ｄ画像に対する重要度）が判断される。

重要度は、多段階的に評価され、例えば、０、１、２の値に設定される。その重要度を示す値が高い程、３Ｄ画像の重要度が高いものとする。ただし、重要か重要でないかの２段階の評価（重要度０、１）としても良いし、３段階よりも大きな階数によって評価してもよい。

入力部２１４は、図１等では不図示のキーボードやマウス等の入力装置をプロセッサ装置１４の一部として示したものである。重要度を手動設定する場合には、その入力部２１４によりユーザが３Ｄ画像の重要度を指定することによって、重要度判断部２１２における重要度が設定される。なお、３Ｄ画像の重要度の指定は、重要度を示す数値を入力する形態や、事前に決められた複数種の重要度の中から所望の重要度を選択する形態など、どのような方法であってもよい。また、内視鏡１２の操作部２２に設けられた操作部材によってユーザが重要度を指定できるようにしてもよい。

動き検出部２１６は、右撮影部５０Ｒにより順次取り込まれた右画像ＩＲの撮像信号や画像データ（例えば、図３の画像処理部１０２により生成された画像データ）を取り込み、異なる時刻の２フレーム間の画像変化に基づいて、撮影部５０Ｒ、５０Ｌ（内視鏡１２の先端部３０）の動きの速度（速さ）を検出する。そして、検出した結果を重要度判断部２１２に与える。この動き検出部２１６による動き検出は左撮影部５０Ｌにより取り込まれた左画像ＩＬにより行われるようにしてもよいし、内視鏡１２の先端部３０に配置した動きセンサ（加速度センサ等）からの検出信号に基づいて行われるようにしてもよい。

重要度判断部２１２は、３Ｄ画像の重要度を自動設定する場合には、動き検出部２１６から与えられた情報に基づいて３Ｄ画像の重要度を設定する。例えば、動き検出部２１６により検出された動きの速度が遅いほど、３Ｄ画像の重要度が高くなるように設定すると好適である。即ち、撮影部５０Ｒ、５０Ｌの動きが速いほど、特定の部位を注視している状態ではないと考えられるため、３Ｄ画像の重要度が低いと考えられる。したがって、本変形例１では動き検出部２１６により検出された動きの速度が遅いほど、３Ｄ画像の重要度が高くなるように設定する。

なお、重要度の手動設定と自動設定とは入力部２１４等からユーザによって入力されるモードの選択によって切り替えられるようにしても良いし、いずれか一方のみによって重要度が設定されるようにしてもよい。

制御部２１０は、重要度判断部２１２から与えられる３Ｄ画像の重要度に基づいて、図１３（Ａ）、図１４（Ａ）に示した右全視野範囲ＶＦＲの全体画像からなる右画像ＩＲ１と、３Ｄ画像の表示に使用される右３Ｄ視野範囲３ＤＲのみの画像からなる右画像ＩＲ２とを取り込む割合と、右画像ＩＲのフレームレートを決定する。そして、その決定した割合とフレームレートにしたがった右画像ＩＲの取り込みが、イメージセンサ７０Ｒによって実施されるように右撮影部５０Ｒの駆動部２００Ｒに駆動信号を与える。

ここで、制御部２１０は、３Ｄ画像の重要度が高い程、右画像ＩＲ１に対する右画像ＩＲ２の取り込みの割合を大きくする。そして、これによって、２Ｄ画像の表示にのみ使用される右２Ｄ視野範囲２ＤＲの画像の取り込みの割合が減少して２Ｄ画像のデータに対するシステムの処理負担が軽減した分、３Ｄ画像（右３Ｄ視野範囲３ＤＲの画像）の取込み周期を短くする。

例えば、図１８（Ａ）に示すように基本の実施の形態の右撮影部５０Ｒにおいて、本変形例１の右画像ＩＲ１に相当する右画像ＩＲをイメージセンサ７０Ｒから読み出す周期（右画像ＩＲを取り込む周期）をＴＲ１とすると、右画像ＩＲのフレームレートは１／ＴＲ１となる。そして、３Ｄ画像（右３Ｄ視野範囲３ＤＲの画像）及び２Ｄ画像（右２Ｄ視野範囲２ＤＲの画像）のフレームレートも１／ＴＲ１となる。

これに対して本変形例１において、３Ｄ画像の重要度が０の場合には、同図（Ｂ）に示すように右画像ＩＲとして右画像ＩＲ１と右画像ＩＲ２を１：１の割合で取り込むものとする。

このとき、右画像ＩＲのフレームレートは１／（ＴＲ１＋ＴＲ２）となる。また、３Ｄ画像を形成する右３Ｄ視野範囲３ＤＲの画像の取込み所要時間は、右３Ｄ視野範囲３ＤＲ領域を含む右画像ＩＲ１の取込みに要する時間と、右３Ｄ視野範囲３ＤＲのみの画像からなる右画像ＩＲ２の取込みに要する時間との和になるので、３Ｄ画像（右３Ｄ視野範囲３ＤＲの画像）の平均取込み周期は、（ＴＲ１＋ＴＲ２）／２となる。（３ＤＲを２枚分取込むのに時間がかかるから）。一方、２Ｄ画像を形成する右２Ｄ視野範囲２ＤＲの画像の取込み周期は（ＴＲ１＋ＴＲ２）となる。

そして、３Ｄ画像のフレームレートは、２／（ＴＲ１＋ＴＲ２）となり、２Ｄ画像のフレームレートは、１／（ＴＲ１＋ＴＲ２）となる。

したがって、３Ｄ画像の平均フレームレートを２Ｄ画像のフレームレートよりも２倍高くすることができる。

また、右画像ＩＲ２よりもデータ量の多い右画像ＩＲ１の取り込みの割合が減少したため、基本の実施の形態の３Ｄ画像のフレームレート１／ＴＲ１と比較して、３Ｄ画像のフレームレート２／（ＴＲ１＋ＴＲ２）をより高く（（ＴＲ１＋ＴＲ２）／２＜ＴＲ１）することができる。

即ち、右３Ｄ視野範囲３ＤＲのみの画像からなる右画像ＩＲ２の取込みに要する時間ＴＲ２を、基本の実施の形態の右画像ＩＲ１の取込みに要する時間ＴＲ１よりも短くした分、３Ｄ画像を形成する右３Ｄ視野範囲３ＤＲの画像の取込み周期（ＴＲ１＋ＴＲ２）／２を基本の実施の形態でのその取込み周期ＴＲ１よりも短くしている。

したがって、基本の実施の形態と比較して３Ｄ画像の高品質化（３Ｄ動画の円滑化）が図られている。なお、３Ｄ画像の重要度が０の場合には、基本の実施の形態と同様の右画像ＩＲの取り込みとしてもよい。

３Ｄ画像の重要度が１の場合には、同図（Ｃ）に示すように右画像ＩＲとして右画像ＩＲ１と右画像ＩＲ２を１：２の割合で取り込むものとする。このとき、右画像ＩＲのフレームレートは１／（ＴＲ１＋２・ＴＲ２）となる。また、３Ｄ画像の形成する右３Ｄ視野範囲３ＤＲの画像の平均取込み周期は（ＴＲ１＋２・ＴＲ２）／３、２Ｄ画像を形成する右２Ｄ視野範囲２ＤＲの画像の取込み周期は（ＴＲ１＋２・ＴＲ２）となる。

そして、３Ｄ画像の平均フレームレートは３／（ＴＲ１＋２・ＴＲ２）となり、２Ｄ画像のフレームレートは、１／（ＴＲ１＋２・ＴＲ２）となる。

したがって、３Ｄ画像の平均フレームレートの方が２Ｄ画像のフレームレートよりも３倍高い。

また、重要度０の場合と比較して右画像ＩＲ２よりもデータ量の多い右画像ＩＲ１の取り込みの割合が減少したため、重要度０のときの３Ｄ画像のフレームレート２／（ＴＲ１＋ＴＲ２）と比較して重要度１のときの３Ｄ画像のフレームレート３／（ＴＲ１＋２・ＴＲ２）を更に高く（（ＴＲ１＋２・ＴＲ２）／３＜（ＴＲ１＋ＴＲ２）／２）することができる。

即ち、右３Ｄ視野範囲３ＤＲのみの画像からなる右画像ＩＲ２の取込みに要する時間ＴＲ２を、基本の実施の形態の右画像ＩＲ１の取込みに要する時間ＴＲ１よりも短くした分、３Ｄ画像を形成する右３Ｄ視野範囲３ＤＲの画像の取込み周期（ＴＲ１＋２・ＴＲ２）／３を重要度０の場合のその取込み周期（ＴＲ１＋ＴＲ２）／２よりも短くしている。

したがって、重要度０の場合と比較して３Ｄ画像の高品質化（３Ｄ動画の円滑化）が図られている。

３Ｄ画像の重要度が２の場合には、同図（Ｄ）に示すように右画像ＩＲとして右画像ＩＲ１と右画像ＩＲ２を１：３の割合で取り込むものとする。このとき、右画像ＩＲのフレームレートは１／（ＴＲ１＋３・ＴＲ２）となる。また、３Ｄ画像の形成する右３Ｄ視野範囲３ＤＲの画像の平均取込み周期は、（ＴＲ１＋３・ＴＲ２）／４、２Ｄ画像を形成する右２Ｄ視野範囲２ＤＲの画像の取込み周期は（ＴＲ１＋３・ＴＲ２）となる。

そして、３Ｄ画像の平均フレームレートは、４／（ＴＲ１＋３・ＴＲ２）となり、２Ｄ画像のフレームレートは、１／（ＴＲ１＋３・ＴＲ２）となる。

したがって、３Ｄ画像の平均フレームレートの方が２Ｄ画像のフレームレートよりも４倍高い。

また、重要度１の場合と比較して右画像ＩＲ２よりもデータ量の多い右画像ＩＲ１の取り込みの割合が減少したため、重要度１のときの３Ｄ画像のフレームレート３／（ＴＲ１＋２・ＴＲ２）と比較して重要度２のときの３Ｄ画像のフレームレートを更に高く（（ＴＲ１＋３・ＴＲ２）／４＜（ＴＲ１＋２・ＴＲ２）／３）することができる。

即ち、右３Ｄ視野範囲３ＤＲのみの画像からなる右画像ＩＲ２の取込みに要する時間ＴＲ２を、基本の実施の形態の右画像ＩＲ１の取込みに要する時間ＴＲ１よりも短くした分、３Ｄ画像を形成する右３Ｄ視野範囲３ＤＲの画像の取込み周期（ＴＲ１＋３・ＴＲ２）／４を重要度１の場合のその取込み周期（ＴＲ１＋２・ＴＲ２）／３よりも短くしている。

したがって、重要度１の場合と比較して３Ｄ画像の高品質化（３Ｄ動画の円滑化）が図られている。

このように３Ｄ画像の重要度が高いほど、右画像ＩＲ１よりも右画像ＩＲ２を取り込む割合を大きくし、かつ、３Ｄ画像（右３Ｄ視野範囲３ＤＲの画像）のフレームレートを高くすることによって、３Ｄ画像の重要度が高いほど、高品質な３Ｄ画像（円滑な３Ｄ動画）が得られるようになる。

なお、重要度に応じた右画像ＩＲ１と右画像ＩＲ２の取込みの割合は上述の場合に限らない。また、左撮影部５０Ｌにおける左画像ＩＬの取り込みに関しても上述の右撮影部５０Ｒの右画像ＩＲの取り込みと全く同様にして行われる。

また、図１７においてプロセッサ装置１４が備えた各構成部２１０〜２１６の一部又は全てを内視鏡１２が備えてもよく、内視鏡１２において上述の各構成部２１０〜２１６の一部又は全ての処理を行うようにしてもよい。

図１９は上記変形例１における右画像ＩＲ及び左画像ＩＬの取り込みに関する処理手順を示したフローチャートである。

まず、ステップＳ１０では、プロセッサ装置１４の制御部２１０が内視鏡１２の右撮影部５０Ｒの駆動部２００Ｒ（及びこれに対応する左撮影部５０Ｌの不図示の駆動部）に駆動信号を与えることによって、右画像ＩＲ及び左画像ＩＬを取り込みが開始される。このとき、右画像ＩＲ１と右画像ＩＲ２を取り込む割合と、左画像ＩＬ１と左画像ＩＬ２を取り込む割合とを事前に決められた基準の割合（例えば１：１）に設定され、また、右画像ＩＲと左画像ＩＬのフレームレートが事前に決められた基準のフレームレートに設定される。ステップＳ１０の後、ステップＳ１２に移行する。

ステップＳ１２では、重要度判断部２１２により、重要度の設定に関して自動設定モードに設定されているか手動設定モードに設定されているかが判断される。この設定モードはユーザの入力部２１４に対する操作によってユーザが選択することができる。本ステップＳ１２により自動設定モードに設定されていると判断された場合には、ステップＳ１４に移行し、手動設定モードに設定されていると判断された場合には、ステップＳ１８に移行する。

ステップＳ１４では、動き検出部２１６により、例えば右撮影部５０Ｒにより順次取り込まれた右画像ＩＲの画像データに基づいて撮影部５０Ｒ、５０Ｌの動きの速度が検出される。本検出は、左撮影部５０Ｌにより順次取り込まれた左画像ＩＬの画像データを用いてもよい。本ステップＳ１４の後、ステップＳ１６に移行する。

ステップＳ１６では、動き検出部２１６の検出結果が重要度判断部２１２に与えられ、重要度判断部２１２により撮影部５０Ｒ、５０Ｌの動きの速度に応じた３Ｄ画像の重要度が設定される。本ステップＳ１６の後、ステップＳ２０に移行する。

ステップＳ１２において手動設定モードに設定されていると判断された場合のステップＳ１８では、ユーザによって入力部２１４から入力された３Ｄ画像の重要度に関する情報が重要度判断部２１２に与えられ、その情報に従って３Ｄ画像の重要度が重要度判断部２１２により設定される。ステップＳ１２の後、ステップＳ２０に移行する。

ステップＳ２０では、重要度判断部２１２により設定された３Ｄ画像の重要度に関する情報が制御部２１０に与えられ、制御部２１０により、３Ｄ画像の重要度に応じた取り込み割合とフレームレートが決定される。取り込み割合は、右画像ＩＲとして取り込まれる右画像ＩＲ１と右画像ＩＲ２とを取り込む割合と、左画像ＩＬとして取り込まれる左画像ＩＬ１と左画像ＩＬ２とを取り込む割合を示し、これらは等しい値に設定される。また、フレームレートは、フレーム画像として取り込まれる右画像ＩＲの右画像ＩＲ１と右画像ＩＲ２が単位時間当りに取り込まれるフレーム数と、フレーム画像として取り込まれる左画像ＩＬの左画像ＩＬ１と左画像ＩＬ２が単位時間当りに取り込まれるフレーム数を示し、これらは等しい値に設定される。本ステップＳ２０の後、ステップＳ２２に移行する。

ステップＳ２２では、制御部２１０から右撮影部５０Ｒの駆動部２００Ｒ（及びこれに対応する左撮影部５０Ｌの不図示の駆動部）に駆動信号が与えられ、制御部２１０により設定された取り込み割合とフレームレートでの右画像ＩＲ及び左画像ＩＬの取り込みが実施される。

以上のステップＳ２２での処理が終了すると、ステップＳ１２に戻る。これによって、ステップＳ１２からステップＳ２２までの処理が撮影の終了が指示されるまで繰り返される。

次に、変形例１の実施の形態に対して、３Ｄ画像の解像度が２Ｄ画像の解像度よりも高くなるようにし、２Ｄ画像に対する処理負担を軽減して３Ｄ画像のフレームレートや解像度をより高くできるようにした形態（変形例２及び変形例３の実施の形態）について説明する。

図２０（Ａ）、（Ｂ）は、変形例２及び変形例３の実施の形態において撮影部５０Ｒ、５０Ｌにより取り込まれる右画像ＩＲ１及び左画像ＩＬ１の画素構成を示したイメージ図である。

右画像ＩＲ１は、同図（Ａ）に示すように、３Ｄ画像の表示に使用される右３Ｄ視野範囲３ＤＲの画像の解像度よりも２Ｄ画像の表示に使用される右２Ｄ視野範囲２ＤＲの画像の解像度の方が低くなるようにして取り込まれる。ここで、同図（Ａ）、（Ｂ）において、白色の画素が右画像ＩＲの画素データとして有効に取り込まれている画素を示し、黒色の画素が右画像ＩＲの画素データとして有効に取り込まれていない画素を示す。

また、左画像ＩＬは、同図（Ｂ）に示すように、３Ｄ画像の表示に使用される左３Ｄ視野範囲３ＤＬの画像の解像度よりも２Ｄ画像の表示に使用される左２Ｄ視野範囲２ＤＬの画像の解像度の方が低くなるようにして取り込まれる。

これにより、２Ｄ画像のデータ量を減らすことができ、その分、３Ｄ画像のフレームレートや解像度を高くすることができ、３Ｄ画像の高品質化を図ることができる。

このような右画像ＩＲ１と左画像ＩＬ１の取り込みは、図１７に示した右撮影部５０Ｒの駆動部２００Ｒ、及び、これに対応する左撮影部５０Ｌの不図示の駆動部によってイメージセンサ７０Ｒ、７０Ｌから画素データを読み出す画素を右２Ｄ視野範囲２ＤＲと左２Ｄ視野範囲２ＤＬの領域に対して低減させることによって行うことができる。画素データを読み出す画素（画素数）の低減は、右２Ｄ視野範囲２ＤＲと左２Ｄ視野範囲２ＤＬの画像を撮像する受光面上の領域の全画素に対して、離間的な位置に配置された画素のみから画素データを読み出す間引き処理、又は、互いに近接する複数の画素データから１画素分の画素データを生成して読み出すビニング処理に相当する画素データの読み出しによって実現することができる。

また、イメージセンサ７０Ｒ、７０Ｌからの画素データの読み出しにおいてではなく、イメージセンサ７０Ｒ、７０Ｌから全画素分の画素データが読み出された後、図１７に示した右撮影部５０Ｒの処理部２０２Ｒ、及び、これに対応する左撮影部５０Ｌの不図示の処理部によって、右２Ｄ視野範囲２ＤＲと左２Ｄ視野範囲２ＤＬの領域の画素（画素数）を低減させることもできる。この低減は、上記の間引き処理やビニング処理によって実現することができる。

図２１は、図２０（Ａ）、（Ｂ）のように右画像ＩＲ１と左画像ＩＬ１を取り込むための変形例３におけるイメージセンサ７０Ｒ、７０Ｌの受光面における画素ピッチ（画素密度）を示す。

イメージセンサ７０Ｒ、７０Ｌの受光面（受光部）において、右画像ＩＲの右３Ｄ視野範囲３ＤＲの画像を撮像する領域２３０Ｒと、左画像ＩＬの左３Ｄ視野範囲３ＤＬの画像を撮像する領域２３０Ｌの画素ピッチは一致している。拡大図２３４は、それらの領域２３０Ｒ、２３０Ｌ内の同一面積の範囲を拡大して示した図である。拡大図２３４に示すように領域２３０Ｒ、２３０Ｌ内の画素（受光素子）２３８、２３８、・・・は、例えば縦方向と横方向に同一の画素ピッチＰ１で配列されている。

一方、イメージセンサ７０Ｒ、７０Ｌの受光面において、右画像ＩＲの右２Ｄ視野範囲２ＤＲの画像を撮像する領域２３２Ｒと、左画像ＩＬの左２Ｄ視野範囲２ＤＬの画像を撮像する領域２３２Ｌの画素ピッチは一致している。拡大図２３６は、それらの領域２３２Ｒ、２３２Ｌ内の同一面積の範囲を拡大して示した図である。拡大図２３６に示すように領域２３２Ｒ、２３２Ｌ内の画素（受光素子）２４０、２４０、・・・は、例えば縦方向と横方向に同一の画素ピッチＰ２で配列されている。

そして、領域２３０Ｒ、２３０Ｌ内の画素ピッチＰ１と、領域２３２Ｒ、２３２Ｌの画素ピッチＰ２を比較すると、画素ピッチＰ１よりも画素ピッチＰ２の方が大きい。即ち、領域２３０Ｒ、２３０Ｌの画素密度の方が、領域２３２Ｒ、２３２Ｌの画素密度よりも大きい。

このようにイメージセンサ７０Ｒ、７０Ｌとして、３Ｄ画像を撮像する受光面の領域よりも２Ｄ画像を撮像する受光面の領域の方が画素ピッチが大きいイメージセンサを使用することによって、図２０（Ａ）のように３Ｄ画像の表示に使用される右３Ｄ視野範囲３ＤＲの画像の解像度よりも２Ｄ画像の表示に使用される右２Ｄ視野範囲２ＤＲの画像の解像度の方が低い右画像ＩＲが右撮影部５０Ｒにより取り込まれるようになる。また、図２０（Ｂ）のように３Ｄ画像の表示に使用される左３Ｄ視野範囲３ＤＬの画像の解像度よりも２Ｄ画像の表示に使用される左２Ｄ視野範囲２ＤＬの画像の解像度の方が低い左画像ＩＬが左撮影部５０Ｌにより取り込まれるようになる。

以上のような変形例２、３の右画像ＩＲ１と左画像ＩＬ１の取り込みを変形例１における右画像ＩＲ１と左画像ＩＬ１の取り込みに対して適用した場合において、内視鏡画像の表示エリアの右表示画像と左表示画像は、変形例１において説明した表示エリアの種類に応じた生成処理と同一処理によって生成し、３Ｄ表示装置１８に表示することができる。

なお、変形例２、３のように右画像ＩＲ１と左画像１Ｌ１の取り込みにおいて、２Ｄ画像の表示に使用される右２Ｄ視野範囲２ＤＲと左２Ｄ視野範囲２ＤＬの画像の解像度を低減させるだけでなく、３Ｄ画像の表示に使用される画像の解像度、即ち、右画像ＩＲ１と左画像１Ｌ１の全範囲の解像度を変形例２と同様に間引き処理やビニング処理等によって低減するようにしてもよい。

これによれば、右画像ＩＲ１と左画像ＩＬ１のデータ量を変形例２、３よりも少なくできるため、その分、右画像ＩＲと左画像ＩＬのフレームレートを高くすることができる。

この場合において、内視鏡画像の表示エリアの右表示画像と左表示画像の生成は、変形例１の実施の形態において説明した表示エリアの種類に応じた生成処理と同一処理によって生成し、３Ｄ表示装置１８に表示することができる。

ただし、図６における３Ｄ画像＆広角２Ｄ画像表示エリア１５０の右表示画像及び左表示画像の生成において、図９（Ａ）、（Ｂ）に示した３Ｄ画像＆広角２Ｄ画像表示エリア１５０における３Ｄ視野範囲３ＤＲ＆３ＤＬの領域１５０Ｍの画像は解像度の高い右画像ＩＲ２、左画像ＩＬ２のみによって更新されるようにしてもよい。

また、図７及び図８（Ａ）における３Ｄ画像表示エリア１６０の右表示画像及び左表示画像の生成において、図１１（Ａ）、（Ｂ）に示した３Ｄ画像表示エリア１６０の画像は、解像度の高い右画像ＩＲ２、左画像ＩＬ２のみによって更新されるようにしてもよい。

一方、図７及び図８（Ｂ）における広角２Ｄ画像表示エリア１７０の右表示画像及び左表示画像の生成において、図１２（Ａ）、（Ｂ）に示した広角２Ｄ画像表示エリア１７０における３Ｄ視野範囲３ＤＲ＆３ＤＬの領域１７０Ｍの画像は解像度の低い右画像ＩＲ１、左画像ＩＬ１のみによって更新されるようにしてもよい。

すなわち、３Ｄ画像は、解像度の高い右画像ＩＲ２、左画像ＩＬ２によって生成して表示し、広角２Ｄ画像は、解像度の低い右画像ＩＲ１、左画像ＩＬ１によって生成し表示するようにしてもよい。この場合に、広角２Ｄ画像の３Ｄ視野範囲３ＤＲ＆３ＤＬの画像は、右画像ＩＲ１と左画像ＩＬ１のいずれか一方の画像から生成すれば良く、他方の画像において３Ｄ視野範囲３ＤＲ＆３ＤＬの画像を取り込むことも不要となる。

また、広角２Ｄ画像の３Ｄ視野範囲３ＤＲ＆３ＤＬの画像を解像度の高い右画像ＩＲ２又は左画像ＩＬ２によって生成することも可能であり、その場合には、右画像ＩＲ１と左画像ＩＬ１の両方において３Ｄ視野範囲３ＤＲ＆３ＤＬの画像を取り込むことが不要となる。即ち、右画像ＩＲ１として、右２Ｄ視野範囲２ＤＲのみの低解像度の画像を取り込み、左画像１Ｌ１として、左２Ｄ視野範囲２ＤＬのみの低解像度の画像を取り込む形態となる。

１０…立体内視鏡システム（立体内視鏡装置）、１２…立体内視鏡（内視鏡）、１４…プロセッサ装置、１６…光源、１８…３Ｄ表示装置、２０…挿入部、２２…操作部、２４…ユニバーサルコード、３０…先端部、３０ａ…先端面、３２…湾曲部、３４…軟性部、５０…撮影部、５０Ｒ…右撮影部、５０Ｌ…左撮影部、５２…照明部、６０Ｒ、６０Ｌ…撮影光学系、７０Ｒ、７０Ｌ…イメージセンサ、８０Ｒ、８０Ｌ…アナログ信号処理部（ＡＦＥ）、８２Ｒ、８２Ｌ…送信部、１００…受信部、１０２…画像処理部、１０４…表示画像生成部、１０６…表示制御部、１５０…３Ｄ画像＆広角２Ｄ画像表示エリア、１６０…３Ｄ画像表示エリア、１７０…広角２Ｄ画像表示エリア、２００Ｒ…駆動部、２０２Ｒ…処理部、２１０…制御部、２１２…重要度判断部、２１４…入力部、２１６…動き検出部、ＲＰ…基準面、ＶＦＲ…右全視野範囲、ＶＦＬ…左全視野範囲、３ＤＲ…右３Ｄ視野範囲、３ＤＬ…左３Ｄ視野範囲、３ＤＲ＆３ＤＬ…３Ｄ視野範囲、２ＤＲ…右２Ｄ視野範囲、２ＤＬ…左２Ｄ視野範囲

Claims (16)

1. 第１視野範囲の被写体を撮影し、立体視用の３Ｄ画像及び平面視用の２Ｄ画像を形成するための第１画像を取得する第１撮影部と、
   前記第１視野範囲と一部で重なる第２視野範囲の被写体を撮影し、前記立体視用の３Ｄ画像及び前記平面視用の２Ｄ画像を形成するための第２画像を取得する第２撮影部とを有する立体内視鏡装置であって、
   前記第１撮影部及び前記第２撮影部はそれぞれ、前記第１画像及び前記第２画像の画像領域のうち、前記立体視用の３Ｄ画像を形成する３Ｄ領域の画像を取り込む第１撮影領域と、前記画像領域のうち、前記平面視用の２Ｄ画像のみを形成する２Ｄ領域の画像を取り込む第２撮影領域と、を有しており、
   前記第１撮影部及び前記第２撮影部がそれぞれ前記第１画像及び前記第２画像を動画像として周期的に取り込む際に、前記第１撮影領域が前記３Ｄ領域の画像を取り込む周期を、前記第２撮影領域が前記２Ｄ領域の画像を取り込む周期よりも短くする取込み周期設定手段を備えた立体内視鏡装置。
2. 前記取込み周期設定手段は、前記３Ｄ領域の画像を取り込む周期を変更可能にする手段である請求項１に記載の立体内視鏡装置。
3. 前記３Ｄ画像の重要度を設定する重要度設定手段を備え、
   前記取込み周期設定手段は、前記３Ｄ領域の画像を取り込む周期を、前記重要度設定手段により設定された重要度に基づいて変更する請求項２に記載の立体内視鏡装置。
4. 前記取込み周期設定手段は、前記重要度設定手段により設定された重要度が高いほど、前記３Ｄ領域の画像を取り込む周期を短い時間に設定する請求項３に記載の立体内視鏡装置。
5. 前記第１撮影部及び前記第２撮影部の動きの速度を検出する動き検出手段を備え、
   前記重要度設定手段は、前記動き検出手段により検出された動きの速度が遅いほど前記重要度を高く設定する請求項３又は４に記載の立体内視鏡装置。
6. 前記動き検出手段は、前記第１画像又は前記第２画像に基づいて前記第１撮影部及び前記第２撮影部の動きの速度を検出する請求項５に記載の立体内視鏡装置。
7. 前記重要度をユーザが指定する指定手段を備え、
   前記重要度設定手段は、前記重要度を前記指定手段により指定された重要度に設定する請求項３に記載の立体内視鏡装置。
8. 第１視野範囲の被写体を撮影し、立体視用の３Ｄ画像及び平面視用の２Ｄ画像を形成するための第１画像を取得する第１撮影部と、
   前記第１視野範囲と一部で重なる第２視野範囲の被写体を撮影し、前記立体視用の３Ｄ画像及び前記平面視用の２Ｄ画像を形成するための第２画像を取得する第２撮影部とを有する立体内視鏡装置であって、
   前記第１撮影部は、前記第１画像の画像領域のうち前記立体視用の３Ｄ画像を形成する３Ｄ領域の画像を取り込む第１撮影領域と、前記第１画像の画像領域のうち前記平面視用の２Ｄ画像のみを形成する２Ｄ領域の画像を取り込む第２撮影領域と、を有し、且つ前記第２撮影部は、前記第２画像の画像領域のうち前記立体視用の３Ｄ画像を形成する３Ｄ領域の画像を取り込む第１撮影領域と、前記第２画像の画像領域のうち前記平面視用の２Ｄ画像のみを形成する２Ｄ領域の画像を取り込む第２撮影領域と、を有しており、
   前記第１撮影部が前記第１画像を動画像として周期的に取り込む際に、前記第１撮影領域が前記３Ｄ領域の画像を取り込む周期を、前記第２撮影領域が前記２Ｄ領域の画像を取り込む周期よりも短くし、且つ前記第２撮影部が前記第２画像を動画像として周期的に取り込む際に、前記第１撮影領域が前記３Ｄ領域の画像を取り込む周期を、前記第２撮影領域が前記２Ｄ領域の画像を取り込む周期よりも短くする取込み周期設定手段を備えた立体内視鏡装置。
9. 第１視野範囲の被写体を撮影し、立体視用の３Ｄ画像及び平面視用の２Ｄ画像を形成するための第１画像を取得する第１撮影部と、
   前記第１視野範囲と一部で重なる第２視野範囲の被写体を撮影し、前記立体視用の３Ｄ画像及び前記平面視用の２Ｄ画像を形成するための第２画像を取得する第２撮影部とを有する立体内視鏡装置における画像取込方法であって、
   前記第１撮影部及び前記第２撮影部はそれぞれ、前記第１画像及び前記第２画像の画像領域のうち、前記立体視用の３Ｄ画像を形成する３Ｄ領域の画像を取り込む第１撮影領域と、前記画像領域のうち、前記平面視用の２Ｄ画像のみを形成する２Ｄ領域の画像を取り込む第２撮影領域と、を有しており、
   前記第１撮影部及び前記第２撮影部がそれぞれ前記第１画像及び前記第２画像を動画像として周期的に取り込む際に、前記第１撮影領域が前記３Ｄ領域の画像を取り込む周期を、前記第２撮影領域が前記２Ｄ領域の画像を取り込む周期よりも短くする取込み周期設定工程を備えた立体内視鏡装置における画像取込方法。
10. 前記取込み周期設定工程は、前記３Ｄ領域の画像を取り込む周期を変更する工程である請求項９に記載の立体内視鏡装置における画像取込方法。
11. 前記３Ｄ画像の重要度を設定する重要度設定工程を備え、
    前記取込み周期設定工程は、前記３Ｄ領域の画像を取り込む周期を、前記重要度設定工程により設定された重要度に基づいて変更する請求項１０に記載の立体内視鏡装置における画像取込方法。
12. 前記取込み周期設定工程は、前記重要度設定工程により設定された重要度が高いほど、前記３Ｄ領域の画像を取り込む周期を短い時間に設定する請求項１１に記載の立体内視鏡装置における画像取込方法。
13. 前記第１撮影部及び前記第２撮影部の動きの速度を検出する動き検出工程を備え、
    前記重要度設定工程は、前記動き検出工程により検出された動きの速度が遅いほど前記重要度を高く設定する請求項１１又は１２に記載の立体内視鏡装置における画像取込方法。
14. 前記動き検出工程は、前記第１画像又は前記第２画像に基づいて前記第１撮影部及び前記第２撮影部の動きの速度を検出する請求項１３に記載の立体内視鏡装置における画像取込方法。
15. 前記重要度をユーザが指定する指定工程を備え、
    前記重要度設定工程は、前記重要度を前記指定工程により指定された重要度に設定する請求項１１に記載の立体内視鏡装置における画像取込方法。
16. 第１視野範囲の被写体を撮影し、立体視用の３Ｄ画像及び平面視用の２Ｄ画像を形成するための第１画像を取得する第１撮影部と、
    前記第１視野範囲と一部で重なる第２視野範囲の被写体を撮影し、前記立体視用の３Ｄ画像及び前記平面視用の２Ｄ画像を形成するための第２画像を取得する第２撮影部とを有する立体内視鏡装置における画像取込方法であって、
    前記第１撮影部は、前記第１画像の画像領域のうち前記立体視用の３Ｄ画像を形成する３Ｄ領域の画像を取り込む第１撮影領域と、前記第１画像の画像領域のうち前記平面視用の２Ｄ画像のみを形成する２Ｄ領域の画像を取り込む第２撮影領域と、を有し、且つ前記第２撮影部は、前記第２画像の画像領域のうち前記立体視用の３Ｄ画像を形成する３Ｄ領域の画像を取り込む第１撮影領域と、前記第２画像の画像領域のうち前記平面視用の２Ｄ画像のみを形成する２Ｄ領域の画像を取り込む第２撮影領域と、を有しており、
    前記第１撮影部が前記第１画像を動画像として周期的に取り込む際に、前記第１撮影領域が前記３Ｄ領域の画像を取り込む周期を、前記第２撮影領域が前記２Ｄ領域の画像を取り込む周期よりも短くし、且つ前記第２撮影部が前記第２画像を動画像として周期的に取り込む際に、前記第１撮影領域が前記３Ｄ領域の画像を取り込む周期を、前記第２撮影領域が前記２Ｄ領域の画像を取り込む周期よりも短くする取込み周期設定工程を備えた立体内視鏡装置における画像取込方法。

Images