JP2019008494A - 画像処理装置 - Google Patents

Abstract

【課題】全天球画像を再生する際に、ユーザーが確認したい特定画像（例えば、人物の顔）の位置が、現在の表示位置からある像高以上のときに、あらかじめ歪曲補正を行った特定領域（例えば、人物の顔を含む領域）を重畳して表示することで、全天球画像内の被写体を容易に確認することを可能にした画像処理装置を提供すること。【解決手段】全天球画像生成部と、歪曲画像補正部と、被写体検出部と、被写体位置算出部と、被写体を切り出し所定のサイズにリサイズする特定領域画像生成部と、被写体の像高差を算出し、像高差が所定範囲かを判定する像高判定部と、射影変換画像を生成する射影変換処理部と、像高差が所定範囲外のとき射影変換画像に特定領域画像生成部によって生成した特定領域画像を重畳した表示画像を生成する表示画像生成部と、表示画像生成部で生成した表示画像を表示する表示部と、を備えることを特徴とする。【選択図】図１

Description

本発明は、画像処理装置に関し、特に画像を表示させる装置に関する。

従来、複数の撮像画像を合成することにより、３６０度すべての方向における画像（例えば、全天球画像）を生成することが可能な画像処理装置が提案されている。特許文献１には、２つの広角レンズを有する撮像系を備え、各撮像系から出力された画像を繋ぎ合せて合成することにより全天球画像を生成する装置が提案されている。

また、上記全天球画像を２次元の表示装置に表示させるために、装置全天球画像を平面画像に射影する画像装置が提案されている。特許文献２には、全天球フォーマットといった広画角画像をディスプレイ装置で表示させるために平面画像に変換するに際して、平面画像の最大半画角（φｍａｘ）の大きさに応じて、平面画像から広画角画像への逆変換方式を切り替えることで、平面画像に生じる画像伸張や湾曲などの違和感を最低化させる装置が提案されている。

特開２０１３−４５０８９号公報 特開２０１３−５７９９３号公報

しかしながら、上述の特許文献２に開示された従来技術では、全天球画像を２次元の表示装置に表示させるために、複雑な射影変換処理を要し、処理演算能力の高い表示装置が必要となる。

そこで、射影変換処理を簡易化させるために、補間射影を行わず、全天球画像をそのまま射影変換して射影変換画像を生成することができる（図１４を参照）。

しかし、被写体の表示位置によっては、ユーザーが確認したい被写体が歪んで表示され、何が撮影されているか分からないことがある。

そこで、本発明の目的は、全天球画像を射影変換した画像を再生する際に、ユーザーが確認したい特定画像（例えば、人物の顔）の位置が、現在の表示中心位置からある像高以上のときに、あらかじめ歪曲補正を行った特定領域（例えば、人物の顔を含む領域）を重畳して表示することで、射影変換した画像内の被写体を容易に確認することを可能にした画像処理装置を提供することにある。

上記の目的を達成するために、本発明に係る画像処理装置は、
全天球画像を生成する全天球画像生成部と、前記全天球画像生成部で生成された全天球画像の歪曲収差を補正する歪曲画像補正部と、前記歪曲画像補正部で補正した画像に対し、特定の被写体を検出する被写体検出部と、前記検出した被写体の座標位置を算出する被写体位置算出部と、前記検出した被写体を切り出し所定のサイズにリサイズする特定領域画像生成部と、表示中心座標と前記被写体の座標位置から被写体の像高差を算出し、前記像高差が所定範囲かを判定する像高判定部と、前記全天球画像を平面画像に射影変換し射影変換画像を生成する射影変換処理部と、前記像高差が所定範囲外のとき前記射影変換画像に前記特定領域画像生成部によって生成した特定領域画像を重畳した表示画像を生成する表示画像生成部と、前記表示画像生成部で生成した表示画像を表示する表示部と、を備えることを特徴とする。

また、本発明に係る画像処理装置は、
全天球画像を生成する全天球画像生成部と、前記全天球画像生成部で生成された全天球画像の歪曲収差を補正する歪曲画像補正部と、前記歪曲画像補正部で補正した画像に対し、特定の被写体を検出する被写体検出部と、前記検出した被写体の座標位置を算出する被写体位置算出部と、前記検出した被写体を切り出し所定のサイズにリサイズする特定領域画像生成部と、前記全天球画像を平面画像に射影変換し射影変換画像を生成する射影変換処理部と、前記射影変換画像に前記特定領域画像生成部によって生成した特定領域画像を重畳した表示画像を生成する表示画像生成部と、前記特定領域画像を選択する画像選択部と、前記選択した特定領域画像の座標位置を表示中心にした前記射影変換画像を生成する表示変更部と、前記表示画像生成部または前記表示変更部で生成した表示画像を表示する表示部と、を備えることを特徴とする。

本発明によれば、全天球画像を射影変換した画像を再生する際に、ユーザーが確認したい特定画像（例えば、人物の顔）の位置が、現在の表示中心位置からある像高以上のときに、あらかじめ歪曲補正を行った特定領域（例えば、人物の顔を含む領域）を重畳して表示することで、射影変換した画像内の被写体を容易に確認することを可能にした画像処理装置を提供することができる。

画像処理装置のブロック図 全天球画像の座標 第１の実施形態における全天球画像を撮像するフローチャート 顔検出処理のフローチャート 全天球画像を表示するフローチャート 人物Ａの射影変換画像の表示画像１ 人物Ａの射影変換画像の表示画像２ 人物Ａと人物Ｂの射影変換画像の表示画像１ 人物Ａと人物Ｂの射影変換画像の表示画像２ 第２の実施形態における全天球画像を表示するフローチャート 人物Ａと人物Ｂの射影変換画像と顔領域画像の表示画像１ 人物Ａと人物Ｂの射影変換画像と顔領域画像の表示画像２ 人物Ａと人物Ｂの射影変換画像と顔領域画像の表示画像３ 全天球画像の射影変換画像

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

《第１の実施形態》
図１を参照して、本発明の実施形態にかかわる画像処理装置のブロック図について説明する。

画像処理装置は、対物レンズ１０１、１０５と、撮像素子１０２、１０６と、アナログ信号処理部１０３、１０７と、画像処理部１０４、１０８と、カメラ制御部１０９と、操作部１１０と、メモリ１１１と、歪曲画像補正部１１２と、顔検出処理部１１３と、特定領域画像生成部１１４と、像高判定部１１５と、全天球画像生成部１１６と、表示画像生成部１１７と、表示部１１８と、射影変換処理部１１９と、バス１２０を有している。

ここで、画像処理部１０４、１０８、カメラ制御部１０９、メモリ１１１、顔検出処理部１１３、特定領域画像生成部１１４、像高判定部１１５、全天球画像生成部１１６、表示画像生成部１１７、表示部１１８は、射影変換処理部１１９は、バス１２０を介して接続されている。また、撮像素子１０２、１０６、アナログ信号処理部１０３、１０７、操作部１１０は、カメラ制御部１０９に接続されている。

本実施形態では、２つの撮像系により撮像された各撮像画像の画角：０度〜３６０度までの画像を繋ぎ合わせ合成して全天球画像を生成する。そのため、２つの対物レンズを有し、各々１８０（＝３６０／２）度を超える魚眼レンズであり、各々の光軸が合致するようにして、互いに逆向きに組み合わせられている。本実施形態では、２つの撮像系により撮像された各撮像画像で全天球画像を生成するが、その限りではない。Ｎ個の撮像系で全天球画像を生成する場合は、各撮像画像の画角：０度〜３６０度／Ｎまでの画像を繋ぎ合わせ合成すれば良い。

対物レンズ１０１、１０５は、光束を集光して被写体像を撮像素子１０２、１０６の受光面に形成する。撮像素子１０２、１０６は、対物レンズ１０１、１０５を通過した被写体の画像光を光電変換してアナログ画像信号に変換するＣＣＤ等の撮像素子である。アナログ信号処理部１０３、１０７は、カメラ制御部１０９の指示に応じて、撮像素子１０２、１０６から出力されたアナログ画像信号に対し、ＣＤＳ（相関二重サンプリング）、ゲイン調整、Ａ／Ｄ変換などの信号処理を施し、信号処理されたデジタル画像信号を画像処理部１０４、１０８へ転送する。

画像処理部１０４、１０８は、カメラ制御部１０９の指示に応じて、アナログ信号処理部１０３、１０７で処理されたデジタル画像信号に対して、ホワイトバランス調整、補間、輪郭強調、ガンマ補正、階調変換などの画像処理を施し、画像処理された撮像画像をメモリ１１１へ記憶させる。

メモリ１１１は、画像処理部１０４、１０８から出力される撮像画像、又は表示画像生成部１１７から出力される表示画像など、バス１２０に接続されている回路で処理された画像を一時的に記憶する。また、メモリ１１１は、カメラ制御部１０９による処理の過程で作成された設定情報を一時的に記憶する。

操作部１１０は、シャッターボタンやカメラのモード選択メニューを決定するＯＫボタン等、ユーザーがカメラを外部から操作する箇所である。

カメラ制御部１０９は、操作部１１０からの指示を受け、撮影を実行するために各ブロックの動作を統括制御する。

歪曲画像補正部１１２は、カメラ制御部１０９の指示に応じて、対物レンズ１０１、１０５の光学特性により光が歪曲収差し、アナログ信号処理部１０３、１０７、画像処理部１０４、１０８を介して処理された歪曲している撮像画像をメモリ１１１から読み出し、レンズの光学特性に応じた歪曲収差補正を施し、その歪曲収差補正した撮像画像をメモリ１１１へ記憶させる。

顔検出処理部１１３は、カメラ制御部１０９の指示に応じて、歪曲画像補正部１１２により歪曲収差補正した撮像画像をメモリ１１１から読み出し、画像の中から顔領域を検出し、その顔領域の中心座標を顔位置として算出し、顔位置座標をメモリ１１１へ記憶させる。さらに、検出した顔領域を切り出し、所定のサイズにリサイズした顔領域画像を顔位置座標と紐付けてメモリ１１１へ記憶させる。顔検出処理は、複数人の処理が可能とする。

図２を参照して、全天球画像の座標について説明する。

２つの撮像系により撮像した２つの広角１８０度の撮像画像は、Ｘ軸、Ｙ軸、Ｚ軸系において、１つはＺ軸が正である１８０度の画像と、もう１つはＺ軸が負である１８０度の画像とし、画像の座標が一意的に決まるものとする。よって、顔領域の中心座標位置は、撮像画像から一意的に決まる。

特定領域画像生成部１１４は、顔検出処理部１１３によって検出した顔領域を切り出し、所定のサイズにリサイズした顔領域画像をメモリ１１１へ記憶させる。

像高判定部１１５は、表示する画像の中心座標と顔検出処理部１１３によって算出した顔領域の中心座標位置から顔領域の像高差を算出し、像高差が所定範囲内であるかを判定する。像高差が大きいと、射影変換した際に、歪曲収差が大きくなり、被写体の確認が困難になる。

全天球画像生成部１１６は、カメラ制御部１０９の指示に応じて、画像処理部１０４、１０８で処理された２つの撮像画像をメモリ１１１から読み出し、各撮像画像の画角：０度〜３６０度までの画像を繋ぎ合わせ合成した全天球画像を生成し、メモリ１１１へ記憶させる。全天球画像の生成については、すでに公知である特開２０１３−４５０８９号公報に記載されている。

射影変換処理部１１９は、全天球画像生成部１１６で生成された全天球画像を、射影変換方式により３次元面上の全天球画像を平面画像に射影変換し、メモリ１１１へ記憶させる。射影変換は、全天球に張り付いた画像を球中心から見るものと仮定し、中心からの角度（半画角）を平面上での距離（像高）に変換することで、平面画像化する。また、操作部１１０からのパン（視野の左右移動）、チルト（視野の上下移動）、ズーム（拡大縮小）といった各種の表示変更操作があった場合は、射影する平面座標の変更を行い、射影変換を行う。

表示画像生成部１１７は、カメラ制御部１０９の指示に応じて、像高判定部１１５の結果、顔領域の像高差が所定範囲外であったら、特定領域画像生成部１１４によって生成した顔領域画像と射影変換処理部１１９によって生成された射影変換画像をメモリ１１１から読み出し、顔領域画像と射影変換画像を重畳して表示画像を生成し、メモリ１１１へ記憶させる。

表示部１１８は、ＬＣＤ（液晶表示装置）等で構成され、射影変換処理部１１９、または表示画像生成部１１７で生成された表示画像を受けて表示する。

以下、図３、図４、図５を参照して、本実施形態による、２つの撮像系により全天球画像を生成し、表示するまでの詳細のフローチャートについて説明する。

まず、図３を参照して、全天球画像を撮像するフローチャートについて説明する。

ステップＳ３０１では、ユーザーにより操作部１１０にてシャッターボタンが押されたかをカメラ制御部１０９が判断する。シャッターボタンが押されていたらステップＳ３０２へ移行し、押されていなければ、スタートへ戻る。

次に、ステップＳ３０２では、２つの撮像系により撮像処理を行う。対物レンズ１０１、撮像素子１０２、アナログ信号処理部１０３、画像処理部１０４が画像処理を施した撮像画像をメモリ１１１へ記憶する。さらに、撮像素子１０６、アナログ信号処理部１０７、画像処理部１０８が画像処理を施した撮像画像をメモリ１１１へ記憶する。

次に、ステップＳ３０３では、撮像した画像内から顔検出、および顔の座標位置を算出する。詳細は、後述する図４の説明にて行う。

次に、ステップＳ３０４では、ステップＳ３０２にて一時記憶した２つの撮像画像に対して、全天球画像生成部１１６が、各撮像画像の画角：０度〜３６０度までの画像を繋ぎ合わせ合成した全天球画像を生成する。

次に、ステップＳ３０５では、射影変換処理部１１９が、ステップＳ３０４にて生成した全天球画像に対し、射影変換を行い平面画像化した射影画像を生成する。

このようにして、２つの撮像系により撮像した各撮像画像から全天球画像を生成し、射影変換処理を施すことで平面画像化した射影変換画像を生成する。

ここで、図４を参照して、上述した顔検出処理のフローチャートについて説明する。

ステップＳ４０１では、ステップＳ３０２にて一時記憶した２つの撮像画像に対して、歪曲補正部１１２が、対物レンズ１０１、１０５の光学特性によって生じた歪曲収差を補正する。

次に、ステップＳ４０２は、顔検出処理部１１３が、ステップＳ４０１にて歪曲収差補正された撮像画像に対して、顔検出を行う。

次に、ステップＳ４０３は、顔検出処理部１１３が、顔を検出した顔サイズの矩形を顔領域とし、顔領域の中心座標を顔位置として算出する。

ステップＳ４０２にて検出された顔が複数の場合は、複数の顔位置座標を算出する。

次に、ステップＳ４０４は、顔検出処理部１１３が、顔領域を切り出し、所定のサイズにリサイズした顔領域画像を、ステップＳ４０３にて算出した顔位置座標と紐付けてメモリ１１１へ記憶させる。このようにして、２つの撮像系により撮像した各撮像画像から顔位置座標の算出と顔領域画像の生成を行う。

次に、図５を参照して、全天球画像を表示するフローチャートについて説明する。

ステップＳ５０１では、表示部１１８が、ステップＳ３０５、またはステップＳ３０７にて生成した射影変換画像をＬＣＤで構成され液晶表示装置に表示する。初期表示の射影変換は、図２におけるＸ＝Ｙ＝０を平面としたＺが正側の画像を射影変換するものとする。その初期表示は、２つの撮像系のうち、対物レンズ１０１、撮像素子１０２、アナログ信号処理部１０３、画像処理部１０４を介して撮像された画像の中心である。

次に、ステップＳ５０２は、像高判定部１１５が、ステップＳ４０３にて算出した人物の顔位置座標が、現在表示している表示中心座標から所定範囲の像高差であるかを判定する。表示中心座標から人物の顔位置座標の像高差が所定範囲内であれば、ステップＳ５０３へ移行し、像高差が所定範囲外であれば、ステップＳ５０４へ移行する。

次に、ステップＳ５０３は、表示中心座標から人物の顔位置座標の像高差が所定範囲内なので、表示画像生成部１１７は何も行わない。

次に、ステップＳ５０４は、表示中心座標から人物の顔位置座標の像高差が所定範囲外なので、表示画像生成部１１７が、ステップＳ４０４にて生成した顔領域画像をステップＳ３０５にて生成した射影変換画像に重畳して、メモリ１１１へ記憶させる。

次に、ステップＳ５０５は、表示部１１８が、ステップＳ５０３、またはステップＳ５０４にて、表示画像生成部１１７が生成した表示画像をＬＣＤで構成され液晶表示装置に表示する。

図６を参照して、ステップＳ５０３にて、表示画像生成部１１７が生成した表示画像を示す。対物レンズ１０１側で人物Ａを中心にした構図で撮影した場合、初期表示位置が人物Ａを中心とした画像となる。

図７を参照して、ステップＳ５０４にて、表示画像生成部１１７が生成した表示画像を示す。対物レンズ１０１側で人物Ａを左端の構図で撮影した場合、初期表示位置の中心から人物Ａは遠くなり、表示中心座標から顔位置座標の像高差は大きくなる。そして、人物Ａは、対物レンズ１０１の光学特性により大きく歪曲し、人物の特定が困難になる。人物Ａの顔領域画像７０１を重畳して表示することで人物の特定が容易になる。

次に、ステップＳ５０６では、ユーザーが操作部１１０から画像の表示位置の変更を指示したかを判断する。表示位置の変更指示は、ＬＣＤ等の表示部がタッチパネルで構成されている場合は、指先やタッチペンで画面に触れて操作することも可能とする。操作部１１０から表示位置の変更を指示があれば、ステップＳ５０７へ移行し、変更を指示がなければ、ステップＳ５０８へ移行する。

次に、ステップＳ５０７では、射影変換処理部１１９が、操作部１１０からの表示位置の変更指示に応じて、表示平面座標を変更し、射影変換方式により３次元面上の全天球画像を平面画像に射影変換する。

次に、ステップＳ５０８では、ユーザーが操作部１１０から再生表示の終了指示をしたかを判断する。再生表示の終了指示があれば、再生処理を終了し、再生表示の終了指示がなければ、ステップＳ５０１へ戻る。

図８と図９を参照して、ユーザーが操作部１１０から画像の表示位置の変更を指示した場合の表示画像を示す。図８の表示画像に対して、ユーザーが表示位置の変更指示を左にパンさせた場合の表示画像が図９である。

図８の表示画像は、人物Ａは中心に、人物Ｂは右側に位置した構図である。人物Ｂは、表示中心座標から顔位置座標の像高差が大きく、大きく歪曲しており、人物の特定が困難になっている。ステップＳ５０４にて、表示画像生成部１１７が人物Ｂの顔領域画像８０１を重畳して表示することで人物の特定が容易になっている。

図９の表示画像は、表示位置が左にパンされたことで、人物Ｂは中心に、人物Ａは左側に位置が変更され、それに伴い人物Ａと人物Ｂの像高が変更される。人物Ａは、表示中心座標から顔位置座標の像高差が大きく、大きく歪曲しており、人物の特定が困難になっている。ステップＳ５０４にて、表示画像生成部１１７が人物Ａの顔領域画像９０１を重畳して表示することで人物の特定が容易になっている。

このようにして、表示中心座標から人物の顔位置座標が所定の像高差より大きく、歪曲の影響を大きく受ける位置にある場合は、人物の特定が困難になるので、人物の顔領域画像を重畳して表示させることで、人物の特定を容易にさせることができる。

《第２の実施形態》
以下、図１０を参照して、本発明の第２の実施形態による、全天球画像を表示するフローチャートについて説明する。全天球画像の撮像、および顔検出処理は、第１の実施形態と同じである。

ステップＳ１００１では、表示部１１８が、表示画像生成部１１７にて生成した表示画像をＬＣＤで構成され液晶表示装置に表示する。図１１を参照して、ステップＳ１００１にて、表示画像生成部１１７が生成した表示画像を示す。図１１の表示画像は、射影変換画像１１０１と顔領域画像１１０２、１１０３を同時に表示している。射影変換画像１１０１は、人物Ａは中心に、人物Ｂは右側に位置した構図である。顔領域画像１１０２は、ステップＳ４０４にて顔検出処理部１１３が生成した人物Ａの顔領域画像である。同様に、顔領域画像１１０３は、ステップＳ４０４にて顔検出処理部１１３が生成した人物Ｂの顔領域画像である。

次に、ステップＳ１００２は、ユーザーが操作部１１０から画像の表示位置の変更を指示したかを判断する。表示位置の変更指示は、ＬＣＤ等の表示部がタッチパネルで構成されている場合は、指先やタッチペンで画面に触れて操作することも可能とする。操作部１１０から表示位置の変更を指示があれば、ステップＳ１００３へ移行し、変更を指示がなければ、ステップＳ１００４へ移行する。

次に、ステップＳ１００３は、射影変換処理部１１９が、操作部１１０からの表示位置の変更指示に応じて、表示平面座標を変更し、射影変換方式により３次元面上の全天球画像を平面画像に射影変換する。

次に、ステップＳ１００４は、ユーザーが操作部１１０から顔指定の指示をしたかを判断する。顔指定は、図１１を参照して、顔領域画像１１０２、または顔領域画像１１０３を選択することで実施される。操作部１１０から顔指定の指示があれば、ステップＳ１００５へ移行し、顔指定の指示がなければ、ステップＳ１００６へ移行する。

次に、ステップＳ１００５は、射影変換処理部１１９が、ステップＳ１００４にて指定された顔位置座標が表示座標の中心になるように変更し、射影変換方式により３次元面上の全天球画像を平面画像に射影変換する。

次に、ステップＳ１００６は、ユーザーが操作部１１０から再生表示の終了指示をしたかを判断する。再生表示の終了指示があれば、再生処理を終了し、再生表示の終了指示がなければ、ステップＳ１００１へ戻る。

図１１と図１２を参照して、ユーザーが操作部１１０から顔指定の指示をした場合の表示画像を示す。まず、図１１を参照して、ユーザーが、操作部１１０から人物Ｂの顔領域画像１１０３を選択したとする。すると、ステップＳ１００５にて、人物Ｂの顔位置座標が表示座標の中心となるように変更される。

次に、図１２を参照して、上記による人物Ｂの顔領域画像１１０３の選択により、人物Ｂの顔領域が表示座標の中心となるような構図で表示される。このとき、人物の顔の向きを検出し、顔の角度が正位置になるように射影変換画像を回転させても良い。さらに、図１３を参照して、ユーザーが選択した顔領域画像を中心に拡大し、被写体を大きく表示させることも可能とする。ユーザーが人物Ｂを選択した場合、射影変換画像１３０１のように人物Ｂを拡大して表示する。

このように、ユーザーが顔領域画像を選択できるようなユーザーインターフェースを用意し、選択された顔画像が中心になるように射影変換画像を生成し表示することで、特定の人物を中心とした構図を容易に確認することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０１ 対物レンズ、１０２ 撮像素子、１０３ アナログ信号処理部、
１０４ 画像処理部、１０５ 対物レンズ、１０６ 撮像素子、
１０７ アナログ信号処理部、１０８ 画像処理部、１０９ カメラ制御部、
１１０ 操作部、１１１ メモリ、１１２ 歪曲画像補正部、
１１３ 会検出処理部、１１４ 特定領域画像生成部、１１５ 像高判定部、
１１６ 全天球画像生成部、１１７ 表示画像生成部、１１８ 表示部、
１１９ 射影変換処理部、１２０ バス

Claims (4)

1. 全天球画像を生成する全天球画像生成部と、
   前記全天球画像生成部で生成された全天球画像の歪曲収差を補正する歪曲画像補正部と、
   前記歪曲画像補正部で補正した画像に対し、特定の被写体を検出する被写体検出部と、
   前記検出した被写体の座標位置を算出する被写体位置算出部と、
   前記検出した被写体を切り出し所定のサイズにリサイズする特定領域画像生成部と、
   表示中心座標と前記被写体の座標位置から被写体の像高差を算出し、前記像高差が所定範囲かを判定する像高判定部と、
   前記全天球画像を平面画像に射影変換し射影変換画像を生成する射影変換処理部と、
   前記像高差が所定範囲外のとき前記射影変換画像に前記特定領域画像生成部によって生成した特定領域画像を重畳した表示画像を生成する表示画像生成部と、
   前記表示画像生成部で生成した表示画像を表示する表示部と、
   を備えることを特徴とする画像処理装置。
2. 全天球画像を生成する全天球画像生成部と、
   前記全天球画像生成部で生成された全天球画像の歪曲収差を補正する歪曲画像補正部と、
   前記歪曲画像補正部で補正した画像に対し、特定の被写体を検出する被写体検出部と、
   前記検出した被写体の座標位置を算出する被写体位置算出部と、
   前記検出した被写体を切り出し所定のサイズにリサイズする特定領域画像生成部と、
   前記全天球画像を平面画像に射影変換し射影変換画像を生成する射影変換処理部と、
   前記射影変換画像に前記特定領域画像生成部によって生成した特定領域画像を重畳した表示画像を生成する表示画像生成部と、
   前記特定領域画像を選択する画像選択部と、
   前記選択した特定領域画像の座標位置を表示中心にした前記射影変換画像を生成する表示変更部と、
   前記表示画像生成部または前記表示変更部で生成した表示画像を表示する表示部と、
   を備えることを特徴とする画像処理装置。
3. 前記表示変更部は、前記選択した特定領域画像の前記被写体の向きが正位置になるように前記射影変換画像を回転させる画像回転処理部を有することを特徴とする請求項２に記載の画像処理装置。
4. 前記表示変更部は、前記選択した特定領域画像の前記被写体が所定サイズの大きさになるまで前記射影変換画像をリサイズするリサイズ部を有することを特徴とする請求項２に記載の画像処理装置。