Nothing Special   »   [go: up one dir, main page]

JP7080613B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP7080613B2
JP7080613B2 JP2017186771A JP2017186771A JP7080613B2 JP 7080613 B2 JP7080613 B2 JP 7080613B2 JP 2017186771 A JP2017186771 A JP 2017186771A JP 2017186771 A JP2017186771 A JP 2017186771A JP 7080613 B2 JP7080613 B2 JP 7080613B2
Authority
JP
Japan
Prior art keywords
data
image data
virtual viewpoint
image
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017186771A
Other languages
English (en)
Other versions
JP2019061558A (ja
Inventor
達朗 小泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017186771A priority Critical patent/JP7080613B2/ja
Priority to US16/132,953 priority patent/US10728513B2/en
Publication of JP2019061558A publication Critical patent/JP2019061558A/ja
Application granted granted Critical
Publication of JP7080613B2 publication Critical patent/JP7080613B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、多視点画像から仮想視点画像を合成する画像処理装置、画像処理方法およびプログラムに関する。
複数の撮像装置で異なる視点から被写体を撮像して得られた多視点画像から、任意の仮想視点から被写体を観察した仮想視点画像を再構成する技術が知られている。特許文献１には、以下の方法が開示されている。まず、複数の撮像装置により撮像された被写体の撮像画像と、撮像装置の位置情報とを用いて、被写体の三次元モデルを作成する。次に、三次元モデル上の各位置のテクスチャ画像を、複数の撮像画像に写っているテクスチャ画像をブレンドすることにより生成する。最後に、ブレンドテクスチャ画像を三次元モデルにテクスチャマッピングすることにより、撮像装置が配置されていない仮想視点からの画像を生成している。このように生成される、撮像装置が配置されていない任意の視点からの画像を仮想視点画像と呼ぶ。
特許第５０１１２２４号公報
ところで、照明等の影響や撮像装置の個体差により、被写体の同じ部位であっても、それぞれの撮像装置により得られる撮像画像上での色が異なることがある。このため、例えば、被写体によって一部の撮像装置に対して遮蔽領域があると、仮想視点画像において、遮蔽領域を撮影可能な他の撮像装置により撮影される画像を用いて遮蔽領域に対応する領域をテクスチャマッピングする必要がある。このように、仮想視点画像において、複数の撮像装置により撮影された画像を用いてテクスチャマッピングされる領域付近に不自然な色の変化が見られ、視覚的な違和感を生じさせることがあった。
そこで本発明は、それぞれの撮像装置により得られる撮像画像上での色の違いに起因する視覚的な違和感を低減した仮想視点画像を生成することを目的とする。
本発明は、上述した課題を解決するために為されたものであって、第一の撮影対象を複数の視点からの撮影により取得された複数の第一の入力画像データと、前記第一の撮影対象を前記複数の視点からの撮影により取得された複数の第二の入力画像データとに基づいて、仮想視点からの見えを表す仮想視点画像データを生成する画像処理装置であって、前記複数の第一の入力画像データに基づいて、前記仮想視点に対応する第一仮想視点画像の第一の画素値を取得する第一の取得手段と、前記第二の入力画像データを取得するための撮影において前記仮想視点画像データの画素に対応する前記第一の撮影対象上の領域が撮影されたか否かを表す可視情報と、前記複数の第一の入力画像データと、前記複数の第二の入力画像データとに基づいて、前記仮想視点に対応する第二仮想視点画像の第二の画素値であって、前記複数の第一の画像データと前記複数の第二の画像データの差異に基づく第二の画素値を取得する第二の取得手段と、前記第一の画素値と前記第二の画素値とに基づいて、前記仮想視点画像データを生成する画像生成手段と、を有することを特徴とする。
本発明によれば、それぞれの撮像装置により得られる撮像画像上での色の違いに起因する視覚的な違和感を低減した仮想視点画像を生成することができる。
実施形態１に係る画像処理装置を含む撮像システムの一例を表す模式図である。 画像処理装置のハードウェア構成の一例を示すブロック図である。 画像処理装置のソフトウェア構成の一例を示すブロック図である。 画像処理装置の処理の流れの一例を示すフローチャートである。 遮蔽領域に起因する課題を説明するための図である。 遮蔽領域に起因する課題の解決手段を説明するための図である。 画像処理装置の対応算出部の構成の一例を示すブロック図である。 対応算出部の処理の流れの一例を示すフローチャートである。 画像処理装置の遮蔽判定部の構成の一例を示すブロック図である。 遮蔽判定部の処理の流れの一例を示すフローチャートである。 画像処理装置の仮想視点画像合成部の構成の一例を示すブロック図である。 仮想視点画像合成部の処理の流れの一例を示すフローチャートである。 画像処理装置の差分画像生成部の構成の一例を示すブロック図である。 差分画像生成部の処理の流れの一例を示すフローチャートである。 画像処理装置の画像変換部の構成の一例を示すブロック図である。 画像変換部の処理の流れの一例を示すフローチャートである。 実施形態２に係る画像処理装置の仮想視点画像合成部の構成の一例を示すブロック図である。 仮想視点画像合成部の処理の流れの一例を示すフローチャートである。
以下、本発明の実施形態について図面を参照して説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本発明の範囲をそれらに限定する趣旨のものではない。また、実施形態で説明されている構成要素の組み合わせのすべてが、課題を解決するための手段に必須のものとは限らない。
［実施形態１］
＜撮像システムの全体構成＞
図１は、本発明に係る実施形態１の画像処理装置を含む撮像システムの一例を示した模式図である。撮像システムは、複数（図示例では１０個）の撮像装置１０１と画像処理装置１０２とを有する。画像処理装置１０２は、表示装置１０３、入力装置（キーボード）１０４、入力装置（マウス）１０５を有する。複数の撮像装置１０１は、被写体１０６～１０８を囲むような配置で設置され、全周から被写体１０６～１０８を撮像する。すなわち、複数の撮像装置１０１は、異なる視点から被写体１０６～１０８を撮像可能に配置されている。画像処理装置１０２は、複数の撮像装置１０１が撮像した画像データを用いて、仮想視点からの再構成画像（以降、仮想視点画像とする）を合成する。
撮像された画像は入力画像データと呼ぶものとする。また、本システムは被写体１０７（選手）や被写体１０８（ボール）のような移動する特定のオブジェクトであり、前景とする被写体（動体）と、被写体１０６（グラウンド）のような移動せず、背景とする被写体（不動体）を区別して扱う。事前の撮影や画像処理装置１０２での合成で取得した、移動しない被写体１０６のみが撮像された画像を背景画像データと呼ぶものとする。背景画像データは、例えば、特定のオブジェクトが存在しない際に撮影されるものとする。本システムでは入力画像データと背景画像データから、仮想視点画像データを生成する。入力画像データと背景画像データの視点を実視点と呼ぶ。仮想視点画像データの視点を仮想視点と呼ぶ。
また、画像処理装置１０２には表示装置１０３及び入力装置１０４，１０５が接続されている。利用者は表示装置１０３と入力装置１０４，１０５を介して画像処理装置１０２を操作することで、仮想視点の設定、撮像条件の設定、撮像により取得した画像データを処理した結果の確認を行う。
＜画像処理装置のハードウェア構成＞
図２は、画像処理装置のハードウェア構成の一例を示す図である。
画像処理装置１０２は、ＣＰＵ２０１、メインメモリ２０２、記憶部２０３を有する。画像処理装置１０２は、表示部２０４、入力部２０５、外部インターフェース（以下、外部Ｉ／Ｆと記す）部２０６を有する。これら各機能部は、バス２０７を介して接続している。外部Ｉ／Ｆ部２０６は、ＬＡＮ２０８を介して複数の撮像装置１０１と接続している。
記憶部２０３には、後述する図４，８，１０，１２，１４，１６のフローチャートに示す画像処理装置１０２の処理を実現するための制御プログラムや、当該制御プログラムが実行される際に用いられるデータなどが記憶されている。制御プログラムやデータは、ＣＰＵ２０１による制御のもとバス２０７を通じてメインメモリ２０２に取り込まれる。これがＣＰＵ２０１によって実行されることで、上述のハードウェアと協働して上述の各機能が実現される。例えば表示部２０４は表示装置１０３として機能し、入力部２０５は入力装置（キーボード）１０４および入力装置（マウス）１０５として機能する。また、かかるソフトウェアとハードウェアの協働により画像処理装置１０２による処理が実現される。
＜画像処理装置のソフトウェア構成と処理の流れ＞
図３は、画像処理装置１０２のソフトウェア構成の一例を示すブロック図である。
画像処理装置１０２は、入力画像取得部３０１、背景画像取得部３０２、仮想視点カメラパラメータ取得部３０３、実視点カメラパラメータ取得部３０４、形状取得部３０５を有する。また、画像処理装置１０２は、対応算出部３０６、遮蔽判定部３０７、仮想視点画像合成部３０８を有する。
入力画像取得部３０１は入力画像データを取得する。入力画像データは、複数の撮像装置１０１が撮像した画像データを、画像処理装置１０２のメインメモリ２０２上に転送、格納しておいたものを用いるものとする。また、現像処理、色処理、歪曲補正なども事前に実施されているものとする。
背景画像取得部３０２は背景画像データを取得する。背景画像データは、移動する被写体が存在しない状態で撮像装置１０１が撮像した画像データを、画像処理装置１０２のメインメモリ２０２上に転送、格納しておいたものを用いるものとする。もしくは、入力画像データに対して時系列のフィルタを適用し、あらかじめ生成しておくものとする。本実施形態では、移動する被写体に関するデータを、先頭に被写体を付したデータ名で記し、移動しない被写体に関するデータを、先頭に背景を付したデータ名で記すものとする。
仮想視点カメラパラメータ取得部３０３は、仮想視点カメラパラメータを取得する。仮想視点カメラパラメータとは仮想視点の内部パラメータおよび外部パラメータである。仮想視点の内部パラメータとして、例えば、焦点距離、画像中心位置などが挙げられる。仮想視点の外部パラメータとして、例えば、カメラ位置、カメラ向きが挙げられる。仮想視点カメラパラメータは、画像処理装置１０２の使用者による入力装置１０４，１０５の操作により表示装置１０３上で仮想視点が指定されると、仮想視点に応じて生成される。そして、仮想視点に応じて生成された仮想視点カメラパラメータは、画像処理装置１０２のメインメモリ２０２上に格納される。
実視点カメラパラメータ取得部３０４は実視点カメラパラメータを取得する。実視点カメラパラメータとは実視点の内部パラメータ（焦点距離、画像中心位置）、外部パラメータ（カメラ位置、カメラ向き）であり、あらかじめ測定されて画像処理装置１０２のメインメモリ２０２上に格納されているものとする。
形状取得部３０５は被写体及び背景形状データを取得する。背景形状データはあらかじめ計測、作成されて、画像処理装置１０２のメインメモリ２０２上に格納されているものとする。被写体形状データは、入力画像データに基づき視体積交差法やマルチビューステレオなどの手法で、あらかじめ生成されて画像処理装置１０２のメインメモリ２０２上に格納されているものとする。形状データの形態は、ポリゴン、点群、距離マップなど、どのようなものでもかまわない。
対応算出部３０６は仮想視点カメラパラメータ、実視点カメラパラメータ、被写体及び背景形状データに基づき、仮想視点画像と入力画像の対応データを算出する。すなわち、対応データである、画素位置データ、光線角データ、領域データを算出する。各データは、被写体と背景それぞれについて算出する。画素位置データは仮想視点画像データの各画素に対して、各実視点上の対応する画素位置を格納したデータである。光線角データは、仮想視点と各実視点の光線のなす角を表すデータである。領域データは、仮想視点画像データの各画素に対して、被写体、背景それぞれが着目画素を通る光線上に存在するかを表す情報を格納した描画処理を行う領域を表すデータである。詳細は後述する。
遮蔽判定部３０７は実視点カメラパラメータと被写体及び背景形状データ、対応算出部３０６が算出した画素位置データと領域データに基づき遮蔽データを算出する。遮蔽データは、仮想視点画像データの各画素に対して、着目画素から見えている被写体、背景上の点が実視点から見えていないかを表す情報を格納したデータである。詳細は後述する。
仮想視点画像合成部３０８は入力画像データ、背景画像データ、被写体及び背景画素位置データ、被写体及び背景光線角データ、被写体及び背景領域データ、被写体及び背景遮蔽データに基づき、仮想視点画像データを生成する。詳細は後述する。
図４は、画像処理装置１０２における処理の流れの一例を示すフローチャートである。
ステップＳ４０１では入力画像取得部３０１は、複数の撮像装置１０１で撮像されメインメモリ２０２上に格納された入力画像データを取得する。
ステップＳ４０２では背景画像取得部３０２は、複数の撮像装置１０１で撮像されメインメモリ２０２上にあらかじめ格納された背景画像データを取得する。
ステップＳ４０３では仮想視点カメラパラメータ取得部３０３は使用者による仮想視点の指定に応じて生成されメインメモリ２０２上に格納された仮想視点カメラパラメータを取得する。
ステップＳ４０４では実視点カメラパラメータ取得部３０４がメインメモリ２０２上に格納された実視点カメラパラメータを取得する。
ステップＳ４０５では形状取得部３０５がメインメモリ２０２上に格納された被写体及び背景形状データを取得する。
ステップＳ４０６では対応算出部３０６が仮想視点カメラパラメータ、実視点カメラパラメータ、被写体形状データに基づき、被写体の仮想視点画像と入力画像の対応データを算出する。被写体画像の対応データとして、被写体画素位置データ、被写体光線角データ、被写体領域データを算出する。
ステップＳ４０７では対応算出部３０６が仮想視点カメラパラメータ、実視点カメラパラメータ、背景形状データに基づき、背景の仮想視点画像と入力画像の対応データを算出する。背景画像の対応データとして、背景画素位置データ、背景光線角データ、背景領域データを算出する。
ステップＳ４０８では遮蔽判定部３０７が実視点カメラパラメータ、被写体形状データ、被写体画素位置データ、被写体領域データに基づき、被写体の仮想視点画像において入力画像が遮蔽されている領域を表す被写体遮蔽データを算出する。
ステップＳ４０９では遮蔽判定部３０７が実視点カメラパラメータ、被写体及び背景形状データ、背景画素位置データ、背景領域データに基づき、背景の仮想視点画像において入力画像が遮蔽されている領域を表す背景遮蔽データを算出する。
ステップＳ４１０では仮想視点画像合成部３０８が入力画像データ、背景画像データ、被写体及び背景画素位置データ、被写体及び背景光線角データ、被写体及び背景領域データ、被写体及び背景遮蔽データに基づき、仮想視点画像データを生成する。
＜課題と解決手段の概要＞
ここで、図５（ａ），（ｂ）を用いて遮蔽領域に起因する課題について説明する。図５（ａ）は入力画像データの取得の過程を表す図である。ここでは、光線の異なる２つの実視点５０４，５０５から入力画像データ５０６，５０７を取得する例について説明する。実視点５０４，５０５は、平面視で撮像対象の被写体５０１を挟んで対向配置される。被写体５０１は、背景５０３上に被写体５０１の影５０２が映るものである。被写体５０１は円柱状の物体（動体）であり、背景５０３は被写体５０１が設置される平面状の物体（不動体）であるものとする。実視点５０４から撮像して取得した入力画像データ５０６と実視点５０５から撮像して取得した入力画像データ５０７は撮像装置の個体差や、視点による見え方の違いによって、異なる明るさや色の画像データになっているものとする。
図５（ｂ）は２つの入力画像データを合成して得られた仮想視点画像データの説明図である。仮想視点５０９は、実視点５０４，５０５の光線と異なり、実視点５０５よりも実視点５０４に近接した位置に配置されているものとする。入力画像データ５０６，５０７を、被写体５０１と背景５０３それぞれの形状データに基づき変換することで、仮想視点５０９の仮想視点画像データ５１０を生成する。このとき、視点による見え方の違いを再現するため、仮想視点５０９により近い、実視点５０４から撮像した入力画像データ５０６を優先的に画像生成に用いる。実視点５０４に対して被写体５０１で背景５０３が遮蔽された領域５０８では、実視点５０５から撮像された入力画像データ５０７を用いる。すなわち、被写体の５０１の写る領域を除去しながら、入力画像データ５０６、５０７を貼り合せる。しかし、入力画像データ５０６と入力画像データ５０７とでは明るさや色が異なる。そのため、入力画像データ５０６，５０７を合成して得られた仮想視点画像データ５１０では、遮蔽された領域５０８に対応する領域とそれ以外の背景５０３に対応する領域との間で不自然な色の変化が見られ、視覚的な違和感が生じてしまう。
続いて、本発明における課題の解決手段について図６を用いて説明する。本発明では背景、影、被写体をそれぞれ仮想視点に変換した後に、合成して仮想視点画像データを生成する。
ここでは、複数の実視点のうちn番目の実視点の入力画像データをIn、背景画像データをBnとする。ｎは、２以上の自然数である。また、被写体による遮蔽を考慮しない背景の変換をTbとする。被写体による遮蔽を考慮した背景の変換をToとする。また、被写体の遮蔽を考慮した被写体の変換をTfとする。ここで、被写体による遮蔽を考慮した背景の変換とは、図５（ｂ）を用いて前述したような変換であり、実視点の画像データから被写体が射影される領域を除去して貼り合せながら、背景の形状に基づいて仮想視点上に画像データに変換する処理である。このとき、実視点の画像データに何が写っているかは問題ではなく、与えられた被写体と背景の形状によって、この変換は定義される。また、被写体による遮蔽を考慮しない背景の変換とは、被写体が射影される領域についても特に何もせずに、実視点の画像データを背景の形状に基づいて仮想視点上に画像データに変換する処理である。また、被写体の遮蔽を考慮した被写体の変換とは、実視点の画像データから、被写体に対応する領域の仮想視点画像データを生成する処理であり、方法はどのようなものでも良い。
図６（ａ）は背景画像データBnに被写体による遮蔽を考慮しない背景の変換Tbを適用した、Tb(Bn)の生成処理を説明するための図である。すなわち、実視点６０１から移動する被写体が存在しない被写体６０５を撮像して取得した背景画像データ６０３に、被写体による遮蔽を考慮しない変換Tbを適用して背景変換画像データ６０７を生成する。
図６（ｂ）は入力画像データInから背景画像データBnを引いた差分画像データIn-Bnに被写体による遮蔽を考慮した背景の変換Toを適用した、To(I n -Bn)の生成処理を説明するための図である。この画像データは影の成分に相当する。すなわち、実視点６０１，６０２から被写体を撮像してメインメモリ上に格納された入力画像データ５０６、５０７から背景画像データ６０３，６０４を引いた差分画像データ６０８、６０９に、被写体による遮蔽を考慮した背景の変換Toを適用する。そして、影変換画像データ６１０が生成される。差分画像データ６０８、６０９には被写体５０１と背景５０３との差分も現れるが、この領域は被写体形状データに基づいて特定し、影変換画像データ６１０には現れないようにする。
図６（ｃ）は入力画像データInに被写体の仮想視点への変換Tfを適用した、Tf(In)の生成処理を説明するための図である。すなわち、実視点６０１，６０２から被写体６１６が撮像されメインメモリ上に格納された入力画像データに、被写体による遮蔽を考慮した被写体の変換Tfを適用して被写体変換画像データ６１５を生成する。
図６（ｄ）は、各変換画像データから仮想視点画像データTb(Bn)+ To(I n -Bn)+Mf・Tf(In)の生成処理を説明するための図である。すなわち、背景変換画像データ６０７、影変換画像データ６１０、被写体変換画像データ６１５を合成することで、仮想視点画像データ６１７を生成する。ここでMfは仮想視点画像データ上の被写体の占める範囲を表す領域データである。
仮想視点画像データの背景領域における不自然な色の変化は、視点間で見えの違う入力画像データを被写体の遮蔽を考慮して貼り合せながら、仮想視点に変換することによって生じる。同一の実視点の入力画像データと背景画像データの差分である差分画像データでは、視点固有の明るさや色偏りが差分を取ることで除去されている。そのため、差分画像データを遮蔽を考慮して貼り合せても、不自然な色の変化は生じにくい。また、背景画像データから生成した仮想視点画像データにも、被写体による遮蔽に由来する貼り合せを行わないため、不自然な色の変化は生じない。したがって、差分画像データを被写体の遮蔽を考慮して仮想視点に変換した画像データと、背景画像データを仮想視点に変換した画像データを足し合わせることで、不自然な色の変化を抑えつつ、影を含む背景領域の仮想視点画像データを生成することができる。これに被写体領域の仮想視点画像データを重畳することで、違和感のない仮想視点画像データを生成する。
＜対応算出部の構成と処理の流れ＞
図７は、対応算出部３０６の構成の一例を示すブロック図である。
対応算出部３０６は、仮想視点距離データ算出部７０１、射影変換部７０２、光線角算出部７０３を有する。
仮想視点距離データ算出部７０１は仮想視点カメラパラメータと形状データに基づき、領域データと距離データを算出する。距離データは仮想視点画像データの各画素に対して被写体または背景までの距離を算出して得られるデータであり、Ｚバッファ法などを用いることで、点群やポリゴンなどの形状データから算出する。また、領域データは仮想視点画像データの各画素に対して、距離データが無限遠でないか、すなわち何らかの被写体または背景が各画素を通る光線上に存在するかを算出して得られるデータである。なお、距離データの算出は明示的な形状データを必ずしも用いる必要はなく、その都度、距離データを算出、取得する構成としてもかまわない。
射影変換部７０２は距離データと実視点カメラパラメータに基づき画素位置データを算出する。画素位置データは仮想視点画像データの各画素に対して、各実視点上の対応する画素位置を格納したデータである。ここで、実視点に対応する仮想視点の画素位置の算出方法について説明する。着目画素(u',v')の距離をd'とする。仮想視点の内部パラメータ行列をA'とし、仮想視点の外部パラメータ行列を[R' T']とする。n番目の実視点の内部パラメータ行列をAnとし、n番目の実視点の外部パラメータ行列を[Rn Tn]とする。n番目の実視点に対応する仮想視点の画素位置(u,v)は式１によって算出される。R'およびRnは回転行列を表す。T'およびTnは並進ベクトルを表す。
Figure 0007080613000001
光線角算出部７０３は、仮想視点カメラパラメータと実視点カメラパラメータに基づき、仮想視点と各実視点の光線のなす角を表す光線角データを算出する。ここでは、各視点の視線方向を撮像装置が設置されている平面上に射影し、正規化したベクトル間の角度を算出することで、仮想視点と各実視点の光線のなす角を求める。この場合、被写体と背景の全画素で光線角データは共通になるが、画素毎の光線の方向に基づいて被写体と背景それぞれに対して算出してもかまわない。また、角度でなく内積など、角度を特定できる他の形態のデータを用いても構わない。
図８は、対応算出部３０６における処理の流れの一例を示すフローチャートである。
ステップＳ８０１では仮想視点距離データ算出部７０１が仮想視点カメラパラメータと形状データに基づき、領域データと距離データを算出する。
ステップＳ８０２では対応算出部３０６が処理対象の視点としてｎ個の実視点の中から１つの実視点を新たに選択する。ｎは、２以上の自然数である。
ステップＳ８０３では射影変換部７０２が距離データと実視点カメラパラメータに基づき画素位置データを算出する。すなわち、選択した実視点（以下、選択実視点と記す）の実視点カメラパラメータに基づき仮想視点の距離データを選択実視点に射影して画素位置データを算出する。
ステップＳ８０４では光線角算出部７０３が選択実視点の実視点カメラパラメータと仮想視点カメラパラメータに基づき、選択実視点と仮想視点の光線のなす角を表す光線角データを算出する。
ステップＳ８０５では対応算出部３０６がｎ個の実視点のうちの全視点を処理したか判定し、全視点を処理していなければステップＳ８０２に戻り、ステップＳ８０２～Ｓ８０５の処理を継続する。全視点を処理していれば対応算出部３０６の処理を終了する。
なお、ここで示した対応算出の手法は一例に過ぎず、他のどの手法を用いても構わない。ポリゴン毎の射影変換として対応を算出しても構わない。また、明示的な画素位置データを生成せずに、仮想視点画像合成部３０８で必要となる度に算出してもかまわない。
＜遮蔽判定部の構成と処理の流れ＞
図９は、遮蔽判定部３０７の構成の一例を示すブロック図である。
遮蔽判定部３０７は、仮想視点距離データ算出部９０１、実視点距離データ算出部９０２、座標変換部９０３、距離比較部９０４を有する。
仮想視点距離データ算出部９０１は仮想視点カメラパラメータ、形状データ、領域データに基づき仮想視点距離データを算出する。形状データと領域データは、被写体に対する遮蔽データ算出の場合、被写体形状データと被写体領域データを用い、背景に対する遮蔽データ算出の場合、背景形状データと背景領域データを用いる。仮想視点距離データの算出は対応算出部３０６の仮想視点距離データ算出部７０１と同様に行う。対応算出部３０６おいて算出した距離データを流用する構成としてもかまわない。なお、仮想視点カメラパラメータおよび形状データに加えて領域データを用いると、仮想視点カメラパラメータおよび形状データを用いた場合と比べて仮想視点距離データの算出範囲が限定され、算出コストが低減できて好ましい。
実視点距離データ算出部９０２は実視点カメラパラメータ、被写体形状データ、領域データ、画素位置データに基づき実視点距離データを算出する。画素位置データと領域データは、被写体に対する遮蔽データ算出の場合、被写体画素位置データと被写体領域データを用い、背景に対する遮蔽データ算出の場合、背景画素位置データと背景領域データを用いる。形状データについては、被写体に対する遮蔽データ算出および背景に対する遮蔽データ算出のいずれの場合も、被写体による遮蔽が問題となるので、被写体形状データのみを用いる。実視点距離データ、各実視点における画素位置データが表す画素位置での距離データであり、仮想視点距離データ算出部９０１と同様に、実視点に対して算出した距離データを画素位置データでリサンプリングするなどして算出する。あるいは各対応画素位置に対して直接、距離データを算出するような構成としても構わない。
座標変換部９０３は実視点カメラパラメータに基づき、仮想視点距離データを実視点距離データの座標系に変換する。着目画素(u',v')の距離をd'とする。仮想視点の内部パラメータ行列をA'とし、仮想視点の外部パラメータ行列を[R' T']とする。複数の実視点のうちn番目の実視点の内部パラメータ行列をAnとし、外部パラメータ行列を[Rn Tn]とする。n番目の実視点に対して変換された距離データdは式2によって算出される。R'およびRnは回転行列を表す。T'およびTnは並進ベクトルを表す。
Figure 0007080613000002
距離比較部９０４は実視点距離データと変換された仮想視点距離データの距離を画素毎に比較し、遮蔽データを生成する。距離比較部９０４は距離の差がある閾値以上であれば遮蔽されていると判定する。
図１０は、遮蔽判定部３０７における処理の流れの一例を示すフローチャートである。
ステップＳ１００１では仮想視点距離データ算出部９０１は仮想視点カメラパラメータ、形状データ、領域データに基づき仮想視点距離データを算出する。
ステップＳ１００２では遮蔽判定部３０７が処理対象の視点としてｎ個の実視点の中から１つの実視点を新たに選択する。ｎは、２以上の自然数である。
ステップＳ１００３では実視点距離データ算出部９０２が選択実視点の実視点カメラパラメータ、被写体形状データ、画素位置データ、被写体領域データに基づき実視点距離データを算出する。すなわち、仮想視点画像の各画素に対応する、選択実視点の実視点距離データを算出する。
ステップＳ１００４では座標変換部９０３は選択実視点の実視点カメラパラメータに基づき、仮想視点距離データを実視点距離データの座標系に変換する。すなわち、仮想視点の距離データを選択実視点に射影して変換された仮想視点距離データを算出する。
ステップＳ１００５では距離比較部９０４が実視点距離データと変換された仮想視点距離データの距離を画素毎に比較し、遮蔽データを生成する。距離比較部９０４は距離の差がある閾値以上であれば遮蔽されていると判定する。
ステップＳ１００６では遮蔽判定部３０７がｎ個の実視点のうちの全視点を処理したか判定し、全視点を処理していなければステップＳ１００２に戻り、ステップＳ１００２～Ｓ１００６の処理を継続する。全視点を処理していれば遮蔽判定部３０７の処理を終了する。
なお、ここで示した遮蔽判定の手法は一例に過ぎず、他のどの手法を用いても構わない。明示的に距離データを生成せずに判定したり、点群毎に判定したりしても構わない。
＜仮想視点画像合成部の構成と処理の流れ＞
図１１は、仮想視点画像合成部３０８の構成の一例を示すブロック図である。
仮想視点画像合成部３０８は、画像変換部１１０１、差分画像生成部１１０２、画像変換部１１０３、画像加算部１１０４、画像変換部１１０５、画像重畳部１１０６を有する。
画像変換部１１０１は背景画素位置データ、背景光線角データ、背景領域データに基づき背景画像データを変換する。すなわち、画像変換部１１０１は、被写体による遮蔽を考慮せず多視点画像を仮想視点から見た画像の画素値を算出する機能を有する。詳細は後述する。
差分画像生成部１１０２は入力画像データと背景画像データから差分画像データを生成する。詳細は後述する。
画像変換部１１０３は背景画素位置データ、背景領域データ、背景遮蔽データに基づき、差分画像データを変換する。すなわち、画像変換部１１０３は、被写体による遮蔽を考慮して仮想視点から多視点画像を見た画像の画素値を算出する機能を有する。詳細は後述する。
画像加算部１１０４は変換された背景画像データに差分画像データを加算し、背景仮想視点画像データを生成する。
画像変換部１１０５は被写体画素位置データ、被写体領域データ、被写体遮蔽データに基づき、入力画像データを変換し、被写体仮想視点画像データを生成する。すなわち、画像変換部１１０５は、被写体による遮蔽を考慮して仮想視点から多視点画像を見た画像の画素値を算出する機能を有する。詳細は後述する。
画像重畳部１１０６は被写体領域データに基づき背景仮想視点画像データに被写体仮想視点画像データを重畳し、仮想視点画像データを生成する。背景仮想視点画像データをGb、被写体仮想視点画像データをGf、背景領域データをMb、被写体領域データをMfとすると、仮想視点画像データはMf・Gf +(1- Mf) ・Mb・Gbにより算出される。
図１２は、仮想視点画像合成部３０８における処理の流れの一例を示すフローチャートである。
ステップＳ１２０１では画像変換部１１０１が背景画素位置データ、背景光線角データ、背景領域データに基づき背景画像データを変換する。すなわち、画像変換部１１０１は、被写体のいない画像から仮想視点から見た画像の画素値である背景画素値を算出する。
ステップＳ１２０２では差分画像生成部１１０２が入力画像データと背景画像データから差分画像データを生成する。すなわち、差分画像生成部１１０２は、被写体のいる多視点画像と被写体のいない多視点画像の差分画像を生成する。
ステップＳ１２０３では画像変換部１１０３が背景画素位置データ、背景光線角データ、背景領域データ、背景遮蔽データに基づき、差分画像データを変換する。すなわち、画像変換部１１０３は、差分画像データから仮想視点から見た差分画素値を算出する。
ステップＳ１２０４では画像加算部１１０４が変換された背景画像データに差分画像データを加算し、背景仮想視点画像データを生成する。すなわち、画像加算部１１０４は、画像変換部１１０３が算出した画素値と画像変換部１１０１が算出した画素値に基づき前記背景仮想視点画像データを合成する。
ステップＳ１２０５では画像変換部１１０５が被写体画素位置データ、被写体光線角データ、被写体領域データ、被写体遮蔽データに基づき、入力画像データを変換し、被写体仮想視点画像データを生成する。すなわち、画像変換部１１０５は、前記被写体のいる前記多視点画像から前記仮想視点から見た被写体画素値を算出する。
ステップＳ１２０６では画像重畳部１１０６が被写体領域データに基づき背景仮想視点画像データに対して被写体仮想視点画像データを重畳し、仮想視点画像データを生成する。
なお、被写体が存在する領域をあらかじめ限定できる場合、差分画像データの画像変換に用いる背景領域データの範囲を限定することで、算出コストを低減するなどしても良い。
＜差分画像生成部の構成と処理の流れ＞
図１３は、差分画像生成部１１０２の構成の一例を示すブロック図である。
差分画像生成部１１０２は、差分算出部１３０１、色補正部１３０２、ノイズ低減部１３０３を有する。
差分算出部１３０１は入力画像データの各画素の画素値から背景画像データの各画素の画素値を引いた差分画像データを算出する。
色補正部１３０２は差分画像データの色補正を行う。色補正は差分画像データにおける差分画素値の彩度を所定の閾値より小さくする処理や、上限を設けてクリッピングする処理などである。差分画像データは影の成分が主であるため、この処理により意図しない色づきなどの発生を抑制することができる。なお、この処理は必ずしも行う必要はない。
ノイズ低減部１３０３は色補正された差分画像データにおける差分画素値にノイズを低減する処理を行う。ノイズ低減処理は平均値フィルタやバイラテラルフィルタなどのフィルタ処理である。差分画像データは影の成分が主であり、高周波成分が少ないため、この処理により効果的にノイズのみを低減することができる。なお、この処理は必ずしも行う必要はない。
図１４は、差分画像生成部１１０２における処理の流れの一例を示すフローチャートである。
ステップＳ１４０１では差分画像生成部１１０２が処理対象の視点としてｎ個の実視点の中から１つの実視点を新たに選択する。ｎは、２以上の自然数である。
ステップＳ１４０２では差分算出部１３０１は入力画像データの各画素の画素値から背景画像データの各画素の画素値を引いた差分画像データを算出する。
ステップＳ１４０３では色補正部１３０２は差分画像データの色補正を行う。
ステップＳ１４０４ではノイズ低減部１３０３は色補正された差分画像データにノイズ低減処理を行う。
ステップＳ１４０５では差分画像生成部１１０２がｎ個の実視点のうちの全視点を処理したか判定し、全視点を処理していなければステップＳ１４０１に戻り、ステップＳ１４０１～Ｓ１４０５の処理を継続する。全視点を処理していれば差分画像生成部１１０２の処理を終了する。
＜画像変換部の構成と処理の流れ＞
図１５は、画像変換部１１０３の構成の一例を示すブロック図である。
画像変換部１１０３は、視点選択部１５０１、リサンプリング部１５０２、ブレンディング部１５０３を有する。
視点選択部１５０１は画素位置データ、光線角データ、領域データ、遮蔽データに基づき、画像データの各画素に対して、画素値の算出に用いる視点を選択する。視点選択部１５０１は領域データにおいて処理対象となっている画素についてのみ処理を行う。視点選択においては遮蔽データにおいて可視となっており、画素位置データにおいても対応画素位置が画像データ内になっている候補の中で、光線角が正、負それぞれで最小の視点を選択する。
リサンプリング部１５０２は画素位置データ、領域データに基づき、選択された視点の画像データをリサンプリングして画素値を算出する。リサンプリングは最近傍や線形補間などどのような方法を用いてもかまわない。すなわち、リサンプリング部１５０２は、仮想視点から見た距離情報に基づき多視点画像への対応を算出し、前記対応に基づき前記多視点画像をサンプリングする機能を有する。
ブレンディング部１５０３はリサンプリングされた画素値をブレンディングして変換画像データを生成する。選択した２視点の光線角をθ0、θ1、リサンプリングされた画素値をI0、I1とするならば、ブレンディングされた画素値は(I0・|θ1 |+ I1・|θ0|) / (|θ0 |+|θ1 |)によって算出される。なお、ブレンディングは他の式に基づいて算出しても構わない。
図１６は、画像変換部１１０３における処理の流れの一例を示すフローチャートである。
ステップＳ１６０１では画像変換部１１０３が処理対象の画素を新たに選択する。
ステップＳ１６０２では視点選択部１５０１は領域データに基づき、ステップＳ１６０１で選択した画素が処理領域内か判定する。処理領域内であればステップＳ１６０３に進み、処理領域外であればステップＳ１６０６に進む。
ステップＳ１６０３では視点選択部１５０１は遮蔽データ、画素位置データ、光線角データに基づき、画像データの各画素に対して、画素値の算出に用いる視点を選択する。
ステップＳ１６０４ではリサンプリング部１５０２が画素位置データ、領域データに基づき、選択された視点の画像データをリサンプリングして画素値を算出する。ステップＳ１６０２～１６０４から、画像変換部１１０３は、仮想視点から見た距離情報と多視点画像の視点から見た距離情報との整合性を示す遮蔽データに基づき遮蔽と判定すると、リサンプリングを行わないことになる。
ステップＳ１６０５ではブレンディング部１５０３がリサンプリングされた画素値をブレンディングして変換画像データを生成する。
ステップＳ１６０６では視点選択部１５０１が全画素を処理したか判定し、処理していなければステップＳ１６０１に戻りステップＳ１６０１～Ｓ１６０６の処理を継続する。全画素を処理していれば画像変換部１１０３の処理を終了する。
なお、ここで示した画像変換の方法は一例に過ぎず、他のどの手法を用いても構わない。例えば、光線角を考慮せずに遮蔽されていない全視点の画像データをリサンプリングし平均することで画素値を算出してもかまわない。また、３つ以上の視点を用いて、光線角に基づくブレンディングを行ってもかまわない。また、遮蔽領域や画像端からの距離に基づくブレンディングを行ってもかまわない。また、画像変換部１１０５による被写体仮想視点画像データの生成は、被写体の仮想視点画像を生成する手法ならば、どのような手法を用いても構わない。例えば、ビルボード法など、被写体形状を用いない手法を用いても良い。
また、本実施形態では入力画像データと背景画像データの差を算出することで差分画像データを生成し、差分画像データと背景画像データを仮想視点に変換した後に和を算出することで、背景仮想視点画像データを生成したが、必ずしも差と和を用いる必要はない。例えば、入力画像データと背景画像データの差を算出する代わりに比を算出し、仮想視点に変換した後に比を乗じるものとしても良い。また、差の絶対値に指数関数などを適用し、仮想視点に変換した後に逆変換を適用しても良い。
ここでは画像変換部１１０３の処理について説明したが、画像変換部１１０５についても同様である。また、遮蔽データを用いない画像変換部１１０１についても、遮蔽が無いものとして同様に処理を行えばよい。
以上が本実施形態の画像処理装置１０２による仮想視点画像の生成の際の処理内容である。仮想視点画像合成部３０８は被写体のいる多視点画像、被写体のいない多視点画像、これらの差分画像から遮蔽を考慮して算出した画素値と、遮蔽を考慮せず算出した画素値との和となるよう仮想視点画像を合成する。そのため、被写体による遮蔽領域に起因する視覚的な違和感を低減した仮想視点画像を生成することができる。
［実施形態２］
本実施形態では、仮想視点画像合成部３０８が実施形態１とは異なる順序で処理を行う例を示す。図１７は、実施形態２の仮想視点画像合成部３０８の構成の一例を示すブロック図である。
仮想視点画像合成部３０８は、画像変換部１７０１、差分画像生成部１７０２、画像変換部１７０３、画像加算部１７０４、画像変換部１１０５、画像重畳部１１０６を有する。
本実施形態では、実施形態１と異なり、画像変換部１７０１が入力画像データと背景画像データをそれぞれ変換した後に、差分画像生成部１７０２が変換された差分画像データを生成する。
画像変換部１７０１は、変換された画像データに加えて、仮想視点画像データの各画素に対して、遮蔽により選択視点が変化したかを表す情報を格納した、遮蔽領域データを算出する。すなわち、遮蔽領域データは、仮想視点画像データの各画素に対して、着目画素から見えている背景上の点が実視点から見えていないかを表す遮蔽データに関し、仮想視点画像の全画素に対応したデータである。
画像変換部１７０１と画像変換部１７０３は、遮蔽領域データに基づき、遮蔽の影響があった領域についてのみ、背景画像データの変換を行う。
画像加算部１７０４は画像変換部１７０１が変換した入力画像データに対して、遮蔽の影響があった領域についてのみ、画像変換部１７０３と差分画像生成部１７０２の出力画像データの和に置き換える処理を行う。その他の構成は、実施形態１と同様である。
図１８は、実施形態２の仮想視点画像合成部３０８における処理の流れの一例を示すフローチャートである。
ステップＳ１８０１では画像変換部１７０１が背景領域データ、背景光線角データ、背景遮蔽データに基づき、遮蔽領域データを算出する。
ステップＳ１８０２では画像変換部１７０１が背景画素位置データ、背景光線角データ、背景領域データ、背景遮蔽データ、 遮蔽領域データに基づき背景画像データを変換する。
ステップＳ１８０３では画像変換部１７０１が背景画素位置データ、背景光線角データ、背景領域データ、背景遮蔽データ、 遮蔽領域データに基づき入力画像データを変換する。
ステップＳ１８０４では差分画像生成部１７０２が遮蔽領域データに基づき変換された入力画像データと背景画像データから差分画像データを生成する。
ステップＳ１８０５では画像変換部１７０３が背景画素位置データ、背景光線角データ、背景領域データ、遮蔽領域データに基づき背景画像データを変換する。
ステップＳ１８０６では画像加算部１７０４が遮蔽領域データに基づき変換された差分画像データに背景画像データを加算する。
次に、被写体対応データの各データと被写体遮蔽データに基づき入力画像データを変換して被写体仮想視点画像データを生成する（ステップＳ１２０５）。そして、被写体領域データに基づき背景仮想視点画像データに対して被写体仮想視点画像データを重畳し、仮想視点画像データを生成する（ステップＳ１２０６）。

以上が本実施形態の仮想視点画像合成部３０８による仮想視点画像データ生成の際の処理内容である。遮蔽領域データに基づき遮蔽の影響があった領域についてのみ、画像変換部１７０３と差分画像生成部１７０２の出力画像の和に置き換える場合でも、被写体による遮蔽領域に起因する視覚的な違和感を低減した仮想視点画像を生成することができる。
なお、本実施形態では算出コストの低減のために、遮蔽領域データに基づく処理範囲の限定を行ったが、この処理を行わずに、全領域で遮蔽による影響があるとみなして画像の変換を行ってもかまわない。また、仮想視点画像上の画素毎に順次処理を行う構成としても構わない。
また、本実施形態では、遮蔽領域を特定して、遮蔽領域に起因する視覚的な違和感を低減した仮想視点画像を生成したが、上述した画像処理が適用可能な領域は遮蔽領域に限定されない。上述した実施形態で説明した画像処理は、例えば、仮想視点画像において、複数の撮像装置により撮影された画像をテクスチャマッピングに用いる領域を特定し、その領域に対して行われてもよい。
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
１０１ 撮像装置
１０２ 画像処理装置
１１０１ 画像変換部
１１０２ 差分画像生成部
１１０３ 画像変換部
１１０４ 画像加算部
１１０５ 画像変換部
１１０６ 画像重畳部
１３０１ 差分算出部
１３０２ 色補正部
１３０３ ノイズ低減部

Claims (15)

  1. 第一の撮影対象を複数の視点からの撮影により取得された複数の第一の入力画像データと、前記第一の撮影対象を前記複数の視点からの撮影により取得された複数の第二の入力画像データとに基づいて、仮想視点からの見えを表す仮想視点画像データを生成する画像処理装置であって、
    前記複数の第一の入力画像データに基づいて、前記仮想視点に対応する第一仮想視点画像の第一の画素値を取得する第一の取得手段と、
    前記第二の入力画像データを取得するための撮影において前記仮想視点画像データの画素に対応する前記第一の撮影対象上の領域が撮影されたか否かを表す可視情報と、前記複数の第一の入力画像データと、前記複数の第二の入力画像データとに基づいて、前記仮想視点に対応する第二仮想視点画像の第二の画素値であって、前記複数の第一の画像データと前記複数の第二の画像データの差異に基づく第二の画素値を取得する第二の取得手段と、
    前記第一の画素値と前記第二の画素値とに基づいて、前記仮想視点画像データを生成する画像生成手段と、
    を有することを特徴とする画像処理装置。
  2. 前記画像生成手段は、前記第一の画素値に前記第二の画素値が表す前記差異を反映することで前記仮想視点画像データの画素の画素値を取得することを特徴とする請求項１に記載の画像処理装置。
  3. 前記第一の入力画像データと前記第二の入力画像データの差異を表す差異データを取得する差異取得手段をさらに有し、
    前記第二の取得手段は、前記可視情報と前記差異データに基づいて、前記第二の画素値を取得することを特徴とする請求項１に記載の画像処理装置。
  4. 前記可視情報と前記複数の第一の入力画像データとに基づく第三の画素値と、前記可視情報と前記複数の第二の入力画像データとに基づく第四の画素値とを用いて、前記第一の入力画像データと前記第二の入力画像データの差異を表す差異データを取得する差異取得手段をさらに有し、
    前記第二の画素値は、前記差異データが示す画素値であることを特徴とする請求項１に記載の画像処理装置。
  5. 前記差異取得手段が２つの画素値の差分を取得することで前記差異データを取得し、
    前記画像生成手段が前記第一の画素値と前記第二の画素値の和を取得することで前記仮想視点画像データの各画素の画素値を生成することを特徴とする請求項３または４に記載の画像処理装置。
  6. 前記差異取得手段は、２つの画素値の比に基づいて、前記差異データを取得し、
    前記画像生成手段は、前記第一の画素値と前記第二の画素値の積に基づいて、前記仮想視点画像データが示す画像の各画素の画素値を生成することを特徴とする請求項３または４に記載の画像処理装置。
  7. 前記第二の画素値の彩度を小さくする補正手段をさらに有することを特徴とする請求項１から６の何れか一項に記載の画像処理装置。
  8. 前記第二の画素値のノイズを低減する低減手段をさらに有することを特徴とする請求項１から７の何れか一項に記載の画像処理装置。
  9. 前記第一の取得手段と前記第二の取得手段は、
    前記仮想視点からの前記第一の撮影対象までの距離情報に基づいて、前記仮想視点画像データの各画素と前記複数の視点との対応関係を取得し、
    前記対応関係に基づいて、前記仮想視点画像データの画素に対応する画素値を取得することを特徴とする請求項１から８の何れか一項に記載の画像処理装置。
  10. 前記第二の取得手段は、
    前記可視情報において前記領域を撮影した視点の画素値の寄与を、前記領域を撮影していない視点の画素値の寄与より大きくすることを特徴とする請求項１から９の何れか一項に記載の画像処理装置。
  11. 前記仮想視点から前記第一の撮影対象までの距離情報と、前記複数の視点から前記第一の撮影対象とは異なる第二の撮影対象までの距離情報との整合性に基づいて、前記可視情報を取得する可視情報取得手段をさらに有することを特徴とする請求項１から１０の何れか一項に記載の画像処理装置。
  12. 前記第二の取得手段は、
    前記可視情報において前記領域が前記複数の視点のいずれかにおいて撮影されたことを示す場合、当該領域に対応する前記仮想視点画像データの画素に対してのみ前記第二の画素値を取得することを特徴とする請求項１から１１の何れか一項に記載の画像処理装置。
  13. 前記第二の入力画像データから前記第一の撮影対象とは異なる第二の撮影対象を前記仮想視点から撮影したとした場合の被写体仮想視点画像データを生成する被写体画像生成手段と、
    前記仮想視点画像データに前記被写体仮想視点画像データを重畳する被写体重畳手段をさらに有することを特徴とする請求項１から１２の何れか一項に記載の画像処理装置。
  14. 第一の撮影対象を複数の視点からの撮影により取得された複数の第一の入力画像データと、前記第一の撮影対象を前記複数の視点からの撮影により取得された複数の第二の入力画像データとに基づいて、仮想視点からの見えを表す仮想視点画像データを生成する画像処理方法であって、
    前記複数の第一の入力画像データに基づいて、前記仮想視点に対応する第一仮想視点画像の第一の画素値を取得する第一の取得工程と、
    前記第二の入力画像データを取得するための撮影において前記仮想視点画像データの画素に対応する前記第一の撮影対象上の領域が撮影されたか否かを表す可視情報と、前記複数の第一の入力画像データと、前記複数の第二の入力画像データとに基づいて、前記仮想視点に対応する第二仮想視点画像の第二の画素値であって、前記複数の第一の画像データと前記複数の第二の画像データの差異に基づく第二の画素値を取得する第二の取得工程と、
    前記第一の画素値と前記第二の画素値とに基づいて、前記仮想視点画像データを生成する画像生成工程と、
    を有することを特徴とする画像処理方法。
  15. コンピュータを請求項１から１３の何れか一項に記載の画像処理装置として機能させることを特徴とするプログラム。
JP2017186771A 2017-09-27 2017-09-27 画像処理装置、画像処理方法およびプログラム Active JP7080613B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017186771A JP7080613B2 (ja) 2017-09-27 2017-09-27 画像処理装置、画像処理方法およびプログラム
US16/132,953 US10728513B2 (en) 2017-09-27 2018-09-17 Image processing apparatus, image processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017186771A JP7080613B2 (ja) 2017-09-27 2017-09-27 画像処理装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2019061558A JP2019061558A (ja) 2019-04-18
JP7080613B2 true JP7080613B2 (ja) 2022-06-06

Family

ID=65808555

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017186771A Active JP7080613B2 (ja) 2017-09-27 2017-09-27 画像処理装置、画像処理方法およびプログラム

Country Status (2)

Country Link
US (1) US10728513B2 (ja)
JP (1) JP7080613B2 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018147329A1 (ja) * 2017-02-10 2018-08-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
JP7003994B2 (ja) * 2017-08-08 2022-01-21 ソニーグループ株式会社 画像処理装置および方法
US11544895B2 (en) * 2018-09-26 2023-01-03 Coherent Logix, Inc. Surround view generation
JP2020134973A (ja) * 2019-02-12 2020-08-31 キヤノン株式会社 素材生成装置、画像生成装置および画像処理装置
JP7479793B2 (ja) 2019-04-11 2024-05-09 キヤノン株式会社 画像処理装置、仮想視点映像を生成するシステム、画像処理装置の制御方法及びプログラム
USD959477S1 (en) 2019-12-20 2022-08-02 Sap Se Display system or portion thereof with a virtual three-dimensional animated graphical user interface
USD959476S1 (en) 2019-12-20 2022-08-02 Sap Se Display system or portion thereof with a virtual three-dimensional animated graphical user interface
US11205296B2 (en) * 2019-12-20 2021-12-21 Sap Se 3D data exploration using interactive cuboids
USD959447S1 (en) 2019-12-20 2022-08-02 Sap Se Display system or portion thereof with a virtual three-dimensional animated graphical user interface
CN115004237A (zh) * 2020-01-23 2022-09-02 索尼集团公司 信息处理装置、信息处理方法以及程序
JP7427468B2 (ja) 2020-02-18 2024-02-05 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP7451291B2 (ja) 2020-05-14 2024-03-18 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
KR20220003376A (ko) * 2020-07-01 2022-01-10 삼성전자주식회사 이미지 처리 방법 및 장치
JP2022067171A (ja) * 2020-10-20 2022-05-06 キヤノン株式会社 生成装置、生成方法、及び、プログラム
US11721064B1 (en) 2020-12-11 2023-08-08 Meta Platforms Technologies, Llc Adaptive rate shading using texture atlas
US11544894B2 (en) * 2021-02-26 2023-01-03 Meta Platforms Technologies, Llc Latency-resilient cloud rendering
US11676324B2 (en) 2021-03-30 2023-06-13 Meta Platforms Technologies, Llc Cloud rendering of texture map
JP2022182119A (ja) * 2021-05-27 2022-12-08 キヤノン株式会社 画像処理装置およびその制御方法、プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005269010A (ja) 2004-03-17 2005-09-29 Olympus Corp 画像生成装置、画像生成プログラム、及び画像生成方法
WO2016104504A1 (ja) 2014-12-25 2016-06-30 株式会社デンソー 画像処理システム及び画像処理装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3960092B2 (ja) * 2001-07-12 2007-08-15 日産自動車株式会社 車両用画像処理装置
WO2005088970A1 (ja) * 2004-03-11 2005-09-22 Olympus Corporation 画像生成装置、画像生成方法、および画像生成プログラム
JP5011224B2 (ja) 2008-07-09 2012-08-29 日本放送協会 任意視点映像生成装置及び任意視点映像生成プログラム
JP5675260B2 (ja) * 2010-10-15 2015-02-25 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、及び、画像処理方法
WO2015194501A1 (ja) * 2014-06-20 2015-12-23 クラリオン株式会社 映像合成システムとそのための映像合成装置及び映像合成方法
US9465994B1 (en) * 2015-02-23 2016-10-11 Amazon Technologies, Inc. Predicting performance and success of large-scale vision algorithms
JP6477444B2 (ja) * 2015-11-25 2019-03-06 株式会社デンソー 表示制御装置及び表示制御プログラム
US10491810B2 (en) * 2016-02-29 2019-11-26 Nokia Technologies Oy Adaptive control of image capture parameters in virtual reality cameras
JP2018032982A (ja) 2016-08-24 2018-03-01 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
EP3563347A4 (en) * 2016-12-27 2020-06-24 Gerard Dirk Smits SYSTEMS AND METHODS FOR MACHINE PERCEPTION
US10789764B2 (en) * 2017-05-31 2020-09-29 Live Cgi, Inc. Systems and associated methods for creating a viewing experience

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005269010A (ja) 2004-03-17 2005-09-29 Olympus Corp 画像生成装置、画像生成プログラム、及び画像生成方法
WO2016104504A1 (ja) 2014-12-25 2016-06-30 株式会社デンソー 画像処理システム及び画像処理装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Norishige Fukushima, Toshiaki Fujii, Yutaka Ishibashi, Tomohiro Yendo, Masayuki Tanimoto，Real-time free viewpoint image rendering by using fast multi-pass dynamic programming，2010 3DTV-Conference: The True Vision - Capture, Transmission and Display of 3D Video，米国，IEEE，2010年06月07日，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5506337
動物体抽出を用いた自由視点画像合成，電子情報通信学会技術研究報告 Vol.110 No.324，2010年11月25日

Also Published As

Publication number Publication date
US10728513B2 (en) 2020-07-28
US20190098278A1 (en) 2019-03-28
JP2019061558A (ja) 2019-04-18

Similar Documents

Publication Publication Date Title
JP7080613B2 (ja) 画像処理装置、画像処理方法およびプログラム
US20240106971A1 (en) Method and system for generating at least one image of a real environment
JP5011168B2 (ja) 仮想視点画像生成方法、仮想視点画像生成装置、仮想視点画像生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
KR102125293B1 (ko) 생성 장치, 생성 방법, 및 기억 매체
KR102581134B1 (ko) 광 강도 이미지를 생성하기 위한 장치 및 방법
KR101181199B1 (ko) 배경 지형 장면의 입체 이미지 생성 방법, 시스템 및 이를 위한 기록매체
JP2015513833A (ja) ビデオ会議における眼差し補正のための画像処理のための方法およびシステム
KR102067823B1 (ko) 비디오 영상기반 2d/3d ar 실감체험 방법 및 장치
JP5225313B2 (ja) 画像生成装置、画像生成方法、及びプログラム
WO2018052100A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP2004234350A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP7563393B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP3971691B2 (ja) 仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体
JP2008217593A (ja) 被写体領域抽出装置及び被写体領域抽出プログラム
JP4464773B2 (ja) ３次元モデル表示装置及び３次元モデル表示プログラム
JP6974978B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5373931B2 (ja) 仮想視点画像生成方法，仮想視点画像生成装置および仮想視点画像生成プログラム
US20220084300A1 (en) Image processing apparatus and image processing method
JP4370672B2 (ja) 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体
CN111033575A (zh) 图像处理装置、显示装置、图像发送装置、图像处理方法、控制程序以及记录介质
JP2005063041A (ja) ３次元モデリング装置、方法、及びプログラム
JP7352374B2 (ja) 仮想視点変換装置及びプログラム
CN109961395B (zh) 深度图像的生成及显示方法、装置、系统、可读介质
CA3155612A1 (en) Method and system for providing at least a portion of content having six degrees of freedom motion
JPH10208074A (ja) 画像生成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200917

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210916

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220525

R151 Written notification of patent or utility model registration

Ref document number: 7080613

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151