JP6978838B2 - Image processing device - Google Patents
Image processing device Download PDFInfo
- Publication number
- JP6978838B2 JP6978838B2 JP2017016638A JP2017016638A JP6978838B2 JP 6978838 B2 JP6978838 B2 JP 6978838B2 JP 2017016638 A JP2017016638 A JP 2017016638A JP 2017016638 A JP2017016638 A JP 2017016638A JP 6978838 B2 JP6978838 B2 JP 6978838B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- image data
- generated
- dimensional image
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 claims 1
- 238000003672 processing method Methods 0.000 claims 1
- 238000000034 method Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 8
- 238000009877 rendering Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
Images
Landscapes
- Image Generation (AREA)
Description
本発明は、3次元モデリングデータに基づく画像処理に関する。 The present invention relates to image processing based on 3D modeling data.
3DCADやレーザスキャン等によって、仮想物体または現実物体の3次元形状を表すモデリングデータを生成する技術がある(いわゆるモデリング)。生成されたモデリングデータと視点の情報や光源の情報等に基づいて描画処理(いわゆる3Dレンダリング)を行うことで、様々な視点からみた当該物体の画像を画面に表示することができる。 There is a technique for generating modeling data representing a three-dimensional shape of a virtual object or a real object by 3D CAD, laser scanning, or the like (so-called modeling). By performing drawing processing (so-called 3D rendering) based on the generated modeling data, viewpoint information, light source information, and the like, images of the object viewed from various viewpoints can be displayed on the screen.
例えば、コンテンツ作成者が作成したモデリングデータに基づく物体を表す画像コンテンツをインターネット上で公開する場合、一般的に、コンテンツ作成者のサーバがユーザ端末から視点の指定を受付け、当該視点に対応する2次元画像をユーザに送信するプロセスが実行される。こうすることで、コンテンツ作成者は、モデリングデータ自体をユーザに引渡すことなく、当該画像コンテンツをユーザに楽しんでもらえることができる。
しかし、悪意のあるユーザによって、取得した複数の2次元画像データに対して補間処理などの画像処理を施すことによって、元のモデリングデータの復元が試みられる虞がある。モデリングデータが勝手に復元されてしまうと、著作物であるモデリングデータの保護を図ることが難しい。
モデリングデータの復元を阻止する一つの対策として、ユーザ端末に提供するデータを暗号化するなどして、ユーザが2次元データを加工・編集できないようにすることが考えられる。しかし、暗号化処理に起因した演算量の増加や通信リソースの増大という問題が生じる。
また、たとえ暗号化等の秘匿処理を行ったとしても、最終的にはユーザ端末の画面上に複数の画像が表示されるという事実は変えようがないので、例えばユーザ端末において画面をキャプチャして複数の画像に対応する2Dデータを生成し、この2次元画像データに基づいて元のモデリングデータの復元を試みる可能性は排除できない。
本発明は、複数の2次元画像データに基づくモデリングデータの復元処理を阻害することを目的とする。
For example, when publishing image content representing an object based on modeling data created by a content creator on the Internet, the content creator's server generally accepts a viewpoint designation from a user terminal and corresponds to the viewpoint. The process of sending the 3D image to the user is executed. By doing so, the content creator can enjoy the image content to the user without passing the modeling data itself to the user.
However, there is a possibility that a malicious user may attempt to restore the original modeling data by performing image processing such as interpolation processing on the acquired two-dimensional image data. If the modeling data is restored without permission, it is difficult to protect the modeling data that is a copyrighted work.
As one measure to prevent the restoration of the modeling data, it is conceivable to prevent the user from processing / editing the two-dimensional data by encrypting the data provided to the user terminal. However, there are problems such as an increase in the amount of calculation and an increase in communication resources due to the encryption process.
In addition, even if concealment processing such as encryption is performed, the fact that multiple images are finally displayed on the screen of the user terminal cannot be changed, so for example, the screen is captured on the user terminal. The possibility of generating 2D data corresponding to a plurality of images and attempting to restore the original modeling data based on the two-dimensional image data cannot be excluded.
An object of the present invention is to inhibit the restoration processing of modeling data based on a plurality of two-dimensional image data.
本発明は、一の態様において、物体が位置する空間の照明環境を設定する設定手段と、前記物体の3次元形状を表すモデリングデータに基づいて、前記照明環境の下、一の方向からみた前記物体を表す2次元画像データを複数生成する生成手段と、前記生成手段にて生成される複数の2次元画像データに含まれる第1の画像データと第2の画像データとに対して異なる照明環境が適用されるように、前記設定手段を制御する制御手段と、前記生成手段にて生成された複数の2次元画像データの全部または一部を同時にもしくは関連付けて出力または該生成された複数の2次元画像データのうちユーザが選択した2次元画像データを出力する出力手段とを有する画像処理装置を提供する。 In one embodiment, the present invention is based on a setting means for setting the lighting environment of the space in which the object is located and modeling data representing the three-dimensional shape of the object, and is viewed from one direction under the lighting environment. A generation means that generates a plurality of two-dimensional image data representing an object, and a different lighting environment for the first image data and the second image data included in the plurality of two-dimensional image data generated by the generation means. Is applied, and the control means for controlling the setting means and the plurality of two-dimensional image data generated by the generation means are output or generated simultaneously or in association with all or part of the plurality of two-dimensional image data. Provided is an image processing apparatus having an output means for outputting two-dimensional image data selected by a user among the three-dimensional image data.
本発明によれば、複数の2次元画像データに基づくモデリングデータの復元処理が阻害される。 According to the present invention, the restoration process of modeling data based on a plurality of two-dimensional image data is hindered.
<実施例>
図1は画像処理システム10の概要を示す。画像処理システム10は、画像処理サーバ100とユーザ端末200とを含む。画像処理サーバ100は例えば物体コンテンツの公開およびユーザ端末200への提供を行う事業者によって管理されるサーバである。ユーザ端末200は例えば汎用のパーソナルコンピュータである。300は例えばインターネットや専用線である。画像処理サーバ100およびユーザ端末200は、300を介して接続される
<Example>
FIG. 1 shows an outline of the
図2は画像処理サーバ100の機能を表す。画像処理サーバ100は、制御部110と、通信部120と、記憶部130と、表示部140と、部位指定部150含む。通信部120は、所定の通信規格に従って、ユーザ端末200との間でデータを送受信するための通信インタフェースとして実装され、送信部121と受信部122とを含む。
FIG. 2 shows the function of the
受信部122は、物体の3次元形状を表すモデリングデータ(以下、「3Dデータ」という)を取得する。3Dデータとは、現実の物体または仮想の物体の3次元形状を示すデータであって、例えば、STL、OBJ、PLY、OFF、3DS、COLLADA、PTX、V3D、PTS、APTS、XYZ、GTS、TRI、ASC、X3D、X3DV、VRML、ALN、DXF、GTS、U3D、IDTF、X3D等の形式のデータである。3Dデータは、3DCGソフトや3DCADソフト等で作成された仮想的な物体を表すデータであってもよいし、現実の物体を3Dスキャニングして得られたデータであってもよい。また、3Dデータ共有サイト等から入手したデータであってもよいし、その生成方法や取得方法は問わない。
The
この要求には、さらに、ユーザ端末200のユーザによって指定された、物体の一部の指定が含まれてもよい。例えば、物体が人形であり、「顔」、「目」、「胴体」といった物体の一部分を指定する情報が含まれる。要するに、物体が占める3次元空間の一部の領域(座標の集合)である。例えば、ユーザが特定の部位を重点的に確認したいと考えた場合に、当該部位を指定することができる。
The request may further include the designation of a portion of the object specified by the user of the
取得した3Dデータは記憶部130に記憶され、ユーザ端末200から受付けた要求に応じて読み出される。この要求には、少なくとも表示対象の物体を指定する情報が含まれ、加えて、当該物体の方向(視点)に関する情報が含まれてもよい。方向は、例えば、物体が置かれた仮想空間上のある点を原点とする3次元空間上の位置(直交座標や極座標)として表わされる。あるいは、方向は、正面、背面、右側面、左側面という方向の範囲として定義されてもよい。
The acquired 3D data is stored in the
送信部121は、データ生成部112にて生成された一の3Dデータに対応する複数の2次元画像データ(以下、2Dデータという)を出力する。2Dデータは、例えば、JPEG、BMP、PDF、TIF等の形式を有する。複数の2Dデータは、全部または一部を同時に出力してもよい。また、複数の2Dデータは、全部または一部を同時に出力する場合、ユーザから受けた要求に応じて全部または一部を出力してもよい。また、同時に出力には、出力タイミングが同じ場合の他、複数の2Dデータが特定の物体に関するデータであるものとして全部または一部を関連付けて送信されるものであれば、出力のタイミングが異なる場合も含まれる。
The
記憶部130は、ハードディスク、半導体メモリ、その等の記憶装置であって、制御部110にて実行されるプログラムおよび当該プログラムによって読み出される3Dデータを記憶する。
The
部位指定部150は、キーボード、タッチパネル、マウス、スタイラス等の画像処理サーバ100の管理者によって操作される入力デバイス、または記憶部130に記憶される3Dデータの著作者等のコンテンツの改変や配布を管理するユーザが有する者の指示を受付けるためのデバイスないし当該著作者等の有する端末(図示せず)から指示を受付けるための通信インタフェースとして実装される。
部位指定部150は、物体の部位の指定を画像処理サーバ100の管理者から受付ける。部位とは、例えば物体が人形である場合は、人形を構成する顔、腕、脚、手、目、鼻、口といったパーツであり、物体が多角形である場合は所定の一つの面である。これに限らず、本実施例における部位には、機能的または構造的一体性を有する必要はなく、一般的な名称が存在する必要もなく、広く、物体表面の任意の領域として定義されるものを含む。
The
The
特定の部位を指定する目的は、例えば、当該部位の形状や色彩などを他の部位に比べて意図的に秘匿ないし暈したいなど、部位によって3Dデータの復元可能性を異ならせるためである。例えば、画像処理サーバの管理者や3Dデータの著作者は、当該部位は物体の部位のうち特にその部位については3次元形状の復元を防止する優先度が高いと考えた場合、あるいは、物体の全体形状の概要はユーザに公開したいが、特定の部位の細部に形状等ついては高い精度では開示したくないと考えた場合、そのような部位を指定することができる。この指定は、3Dデータの復元性という観点からだけではなく、2Dデータに基づいて表示される画像を調整する目的で行われてもよい。例えば、指定された部位にはどの方向からみても光があたらないように光源位置を設定すれば、生成された2Dデータに基づいてユーザ端末200にて表示される画像において当該部位の明度が本来の値よりも低い状態となり、ユーザに当該部位の詳細の把握を困難にさせることができる。
The purpose of designating a specific part is to make the recoverability of 3D data different depending on the part, for example, the shape or color of the part is intentionally concealed or obscured as compared with other parts. For example, if the administrator of the image processing server or the author of the 3D data thinks that the part has a high priority to prevent the restoration of the three-dimensional shape, especially for the part of the object, or the part of the object. If you want to disclose the outline of the overall shape to the user, but do not want to disclose the shape etc. in the details of a specific part with high accuracy, you can specify such a part. This designation may be made not only from the viewpoint of the resilience of the 3D data but also for the purpose of adjusting the image displayed based on the 2D data. For example, if the light source position is set so that the designated part is not exposed to light from any direction, the brightness of the part is originally set in the image displayed on the
逆に、部位指定部150は、復元のリスクを相対的に許容できる部位の指定を受付けてもよい。
このように、特定の部位を指定することで、3Dデータの復元可能性や再現性を、みる方向によらずに一様に制御するだけでなく、見る方向や部位によって軽重がつけられる制御することが可能となる。
On the contrary, the
In this way, by designating a specific part, not only the recoverability and reproducibility of 3D data are controlled uniformly regardless of the viewing direction, but also the weight is given depending on the viewing direction and part. Is possible.
表示部140は、管理者に画像処理サーバ100の動作状況等情報等を提示するための液晶ディスプレイ等の表示装置である。
The
画像処理サーバ100は、1以上の、汎用のプロセッサ(CPU等)および/または描画処理プロセッサ(GPU)等の専用プロセッサとして実装され、特徴決定部111と、データ生成部112と、視点設定部113とを含む。
The
特徴決定部111は、3Dデータが表す物体に関する特徴量を取得してデータ生成部112または視点設定部113に出力する。
物体に関する特徴量は、特徴決定部111が、記憶部130から取得した3Dデータに基づいて、各方向についての特徴量を算出し、データ生成部112にて生成された2Dデータの方向に対応する特徴量を、視点設定部113にて生成された各2Dデータに付与してもよい。
あるいは、物体に関する特徴量は、データ生成部112にて生成された2Dデータに基づいて特徴決定部111が算出してもよい。2Dデータに基づいて算出する具体的方法としては、視点設定部113が、所定のアルゴリズムに従って、物体の構造的特徴および色彩(模様)的特徴の少なくともいずれかに基づいて決定する。その他の構造的特徴は、例えば物体表面のテクスチャ(凹凸の程度)や頂点や面の数によって定義される。色彩または模様に関する特徴は、例えば、使用されている色の多様性(バリエーション)として定義される。
The
The feature amount relating to the object corresponds to the direction of the 2D data generated by the
Alternatively, the feature amount related to the object may be calculated by the
図3は特徴量を説明するための図である。人形900は、3Dデータによって表される物体の一例である。
同図(a)は人形900を正面からみた画像、人形900を水平面内(紙面左右方向)で45°回転させた画像(視点が水平面面内で45°回転した位置にある画像)、90°回転させた画像、135°回転させた画像、180°回転させた画像を示す。
FIG. 3 is a diagram for explaining a feature amount.
FIG. (A) is an image of the
同図(b)および(c)は、各角度に対応して計算された特徴量を表すパラメータの例を示す。(b)は2Dデータとしてθ=0°、45°、90°、135°、180°、225°、270°の2Dデータが生成された場合においてそれぞれ角度に応じて算出された特徴量を示す。この例では、正面側のほうが背面側よりも構造的に複雑であり、正面からみた画像が相対的に大きい特徴量を有すると判定されている。図(c)は、3Dデータから直接、特徴量をθの関数として算出した例である。 FIGS. (B) and (c) show examples of parameters representing the feature quantities calculated corresponding to each angle. (B) shows the feature quantities calculated according to the angles when 2D data of θ = 0 °, 45 °, 90 °, 135 °, 180 °, 225 °, and 270 ° are generated as 2D data. .. In this example, the front side is structurally more complicated than the back side, and it is determined that the image viewed from the front has a relatively large feature amount. FIG. (C) is an example of calculating the feature amount as a function of θ directly from the 3D data.
物体に関する特徴量は、3Dデータや2Dデータとは別途独立に、取得されてもよい。例えば、正面側(−45°〜−45°)の範囲の視点の画像は重付けパラメータを+Δw1、背面側(135°〜225°)を―Δw1、両側面側を0と定義する。この特徴量は、ユーザがユーザ端末200に入力し、画像処理サーバ100に送信されてもよい。例えば、人形900の顔が向いている方向が「正面」であると定義され、データ生成部112にて生成された2Dデータで表わされる画像に対して画像解析を行って顔が映っているか否かを判定し、顔が映っている画像は顔が映っていない画像に比べて大きな特徴量を付与してもよい。
The feature amount related to the object may be acquired separately from the 3D data and the 2D data. For example, in the image of the viewpoint in the range of the front side (−45 ° to −45 °), the weighting parameter is defined as + Δw1, the back side (135 ° to 225 °) is defined as −Δw1, and the side surfaces on both sides are defined as 0. This feature amount may be input by the user to the
上述の例では、説明の便宜上、特徴量は1つの回転方向について算出したが、2つの角度パラメータθおよびφで表わされる任意の方向に対応する特徴量を算出することができる。例えば、紙面上下方向の向き(φ方向)に依存する特徴量についても、3Dデータや2Dデータから計算してもよいし、3Dデータや2Dデータとは別途独立に取得してもよい。例えば、同図(a)に示す人形の場合は、一般的に、真上(θ=0°、φ=90°)や真下(θ=0°、φ=―90°)からみた画像を表す2Dデータの特徴量は、正面(θ=0°、φ=0°)からみた画像を表す2Dデータの特徴量よりも小さくなる。 In the above example, for convenience of explanation, the feature amount is calculated for one rotation direction, but the feature amount corresponding to any direction represented by the two angle parameters θ and φ can be calculated. For example, the feature amount depending on the orientation (φ direction) in the vertical direction of the paper may be calculated from the 3D data or the 2D data, or may be acquired separately from the 3D data or the 2D data. For example, in the case of the doll shown in the figure (a), an image viewed from directly above (θ = 0 °, φ = 90 °) or directly below (θ = 0 °, φ = −90 °) is generally represented. The feature amount of the 2D data is smaller than the feature amount of the 2D data representing the image viewed from the front (θ = 0 °, φ = 0 °).
視点設定部113は、生成すべき2Dデータが人形900をどの方向からみたものであるべきかを決定する。換言すると、視点設定部113は、人形900を仮想的に撮影する方向または当該撮影の視点を決定する。
決定された方向を表す情報はデータ生成部112に出力される。例えば、視点設定部113は特徴決定部111から供給される特徴量に基づいて方向を決定してもよい。また、画像処理サーバ100がユーザ端末200から人形900の部位の指定を受付けた場合、視点設定部113は、該指定された部位が1以上の画像に必ず現れるように、上記方向を決定してもよい。
あるいは、特徴量は画像処理サーバ100以外の装置で決定され、画像処理サーバ100に供給されてもよい。
The
Information indicating the determined direction is output to the
Alternatively, the feature amount may be determined by a device other than the
照明設定部115は、照明制御部114の制御の下、物体が位置する空間の照明環境を設定する。具体的には、空間の照明環境を表す照明環境情報を生成してデータ生成部112に供給する。照明環境情報は、少なくとも1つ以上の光源の視点(カメラ)を基準とした位置関係を規定する。位置関係は、物体が存在する仮想空間と原点を共有する3次元座標として定義されてもよいし、カメラを基準とした相対的な3次元位置として定義されてもよい。あるいは、位置関係には方向に関する情報のみ含まれ、カメラまたは物体までの距離に関する情報が含まれなくてもよい。この場合、例えば、物体またはカメラから常に一定の距離だけ離れた位置に光源が配置されるように決定しておくことができる。
The
照明制御部114は、照明設定部115を制御する。具体的には、データ生成部112にて生成される複数の2Dデータに含まれる第1の2Dデータと第2の2Dデータと対して異なる照明環境が適用されるように、照明制御部114を制御する。照明制御部114による照明の制御は、第1の2Dデータと第2の2Dデータと対して異なる照明環境が適用されるように、光源の位置を、所定のアルゴリズムに従って、カメラ位置に応じて一意に決定してもよい。所定のアルゴリズムの内容は、例えば、各2Dデータに適用される光源の位置を、カメラ位置に対してランダムに決定してもよい。
要するに、データ生成部112において視点が異なる複数の2Dデータが同一の照明環境の下で生成されないように照明環境情報が生成される。
なお、照明制御部114は、光源の位置に替えてまたは加えて、仮想的に出射される光の波長特性(光学スぺクトル;色味)、強度、方向、指向性、前記光源の形状(点発光、面発光等)といった光学特性を表すパラメータのうち、少なくともいずれか一つを制御してもよい。
また、部位指定部150から物体の部位の指定が指示された場合に、照明制御部114は、当該部位のコントラストが他の部位よりも低くなるようにデータ生成部112にてシェーディングが実行することを規定する照明環境情報を生成する。
好ましい態様において、照明制御部114は、200において100から提供された複数の2Dデータに基づいて3Dデータを生成した場合に当該部位の再現性が他の部位の再現性よりも低下するように、照明設定部115を制御する。この際、200においてコンピュータによる再現ができるだけ妨げられる一方、個別に2Dデータに基づく画像を視認したユーザができるだけ不自然な印象を受けない程度に照明環境情報が生成されることが好ましい。
The
In short, the lighting environment information is generated so that the
In addition, the
Further, when the
In a preferred embodiment, the
データ生成部112は、1つの3Dデータに基づいて、照明設定部115によって決定された照明環境の下、各々、一の方向からみた人形900を表す2Dデータを複数生成する。具体的には、所定のレンダリングアルゴリズムに従って、照明設定部115から供給される照明環境情報を用いて、視点設定部113から供給された視点の情報に基づいてレンダリング処理を行う。
Based on one 3D data, the
レンダリング処理に際しては、特徴決定部111から供給された特徴量を用いてもよい。特徴量が2Dデータに基づいて生成される場合、まずデータ生成部112にて生成された2Dデータを特徴決定部111に出力し、特徴決定部111にて生成された特徴量を取得してもよい。
In the rendering process, the feature amount supplied from the
データ生成部112は、特徴量に応じて、生成された複数の2Dデータに含まれる1以上の2Dデータの解像度を決定してもよい。特徴に基づく解像度の設定の一例としては、特徴量が小さい2Dデータほど解像度を下げる処理を行う。このように相対的に特徴量が小さい画像(換言すると、その角度からみた物体には特徴があまりない、あるいはユーザにとっての重要性ないし関心度が低いと推定される視点からの画像)については、解像度を相対的に落とすことにより、複数の2Dデータセットに基づいて描画処理を行った場合にユーザに与える違和感の低下を抑えつつ、2Dデータ全体のデータ量を小さくすることができる。解像度は、例えば縦横のピクセル数によって規定される。
生成された2Dデータは、記憶部130または通信部120に供給される。
The
The generated 2D data is supplied to the
図4はユーザ端末200の機能図である。ユーザ端末200は、通信部210と、入力部220と、表示部230と、記憶部240と、画像処理部250とを含む。
FIG. 4 is a functional diagram of the
記憶部240は、ハードディスク、半導体メモリその等の記憶装置であって、画像処理部250にて実行されるプログラムおよび画像処理サーバ100から取得した2Dデータを記憶する。
The
入力部220は、キーボード、タッチパネル、マウス等のユーザ端末200のユーザ(以下、単にユーザという)によって操作される入力デバイスであって、ユーザからの指示を受付ける。この指示には、表示すべき人形900の方向が含まれる。また、この指示には、画像処理サーバ100にて2Dデータを生成する際に用いられる情報が含まれていてもよい。
The
通信部210は所定の通信規格に従って、ユーザ端末200との間でデータを送受信するための通信インタフェースとして実装される。具体的には、入力部220にて入力された、表示部230に表示するために必要な、表示対象の指定および表示対象の方向の指定を含む要求を画像処理サーバ100に送信し、該要求に応じて画像処理サーバ100から送信された2Dデータを受信して画像処理部250に供給する。
The
画像処理部250は、1以上の、汎用のプロセッサ(CPU等)および/または描画処理プロセッサ(GPU)等の専用プロセッサとして実装され、画像処理サーバ100から受信した2Dデータおよび入力部220にて指示された方向に基づいて描画処理を行う。具体的には、記憶部240に記憶されている、1つの3Dデータに対応する複数の2Dデータのうち、入力部220にて指定された方向に対応する1または複数の2Dデータを特定し、必要なエンコード等の画像処理等を行って、描画命令とともに画像処理部250に出力する。
The
表示部230は液晶ディスプレイ等の表示装置であって、画像処理部250からの指令の下、画像を表示する。
The
図5は、3Dデータから2Dデータを生成する処理を説明するための概念図である。人形900は、原点をPとする3次元(XYZ)仮想空間上に配置される。人形900の中心を貫く中心軸CLを設定する。
画像処理サーバ100は、所定の照明環境の下、仮想空間に設定された複数の視点からみた人形900の2次元画像を、生成する。換言すると、仮想空間に設置された仮想的なカメラ(視点に相当;以下、単にカメラという)を用いて、当該仮想空間に設置された仮想的な光源(以下、単に「光源」という)の下で、人形900を「撮影」することに相当する。
FIG. 5 is a conceptual diagram for explaining a process of generating 2D data from 3D data. The
The
同図において、A〜Nはカメラを表す。θはXY平面内の角度、φはXZ平面内の角度である。L1〜L5は、カメラが配置される位置を規定し、φが異なるXY平面である。換言すると、φはカメラの高さ(上下方向の角度)、θはカメラの平面内の角度を表す。なお、人形900の顔が向いている方向(θ=0°)が「正面」であると定義されていると仮定する。なお、正面など、人形900の基準となる方向は、3Dデータの特徴量に基づいて決定されてもよいし、別途画像処理サーバ100やユーザ端末200が指定してもよい。この例では、全てのカメラはPから等距離に配置される。
つまり、生成される複数の2Dデータは、人形900から等距離にあって前記物体に対する方向が異なる位置を視点とする画像を表す。
In the figure, A to N represent cameras. θ is an angle in the XY plane, and φ is an angle in the XZ plane. L1 to L5 define the position where the camera is arranged, and are XY planes having different φ. In other words, φ represents the height of the camera (angle in the vertical direction), and θ represents the angle in the plane of the camera. It is assumed that the direction in which the face of the
That is, the plurality of generated 2D data represent an image whose viewpoint is a position equidistant from the
同図において、LT1およびLT2は光源を表す。この例では、人形900の正面側やや右上方および左上方から光が人形900の方向(具体的には原点Pに向かって)出射されている。
なお、この例では、光源LT1およびLT2はL2上に位置しているが、この配置は例示に過ぎず、光源の位置(距離や方向)をカメラの位置とは独立に設定することが可能である。また、光源の個数も2に限らない。各光源の位置は独立に設定可能であり、例えば各光源の物体までの距離は異なってもよい。また、光源の光学特性も光源ごとに異ならせてもよい。
In the figure, LT1 and LT2 represent a light source. In this example, light is emitted in the direction of the doll 900 (specifically, toward the origin P) from the slightly upper right and upper left of the front side of the
In this example, the light sources LT1 and LT2 are located on L2, but this arrangement is merely an example, and the position (distance and direction) of the light source can be set independently of the position of the camera. be. Further, the number of light sources is not limited to 2. The position of each light source can be set independently, and for example, the distance of each light source to an object may be different. Further, the optical characteristics of the light source may be different for each light source.
同図の通り、カメラは、L3にはA〜Hまでの計6個が配置され、L2には人形900の上方やや斜めの位置にIおよびJが配置され、L1には人形900の頭上付近にKが配置され、L4においては、下方やや斜めの位置に配置され、LおよびMが配置され、L5において足元付近にNが配置された例を示す。この結果、1つの3Dデータにおいて視点位置をA〜Nに設定して得られる2Dデータが計14個生成される。
同図に示すように、この例では、人形900の正面に重点的にカメラが配置されている。より具体的には、θ=−90、φ=0に近い位置においてはカメラが密に配置され、離れた位置(上方、下方、側面、背面)には疎に配置されている。これは、特徴決定部111において特徴量が正面側からみた画像が相対的に大きいと算出され、視点設定部113にて特徴量に基づいてカメラ位置が決定されたためである。
As shown in the figure, a total of 6 cameras from A to H are arranged in L3, I and J are arranged slightly diagonally above the
As shown in the figure, in this example, the camera is mainly arranged in front of the
なお、図5に示す光源およびカメラの配置は一例に過ぎない。カメラや光源の数や位置は、物体(3Dデータ)の特徴、ユーザの好み、生成される2Dデータのデータサイズについての制約などの通信環境、画像処理サーバ100に許容される処理負荷に関する条件など、ハードウェアリソースおよびソフトウェアリソースの少なくともいずれかに関する条件に応じて決定することができる。
The arrangement of the light source and the camera shown in FIG. 5 is only an example. The number and position of cameras and light sources are the characteristics of the object (3D data), the user's preference, the communication environment such as restrictions on the data size of the generated 2D data, and the conditions related to the processing load allowed by the
カメラの数に関し、例えば、カメラの数が少ないほど生成される2Dデータ全体のデータ量は小さくなる一方、ユーザが選択できる視点が少なくなるので、3Dデータの再現性は低下するといえる。逆に、カメラの数が増えるほど、ユーザ端末200のユーザに2Dデータセットに基づいて、補間処理を行うなどして元の3Dデータ(に近似するデータ)を生成されてしまうというリスクが高まる。
Regarding the number of cameras, for example, it can be said that the reproducibility of 3D data is lowered because the amount of data of the entire 2D data generated becomes smaller as the number of cameras becomes smaller, but the viewpoints that can be selected by the user are reduced. On the contrary, as the number of cameras increases, there is a higher risk that the user of the
カメラの位置に関し、物体の特徴部分は、物体によって異なるし、ユーザがどこに着目しているかなどユーザの主観に依存し得る。例えば、物体に「正面」が観念できたとしても、正面から画像が最も重要であるとは限らない。また、物体の全体像を様々な方向から万遍なく確認したいという場合もありうる。このような場合は、視点設定部113は、特徴量を用いることなく、カメラの配置を決定してもよい。一例としては、各レイヤに配置される数を同一に設定する。そして、同一レイヤ上のカメラの間隔が等しくなるように設定する。例えば、レイヤに30個、配置する場合は、θが12°ずつずれた位置に配置され、計150枚分の2Dデータが生成される。
Regarding the position of the camera, the characteristic portion of the object differs depending on the object, and may depend on the user's subjectivity such as where the user is paying attention. For example, even if an object can be thought of as "front", the image from the front is not always the most important. In addition, there may be a case where you want to check the whole image of an object evenly from various directions. In such a case, the
また、各カメラが全て基準点から等距離ある必要もない。例えば、物体表面からの距離がほぼ等距離になるようにカメラ位置を決定してもよい。原点Pの設定の仕方も図5に示した態様に限らない。Pは人形900が占める空間の外に設定されてもよい。
なお、カメラは同一の性能である必要はない。例えば、画角やフォーカスが異なる複数のカメラを配置してもよい。
要するに、1つの3Dデータに基づいて各々一の視点に対応する2Dデータが複数個生成されればよい。
Also, it is not necessary for each camera to be equidistant from the reference point. For example, the camera position may be determined so that the distance from the object surface is substantially equidistant. The method of setting the origin P is not limited to the mode shown in FIG. P may be set outside the space occupied by the
The cameras do not have to have the same performance. For example, a plurality of cameras having different angles of view and focus may be arranged.
In short, it suffices to generate a plurality of 2D data corresponding to each viewpoint based on one 3D data.
図6〜10は、カメラ位置(A〜E)に応じた2Dデータを生成する場合に、各2Dデータの生成に適用される照明環境の例を示す。この例では、照明環境は光源1および光源3によって決定される。具体的には、光源3は、人形900の正面やや下方から人形900を照らす位置に配置され、カメラ位置(撮影方向)が変化しても仮想空間上の位置(換言すると人形900のちの位置関係)は一定である。これに対し光源1は、カメラと共にその位置が変化する。具体的には、光源1は、L3と同一平面内の角度θを有するL2内上の位置に配置される。換言すると、生成される5枚の2Dデータに基づく画像は全てカメラの上方に光源がある環境で「撮影」されることになる。
FIGS. 6 to 10 show an example of a lighting environment applied to the generation of each 2D data when the 2D data corresponding to the camera positions (A to E) are generated. In this example, the lighting environment is determined by light source 1 and light source 3. Specifically, the light source 3 is arranged at a position that illuminates the
一般に、コンピュータによって撮影方向の異なる複数の2Dデータを補完処理等してモデリングデータの復元を試みる場合、2Dデータの生成にあたって用いられてレンダリング処理の内容を推定する必要がある。すなわち、少なくとも照明環境についての何らかの仮定または推定を行う必要がある。例えば、物体に対する光源の位置は固定であるという仮定を採用する。この仮定は、最も合理的であると考えられる。なぜなら、現実世界においては照明環境が変化する(目にする3次元物体は光源が動くと)いうような状況は相当考えにくいので、よりリアルな表現を追求するとすればレンダリング処理において光源は固定されているべきであるからである。そして、該仮定した照明環境に基づいて各2Dデータを画像解析して、用いられた光源の個数や位置を割り出すことを試みる。
光源の個数や位置の推定が正しければ、ある部位について撮影方向の違いによる明度の違い(例えば影ができる大きさや方向の変化)に基づいて、2Dデータには欠けているその部位の立体形状(例えば凹凸の程度)に関する情報を高い精度で復元することができる。
復元に用いる2Dデータの数や光源の個数、形状の複雑度、コンピュータの演算能力等にもよるが、2Dデータが同一位置の光源という条件で生成されたものであった場合は、ある程度の精度で物体の形状を推定することが可能である。
Generally, when attempting to restore modeling data by complementing a plurality of 2D data having different shooting directions by a computer, it is necessary to estimate the content of the rendering process used in generating the 2D data. That is, at least some assumptions or estimates about the lighting environment need to be made. For example, we adopt the assumption that the position of the light source with respect to the object is fixed. This assumption is considered to be the most rational. Because, in the real world, it is quite unlikely that the lighting environment will change (the light source moves in the 3D object you see), so if you want to pursue a more realistic expression, the light source is fixed in the rendering process. Because it should be. Then, based on the assumed lighting environment, each 2D data is image-analyzed to try to determine the number and position of the light sources used.
If the estimation of the number and position of the light sources is correct, the three-dimensional shape of the part lacking in the 2D data (for example, the change in the size and direction of the shadow) due to the difference in the shooting direction for a certain part (for example, the change in the size and direction of the shadow). For example, information on the degree of unevenness) can be restored with high accuracy.
Depending on the number of 2D data used for restoration, the number of light sources, the complexity of the shape, the computing power of the computer, etc., if the 2D data is generated under the condition that the light sources are at the same position, the accuracy will be some degree. It is possible to estimate the shape of an object with.
しかし、この実施例のように、光源の位置が「撮影」の方向によって変化した結果、例えばどの角度からみても影がほとんどできないような画像群が生成されると、上述したコンピュータによる推定を行うことが阻害される。
一方で、人間がこのような複数の2Dデータに基づく画像を視認した場合、光源位置が変化していることに気が付くことはなく、人形の全体像を何の問題なく認識することができる。これは、それが人形であると認知できる本能的・経験的な人間の能力が発揮され、光源位置が固定であるとした場合に生じする多少の矛盾は無意識のうちに瞬時に脳内で補正されるからである。
仮に、このような複数の2Dデータに基づく画像に対してなんとなく違和感を抱くことがあったとしても、少なくとも、人形を複数の方向からみた画像であることが理解できないとか、人形の全体形状が全く想像できないとか、その他認知上の重大な悪影響が生じるといったことは、極めて考えにくい。
However, as in this embodiment, as a result of changing the position of the light source depending on the direction of "shooting", for example, when an image group in which shadows can hardly be seen from any angle is generated, the above-mentioned computer estimation is performed. Is hindered.
On the other hand, when a human visually recognizes an image based on such a plurality of 2D data, he / she does not notice that the position of the light source has changed, and can recognize the whole image of the doll without any problem. This is because the instinctive and empirical human ability to recognize it as a doll is demonstrated, and some contradictions that occur when the light source position is fixed are unknowingly and instantly corrected in the brain. Because it is done.
Even if you feel something is wrong with the image based on such multiple 2D data, at least you cannot understand that the image is an image of the doll viewed from multiple directions, or the overall shape of the doll is completely. It is extremely unlikely that it will be unimaginable or that it will have other significant cognitive adverse effects.
このように、2Dデータ生成時の照明環境を制御することで、コンピュータにとっては「不自然」な2Dデータの集合が提供されることになる一方、人間にとってはコンテンツを楽しむのに特段不都合ない2Dデータが提供されることになる。すなわち、ユーザに提供されるコンテンツの質には実質的に影響を与えることなく、コンピュータによるモデリングデータの復元を阻害することができる。
特に、図5の概念図で生成される複数の2Dデータのように、人形900から等距離にあって物体に対する方向が異なる位置を視点とする複数の画像を取得する場合、同一の物体に関する等距離で異なる方向の画像は、補完処理などの画像処理を施すこと等により、元のモデリングデータを復元し易いことから、2Dデータ生成時の照明環境を制御することで、コンピュータによるモデリングデータの復元を阻害する必要性が高い。
By controlling the lighting environment when generating 2D data in this way, a set of 2D data that is "unnatural" for the computer is provided, while 2D is not particularly inconvenient for humans to enjoy the content. Data will be provided. That is, it is possible to prevent the computer from restoring the modeling data without substantially affecting the quality of the content provided to the user.
In particular, when acquiring a plurality of images whose viewpoints are at equal distances from the
このような効果は、例えば光源位置をカメラの位置に関してランダムに決定した場合でも同様に生じる。
あるいは、光源位置とカメラ位置とを固定し、物体を仮想空間内において回転させて「撮影」することでも、同様の効果が生じる。このようにしても、物体を基準とした光源の位置が撮影ごとに変化している点で変わりないからである。
Such an effect also occurs, for example, when the position of the light source is randomly determined with respect to the position of the camera.
Alternatively, the same effect can be obtained by fixing the position of the light source and the position of the camera and rotating the object in the virtual space to "shoot". Even in this way, the position of the light source with respect to the object does not change in that it changes with each shooting.
図11は、1つの3Dデータから生成されるデータDのデータ構造の一例を示す。同図(a)はデータの全体構造を示す。データDは、ヘッダ部Dhおよび複数の2Dデータからなる画像データ本体Dmによって構成される。ヘッダ部Dhは、生成元の3Dデータを識別するための識別子と、このデータの構造を定義する情報を含む。この情報は、画像データ本体Dmに含まれる複数の2次元画像ファイルと複数の視点との関係を規定する。
(b)は画像データ本体Dmの詳細を示す。この例では、視点設定部113にて、5つのレイヤが設定され、レイヤごとに30枚(12°ごと)にカメラを配置された場合を示す。Dmには、IM1−1〜IM5−30の計150枚分の画像データが含まれ、これが、ヘッダ部Dhに規定された順番(この例ではレイヤごとにまとまて)で配列されている。
FIG. 11 shows an example of the data structure of the data D generated from one 3D data. FIG. 6A shows the overall structure of the data. The data D is composed of a header portion Dh and an image data main body Dm composed of a plurality of 2D data. The header portion Dh includes an identifier for identifying the 3D data of the generation source and information defining the structure of this data. This information defines the relationship between a plurality of two-dimensional image files included in the image data main body Dm and a plurality of viewpoints.
(B) shows the details of the image data main body Dm. In this example, five layers are set by the
なお、生成される2Dデータは、図11に示すように全体として1つのファイルとして認識される形式でもよいし、個別の画像ファイルの集合として認識される形式でもよい。要するに、ユーザ端末200において扱われた場合に、それぞれ元の1つの3Dデータに基づいて生成されたということが認識されるような形式であればよい。後者の場合、例えば、各2Dデータは、元の3Dデータの識別情報と視点を示す情報とをヘッダに含む、1つの独立した画像ファイルとして生成される。
The generated 2D data may be in a format recognized as one file as a whole as shown in FIG. 11, or may be recognized as a set of individual image files. In short, any format may be used as long as it is recognized that the data is generated based on one original 3D data when handled by the
図12は画像処理システム10の動作の一例である。ユーザ端末200は、ウェブブラウザ等を起動し、画像処理サーバ100が適用するウェブサイトにアクセスし、コンテンツを画像処理サーバ100の画面上に表示する(S102)。
図13は、ユーザ端末200にて画像表示アプリを実行した時に表示される画面W2の例である。3Dデータで表わされる物体の代表となる2D画像(同図では正面からみた画像)がサムネイル表示される。
ユーザは、閲覧したい画像を指定する(S104)と、当該画像の識別情報を含む要求が画像処理サーバ100に送信される(S106)。
FIG. 12 is an example of the operation of the
FIG. 13 is an example of the screen W2 displayed when the image display application is executed on the
When the user specifies an image to be viewed (S104), a request including identification information of the image is transmitted to the image processing server 100 (S106).
画像処理サーバ100は、指定された物体の3Dデータを取得し(S108)、当該3Dデータに基づいて2Dデータセットを生成する(S110)。生成された2Dデータセットは互いに関連付けられてユーザ端末200に送信され(S112)、表示部230に記憶される。
The
ユーザ端末200において、自動的にまたはユーザの指示により、描画アプリケーションが起動されると、2Dデータセットが読み込まれ、図14に示すような画面W3が表示される。ここでは2Dデータセットのうち代表となる方向(ここでは正面)に対応する一つの2Dデータがデフォルトとして選択され、その画像が表示される(S114)。加えて、この画面W3にはユーザが見たい方向を指定することを促すメッセージが表示される。
When the drawing application is started automatically or by the user's instruction in the
ユーザが方向(例えば水平面内の45°回転した位置)を指定すると、画像処理部250は指定された方向に対応する1つの2Dデータを読み出して表示する(S116)。この結果、例えばW4のような画面が表示される。なお、ユーザが指定した方向(例えば14°回転した方向)に相当する2Dデータが存在しない場合は、そのような指定を無視するか、あるいは指定した方向に最も近い方向の2Dデータが抽出される。例えば、この状態から更に連続的に同一方向に45°回転すること指示を受付けると、順にW5、W6、W7に示すような画面が連続して表示され、あたかも人形900を回転させたごとくユーザには感じられる。
When the user specifies a direction (for example, a position rotated by 45 ° in the horizontal plane), the
上記実施例によれば、ユーザ端末200に複数の2Dデータを提供することで、あたかもユーザ端末200が保有する3Dデータに基づいて演算した結果が表示されているような感覚をユーザに与えることができる。ここで、この2Dデータの生成に適用された照明環境は2Dデータごとに異なっているので、ユーザ端末200にてモデリングデータを復元することを困難となる一方で、ユーザに実質的な違和感を与えることがない。
また、2Dデータを送信することで、元の3Dデータを送信する場合に比べてやり取りされるデータの量が小さくなり、画像処理サーバ100とユーザ端末200との間のレスポンスが向上する。加えて、端末に3Dデータに基づく描画機能を有するアプリケーションをインストールしておく必要もない。
According to the above embodiment, by providing a plurality of 2D data to the
Further, by transmitting the 2D data, the amount of data exchanged becomes smaller than in the case of transmitting the original 3D data, and the response between the
<その他の実施例>
以下、部位指定部150を介して部位が指定された場合に照明制御部114および照明設定部115で実行される処理の内容について説明する。
図19は、人形900のうち秘匿対象とすべき部位として、鼻に相当する部位SPが部位指定部150にて指定されたとする。この指定に基づき、照明設定部115は、図20〜24に示すような視点と光源の位置関係を規定する照明環境情報を生成する決定する。
すなわち、顔を正面から撮影する場合は(図22)、顔全体が暗くなるように(影が顔面全体にできるように)、光源を頭部の後ろ側に配置する。顔を真横から撮影する場合は、顔全体が照らされて影ができにくいような正面やや上方の位置に光源を配置する(図23、24)。顔を斜めからみた場合は、光源は、カメラのほぼ真上に配置し、影がカメラと反対側の顔にできるようにする(図20、21)。これらの5枚の2次元画像から画像の明度(影のでき方)に基づいてコンピュータが立体形状を復元しようとした場合、本来周囲よりも盛り上がっている鼻が平坦になっている、あるいは逆に凹んでいるなど、表面の凹凸の状態をより誤認識しやすくなる。
このように、指定した部位に基づいて照明環境を制御することで、特定の部位について重点的に復元を阻害し、あるいは間違った立体形状への認識を積極的に誘導することができる。
<Other Examples>
Hereinafter, the contents of the processing executed by the
In FIG. 19, it is assumed that the part SP corresponding to the nose is designated by the
That is, when the face is photographed from the front (FIG. 22), the light source is arranged behind the head so that the entire face becomes dark (so that shadows can be cast on the entire face). When shooting the face from the side, the light source is placed at a position slightly above the front so that the entire face is illuminated and shadows are unlikely to be formed (FIGS. 23 and 24). When the face is viewed from an angle, the light source is placed almost directly above the camera so that the shadow can be cast on the face on the opposite side of the camera (FIGS. 20 and 21). When a computer tries to restore a three-dimensional shape from these five two-dimensional images based on the brightness of the image (how shadows are formed), the nose, which is originally raised from the surroundings, is flattened, or vice versa. It becomes easier to misrecognize the state of unevenness on the surface such as dents.
In this way, by controlling the lighting environment based on the designated part, it is possible to intensively inhibit the restoration of a specific part or positively induce the recognition of the wrong three-dimensional shape.
2Dデータの提供方法は、図12に示した態様に限られない。図19は、画像処理システム10の動作の他の例である。同図において、図12と同一の符号は同一の動作内容を示す。この例において図12の動作と異なるのは、ユーザ端末200が2Dデータセットを一括して受信するのではなく、必要に応じて受信する点である。すなわち、ユーザは表示対象を指定する際に、1つの方向を更に指定する(S103)。具体的には、描画アプリケーションは、W3のように、ある3Dデータに関連付けられた1つの2Dデータを表示中に、ユーザから新たな方向の指定を受付けると、当該3Dデータの識別情報に加えて、当該方向を表す情報を画像処理サーバ100に送信する(S106)。
The method of providing 2D data is not limited to the mode shown in FIG. FIG. 19 is another example of the operation of the
画像処理サーバ100では、当該3Dデータが記憶部130に記憶されていれば読み出し、記憶されていなければ新たに取得する(S108)。
続いて画像処理サーバ100は、指定された方向に対応する1つの2Dデータを抽出する(S120)。そのようなデータが記憶部130に既に記憶されている場合は読み出す。具体的には、当該3Dデータに関連する2Dデータとして指定された方向と同一の方向からみた2Dデータが既に存在すればそのデータが読み出される。同一の角度のデータが存在しない場合は、最も近い角度の2Dデータが読み出される。あるいは、制御部110は新たに指定された方向からみた2Dデータを新たに生成してもよい。
抽出または生成された1つの2Dデータはユーザ端末200に送信される(S122)。画像処理サーバ100にて描画表示アプリケーションは、受信した2Dデータに基づいて描画処理を実行する。ユーザによって指定された方向に応じた画像が表示される点は上述の実施例と同様である。
In the
Subsequently, the
One extracted or generated 2D data is transmitted to the user terminal 200 (S122). The drawing display application on the
例えば、図12に示す動作例のように複数の角度に対応する複数の2Dデータを一度に受信した場合は、図26に示す画面W8のように、一画面に複数の画像を表示してもよい。この場合、一画面に表示されるのは取得した2Dデータのうちの一部であってもよい。図26の場合は、取得した150個の2Dデータのうち(θ=0°〜180°、φ=0)にある5つのデータのみを一度に表示している。すなわち、ユーザが表示を指定する方向は1つの方向に限らず、複数の方向または方向の範囲であってもよい。この指定方法は、図25に示す2Dデータの提供の態様においても適用できる。 For example, when a plurality of 2D data corresponding to a plurality of angles are received at one time as in the operation example shown in FIG. 12, even if a plurality of images are displayed on one screen as in the screen W8 shown in FIG. 26. good. In this case, what is displayed on one screen may be a part of the acquired 2D data. In the case of FIG. 26, only 5 data in (θ = 0 ° to 180 °, φ = 0) out of 150 acquired 2D data are displayed at one time. That is, the direction in which the user specifies the display is not limited to one direction, and may be a range of a plurality of directions or directions. This designation method can also be applied to the aspect of providing the 2D data shown in FIG.
視点設定部113は、同一方向に2以上のカメラを配置してもよい。具体的には、ユーザは方向に加えて物体から視点までの距離を指定し、画像処理サーバ100は指定された方向および距離(拡大/縮小率)に応じて2Dデータをユーザ端末200に提供する。この結果、回転操作に加えてズーム操作を行っているような感覚をユーザに与えることができる。
The
要するに、本発明のシステムにおいては、物体が位置する空間の照明環境を設定する設定手段と、前記物体の3次元形状を表すモデリングデータに基づいて、前記照明環境の下、一の方向からみた前記物体を表す2次元画像データを複数生成する生成手段と、前記生成手段にて生成される複数の2次元画像データに含まれる第1の画像データと第2の画像データとに対して異なる照明環境が適用されるように、前記設定手段を制御する制御手段と、前記生成手段にて生成された複数の2次元画像データの全部または一部を同時にもしくは関連付けて出力または該生成された複数の2次元画像データのうちユーザが選択した2次元画像データを出力する出力手段と、を有していればよい。 In short, in the system of the present invention, based on the setting means for setting the lighting environment of the space where the object is located and the modeling data representing the three-dimensional shape of the object, the above-mentioned view from one direction under the lighting environment. A generation means that generates a plurality of two-dimensional image data representing an object, and a different lighting environment for the first image data and the second image data included in the plurality of two-dimensional image data generated by the generation means. Is applied, and the control means for controlling the setting means and the plurality of two-dimensional image data generated by the generation means are output or generated simultaneously or in association with all or part of the plurality of two-dimensional image data. It suffices to have an output means for outputting the two-dimensional image data selected by the user among the dimensional image data.
100・・・画像処理サーバ、200・・・ユーザ端末、110・・・制御部、111・・・特徴決定部、112・・・データ生成部、113・・・視点設定部、114・・・照明制御部、115・・・照明設定部、130・・・記憶部、140・・・表示部、150・・・部位指定部、120・・・通信部、121・・・送信部、122・・・受信部、230・・・表示部、210・・・通信部、220・・・入力部、240・・・記憶部、250・・・画像処理部 100 ... image processing server, 200 ... user terminal, 110 ... control unit, 111 ... feature determination unit, 112 ... data generation unit, 113 ... viewpoint setting unit, 114 ... Lighting control unit, 115 ... Lighting setting unit, 130 ... Storage unit, 140 ... Display unit, 150 ... Site designation unit, 120 ... Communication unit, 121 ... Transmission unit, 122.・ ・ Receiver unit, 230 ・ ・ ・ Display unit, 210 ・ ・ ・ Communication unit, 220 ・ ・ ・ Input unit, 240 ・ ・ ・ Storage unit, 250 ・ ・ ・ Image processing unit
Claims (6)
前記物体の3次元形状を表すモデリングデータに基づいて、前記照明環境の下、一の方向からみた前記物体を表す2次元画像データを複数生成する生成手段と、
前記生成手段にて生成される複数の2次元画像データに含まれる第1の画像データと第2の画像データとに対して異なる照明環境が適用されるように、前記設定手段を制御する制御手段と、
前記生成手段にて生成された2次元画像データの全部または一部を同時にもしくは関連付けて出力または該生成された複数の2次元画像データのうちユーザが選択した2次元画像データを出力する出力手段と
を有し、
前記制御手段は、前記空間内に設けられる光源の位置を、前記2次元画像データの視点の位置に応じて決定する
画像処理装置。 Setting means for setting the lighting environment of the space where the object is located,
A generation means for generating a plurality of two-dimensional image data representing the object viewed from one direction under the lighting environment based on modeling data representing the three-dimensional shape of the object.
A control means for controlling the setting means so that different lighting environments are applied to the first image data and the second image data included in the plurality of two-dimensional image data generated by the generation means. When,
An output means that outputs all or part of the two-dimensional image data generated by the generation means at the same time or in association with each other, or outputs the two-dimensional image data selected by the user from the plurality of generated two-dimensional image data. Have,
The control means, the position of the light source provided in said space, an image processing apparatus for determining in accordance with the position of the viewpoint of the two-dimensional image data.
ことを特徴とする請求項1に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the plurality of two-dimensional image data are images whose viewpoints are positions equidistant from the object and whose directions to the object are different from each other.
前記制御手段は、該指定された部位のコントラストが他の部位よりも低くなるようにシェーディングが施されるように前記設定手段を制御する
ことを特徴とする請求項1または2に記載の画像処理装置。 Further provided with a reception means for receiving the designation of the part of the object from the user,
The image processing according to claim 1 or 2 , wherein the control means controls the setting means so that shading is applied so that the contrast of the designated portion is lower than that of other portions. Device.
前記制御手段は、情報処理装置において前記複数の2次元画像データに基づいてモデリングデータを生成した場合に当該部位の再現性が他の部位の再現性よりも低下するように、前記設定手段を制御する、
ことを特徴とする請求項1ないし3のいずれか一つに記載の画像処理装置。 Further provided with a reception means for receiving the designation of the part of the object from the user,
The control means controls the setting means so that the reproducibility of the portion is lower than the reproducibility of the other portion when the modeling data is generated based on the plurality of two-dimensional image data in the information processing apparatus. do,
The image processing apparatus according to any one of claims 1 to 3.
物体が位置する空間の照明環境を設定するステップと、
前記物体の3次元形状を表すモデリングデータに基づいて、前記照明環境の下、一の方向からみた前記物体を表す2次元画像データを複数生成するステップと、
前記生成される複数の2次元画像データに含まれる第1の画像データと第2の画像データと対して異なる照明環境が適用されるように、前記照明環境を制御するステップと、
該生成された2次元画像データの全部または一部を同時にもしくは関連付けて出力または該生成された複数の2次元画像データのうちユーザが選択した2次元画像データを出力するステップと
を実行させるためのプログラムであって、
前記空間内に設けられる光源の位置は、前記2次元画像データの視点の位置に応じて決定される、
プログラム。 On the computer
Steps to set the lighting environment of the space where the object is located,
A step of generating a plurality of two-dimensional image data representing the object viewed from one direction under the lighting environment based on modeling data representing the three-dimensional shape of the object.
A step of controlling the lighting environment so that different lighting environments are applied to the first image data and the second image data included in the plurality of generated two-dimensional image data.
To execute a step of outputting all or part of the generated 2D image data at the same time or in association with each other, or outputting the 2D image data selected by the user from the generated plurality of 2D image data. It ’s a program,
Position of the light source provided in the space is determined in accordance with the position of the 2-dimensional image data of viewpoints,
program.
前記物体の3次元形状を表すモデリングデータに基づいて、前記照明環境の下、一の方向からみた前記物体を表す2次元画像データを複数生成するステップと、
前記生成される複数の2次元画像データに含まれる第1の画像データと第2の画像データと対して異なる照明環境が適用されるように、前記照明環境を制御するステップと、
該生成された2次元画像データの全部または一部を同時にもしくは関連付けて出力または該生成された複数の2次元画像データのうちユーザが選択した2次元画像データを出力するステップと
を有し、
前記空間内に設けられる光源の位置は、前記2次元画像データの視点の位置に応じて決定される、
画像処理方法。 Steps to set the lighting environment of the space where the object is located,
A step of generating a plurality of two-dimensional image data representing the object viewed from one direction under the lighting environment based on modeling data representing the three-dimensional shape of the object.
A step of controlling the lighting environment so that different lighting environments are applied to the first image data and the second image data included in the plurality of generated two-dimensional image data.
It has a step of outputting all or a part of the generated 2D image data at the same time or in association with each other, or outputting the 2D image data selected by the user from the generated plurality of 2D image data.
Position of the light source provided in the space is determined in accordance with the position of the 2-dimensional image data of viewpoints,
Image processing method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017016638A JP6978838B2 (en) | 2017-02-01 | 2017-02-01 | Image processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017016638A JP6978838B2 (en) | 2017-02-01 | 2017-02-01 | Image processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018124806A JP2018124806A (en) | 2018-08-09 |
JP6978838B2 true JP6978838B2 (en) | 2021-12-08 |
Family
ID=63110368
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017016638A Active JP6978838B2 (en) | 2017-02-01 | 2017-02-01 | Image processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6978838B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020007537A (en) | 2018-06-29 | 2020-01-16 | 信越化学工業株式会社 | Curable organosilicon resin composition, and semiconductor device |
JP7409014B2 (en) * | 2019-10-31 | 2024-01-09 | 富士フイルムビジネスイノベーション株式会社 | display device |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003302211A (en) * | 2002-04-11 | 2003-10-24 | Canon Inc | Three-dimensional image processing unit and method |
JP4081033B2 (en) * | 2004-03-18 | 2008-04-23 | 株式会社リコー | Watermark information embedding method, watermark information embedding device and medium, and three-dimensional shape model display method, three-dimensional shape model display device and medium |
JP2015099545A (en) * | 2013-11-20 | 2015-05-28 | 株式会社東芝 | Image generation system and image generation program |
JP6314672B2 (en) * | 2014-06-10 | 2018-04-25 | 株式会社リコー | Display processing apparatus, display processing method, and program |
-
2017
- 2017-02-01 JP JP2017016638A patent/JP6978838B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018124806A (en) | 2018-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10147233B2 (en) | Systems and methods for generating a 3-D model of a user for a virtual try-on product | |
JP7007348B2 (en) | Image processing equipment | |
JP4819164B2 (en) | Image-mapped point cloud with the ability to accurately display point coordinates | |
JP5011168B2 (en) | Virtual viewpoint image generation method, virtual viewpoint image generation apparatus, virtual viewpoint image generation program, and computer-readable recording medium recording the program | |
JP4276178B2 (en) | Method for digital rendering of skin or similar | |
TWI786157B (en) | Apparatus and method for generating a tiled three-dimensional image representation of a scene | |
WO2013175700A1 (en) | Information processing device and information processing method | |
KR20170134513A (en) | How to Display an Object | |
JP7353782B2 (en) | Information processing device, information processing method, and program | |
JP6978838B2 (en) | Image processing device | |
US10163250B2 (en) | Arbitrary view generation | |
de Haan et al. | Egocentric navigation for video surveillance in 3D virtual environments | |
JP4809480B2 (en) | Computer graphics method and system for generating images with rounded corners | |
KR101817756B1 (en) | PTM making system based on 3D model with interactive viewpoint control and method using the same | |
JP6917140B2 (en) | Image processing device | |
JP6719168B1 (en) | Program, apparatus and method for assigning label to depth image as teacher data | |
JP6679966B2 (en) | Three-dimensional virtual space presentation system, three-dimensional virtual space presentation method and program | |
JP2020166473A (en) | Trained model generation device and program and trained model generation system | |
JP7517410B2 (en) | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND 3D MODEL DATA GENERATION METHOD | |
CN112862968B (en) | Rendering display method, device and equipment of target vegetation model and storage medium | |
WO2018151612A1 (en) | Texture mapping system and method | |
JP2023153534A (en) | Image processing apparatus, image processing method, and program | |
JP2017215706A (en) | Video synthesis method, video acquisition device, video synthesis system, and computer program | |
Kolivand et al. | Livephantom: Retrieving virtual world light data to real environments | |
JP7439042B2 (en) | Image processing device, image processing method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191111 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210208 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210525 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210721 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211112 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6978838 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |