Nothing Special   »   [go: up one dir, main page]

JP6978838B2 - Image processing device - Google Patents

Image processing device Download PDF

Info

Publication number
JP6978838B2
JP6978838B2 JP2017016638A JP2017016638A JP6978838B2 JP 6978838 B2 JP6978838 B2 JP 6978838B2 JP 2017016638 A JP2017016638 A JP 2017016638A JP 2017016638 A JP2017016638 A JP 2017016638A JP 6978838 B2 JP6978838 B2 JP 6978838B2
Authority
JP
Japan
Prior art keywords
data
image data
generated
dimensional image
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017016638A
Other languages
Japanese (ja)
Other versions
JP2018124806A (en
Inventor
昌彦 足立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kabuku Inc
Original Assignee
Kabuku Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kabuku Inc filed Critical Kabuku Inc
Priority to JP2017016638A priority Critical patent/JP6978838B2/en
Publication of JP2018124806A publication Critical patent/JP2018124806A/en
Application granted granted Critical
Publication of JP6978838B2 publication Critical patent/JP6978838B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Generation (AREA)

Description

本発明は、3次元モデリングデータに基づく画像処理に関する。 The present invention relates to image processing based on 3D modeling data.

3DCADやレーザスキャン等によって、仮想物体または現実物体の3次元形状を表すモデリングデータを生成する技術がある(いわゆるモデリング)。生成されたモデリングデータと視点の情報や光源の情報等に基づいて描画処理(いわゆる3Dレンダリング)を行うことで、様々な視点からみた当該物体の画像を画面に表示することができる。 There is a technique for generating modeling data representing a three-dimensional shape of a virtual object or a real object by 3D CAD, laser scanning, or the like (so-called modeling). By performing drawing processing (so-called 3D rendering) based on the generated modeling data, viewpoint information, light source information, and the like, images of the object viewed from various viewpoints can be displayed on the screen.

特開2016−170488号公報Japanese Unexamined Patent Publication No. 2016-170488

例えば、コンテンツ作成者が作成したモデリングデータに基づく物体を表す画像コンテンツをインターネット上で公開する場合、一般的に、コンテンツ作成者のサーバがユーザ端末から視点の指定を受付け、当該視点に対応する2次元画像をユーザに送信するプロセスが実行される。こうすることで、コンテンツ作成者は、モデリングデータ自体をユーザに引渡すことなく、当該画像コンテンツをユーザに楽しんでもらえることができる。
しかし、悪意のあるユーザによって、取得した複数の2次元画像データに対して補間処理などの画像処理を施すことによって、元のモデリングデータの復元が試みられる虞がある。モデリングデータが勝手に復元されてしまうと、著作物であるモデリングデータの保護を図ることが難しい。
モデリングデータの復元を阻止する一つの対策として、ユーザ端末に提供するデータを暗号化するなどして、ユーザが2次元データを加工・編集できないようにすることが考えられる。しかし、暗号化処理に起因した演算量の増加や通信リソースの増大という問題が生じる。
また、たとえ暗号化等の秘匿処理を行ったとしても、最終的にはユーザ端末の画面上に複数の画像が表示されるという事実は変えようがないので、例えばユーザ端末において画面をキャプチャして複数の画像に対応する2Dデータを生成し、この2次元画像データに基づいて元のモデリングデータの復元を試みる可能性は排除できない。
本発明は、複数の2次元画像データに基づくモデリングデータの復元処理を阻害することを目的とする。
For example, when publishing image content representing an object based on modeling data created by a content creator on the Internet, the content creator's server generally accepts a viewpoint designation from a user terminal and corresponds to the viewpoint. The process of sending the 3D image to the user is executed. By doing so, the content creator can enjoy the image content to the user without passing the modeling data itself to the user.
However, there is a possibility that a malicious user may attempt to restore the original modeling data by performing image processing such as interpolation processing on the acquired two-dimensional image data. If the modeling data is restored without permission, it is difficult to protect the modeling data that is a copyrighted work.
As one measure to prevent the restoration of the modeling data, it is conceivable to prevent the user from processing / editing the two-dimensional data by encrypting the data provided to the user terminal. However, there are problems such as an increase in the amount of calculation and an increase in communication resources due to the encryption process.
In addition, even if concealment processing such as encryption is performed, the fact that multiple images are finally displayed on the screen of the user terminal cannot be changed, so for example, the screen is captured on the user terminal. The possibility of generating 2D data corresponding to a plurality of images and attempting to restore the original modeling data based on the two-dimensional image data cannot be excluded.
An object of the present invention is to inhibit the restoration processing of modeling data based on a plurality of two-dimensional image data.

本発明は、一の態様において、物体が位置する空間の照明環境を設定する設定手段と、前記物体の3次元形状を表すモデリングデータに基づいて、前記照明環境の下、一の方向からみた前記物体を表す2次元画像データを複数生成する生成手段と、前記生成手段にて生成される複数の2次元画像データに含まれる第1の画像データと第2の画像データとに対して異なる照明環境が適用されるように、前記設定手段を制御する制御手段と、前記生成手段にて生成された複数の2次元画像データの全部または一部を同時にもしくは関連付けて出力または該生成された複数の2次元画像データのうちユーザが選択した2次元画像データを出力する出力手段とを有する画像処理装置を提供する。 In one embodiment, the present invention is based on a setting means for setting the lighting environment of the space in which the object is located and modeling data representing the three-dimensional shape of the object, and is viewed from one direction under the lighting environment. A generation means that generates a plurality of two-dimensional image data representing an object, and a different lighting environment for the first image data and the second image data included in the plurality of two-dimensional image data generated by the generation means. Is applied, and the control means for controlling the setting means and the plurality of two-dimensional image data generated by the generation means are output or generated simultaneously or in association with all or part of the plurality of two-dimensional image data. Provided is an image processing apparatus having an output means for outputting two-dimensional image data selected by a user among the three-dimensional image data.

本発明によれば、複数の2次元画像データに基づくモデリングデータの復元処理が阻害される。 According to the present invention, the restoration process of modeling data based on a plurality of two-dimensional image data is hindered.

画像処理システム10の概要図。Schematic diagram of the image processing system 10. 画像処理サーバ100の機能図。The functional diagram of the image processing server 100. 特徴量の算出を説明するための図。The figure for demonstrating the calculation of a feature amount. ユーザ端末200の機能図。The functional diagram of the user terminal 200. 3Dデータから2Dデータを生成する処理を説明するための概念図。The conceptual diagram for demonstrating the process of generating 2D data from 3D data. 視点と光源の位置関係の例を示す図(その1)。The figure which shows the example of the positional relationship between a viewpoint and a light source (the 1). 視点と光源の位置関係の例を示す図(その2)。The figure which shows the example of the positional relationship between a viewpoint and a light source (No. 2). 視点と光源の位置関係の例を示す図(その3)。The figure which shows the example of the positional relationship between a viewpoint and a light source (No. 3). 視点と光源の位置関係の例を示す図(その4)。The figure which shows the example of the positional relationship between a viewpoint and a light source (No. 4). 視点と光源の位置関係の例を示す図(その5)。The figure which shows the example of the positional relationship between a viewpoint and a light source (No. 5). 1つの3Dデータから生成される2Dデータセットの構造の例。An example of the structure of a 2D dataset generated from a single 3D data. 画像処理システム10の動作例。An operation example of the image processing system 10. ユーザ端末200の画面に表示されるダウンロードサイトの例。An example of a download site displayed on the screen of the user terminal 200. ユーザ端末200にて画像表示アプリを実行した時に表示される画面例(その1)。A screen example (No. 1) displayed when the image display application is executed on the user terminal 200. ユーザ端末200にて画像表示アプリを実行した時に表示される画面例(その2)。A screen example (No. 2) displayed when the image display application is executed on the user terminal 200. ユーザ端末200にて画像表示アプリを実行した時に表示される画面例(その3)。A screen example (No. 3) displayed when the image display application is executed on the user terminal 200. ユーザ端末200にて画像表示アプリを実行した時に表示される画面例(その4)。A screen example (No. 4) displayed when the image display application is executed on the user terminal 200. ユーザ端末200にて画像表示アプリを実行した時に表示される画面例(その5)。A screen example (No. 5) displayed when the image display application is executed on the user terminal 200. 人形900の秘匿対象部位SPを示す図。The figure which shows the concealment target part SP of a doll 900. 視点と光源の位置関係の例を示す図(その6)。The figure which shows the example of the positional relationship between a viewpoint and a light source (No. 6). 視点と光源の位置関係の例を示す図(その7)。The figure which shows the example of the positional relationship between a viewpoint and a light source (No. 7). 視点と光源の位置関係の例を示す図(その8)。The figure which shows the example of the positional relationship between a viewpoint and a light source (the 8). 視点と光源の位置関係の例を示す図(その9)。The figure which shows the example of the positional relationship between a viewpoint and a light source (No. 9). 視点と光源の位置関係の例を示す図(その10)。The figure which shows the example of the positional relationship between a viewpoint and a light source (No. 10). 画像処理システム10の動作の他の例。Another example of the operation of the image processing system 10. ユーザ端末200にて画像表示アプリを実行した時に表示される画面例(その6)。A screen example (No. 6) displayed when the image display application is executed on the user terminal 200.

<実施例>
図1は画像処理システム10の概要を示す。画像処理システム10は、画像処理サーバ100とユーザ端末200とを含む。画像処理サーバ100は例えば物体コンテンツの公開およびユーザ端末200への提供を行う事業者によって管理されるサーバである。ユーザ端末200は例えば汎用のパーソナルコンピュータである。300は例えばインターネットや専用線である。画像処理サーバ100およびユーザ端末200は、300を介して接続される
<Example>
FIG. 1 shows an outline of the image processing system 10. The image processing system 10 includes an image processing server 100 and a user terminal 200. The image processing server 100 is, for example, a server managed by a business operator that publishes object contents and provides them to a user terminal 200. The user terminal 200 is, for example, a general-purpose personal computer. Reference numeral 300 is, for example, the Internet or a leased line. The image processing server 100 and the user terminal 200 are connected via 300.

図2は画像処理サーバ100の機能を表す。画像処理サーバ100は、制御部110と、通信部120と、記憶部130と、表示部140と、部位指定部150含む。通信部120は、所定の通信規格に従って、ユーザ端末200との間でデータを送受信するための通信インタフェースとして実装され、送信部121と受信部122とを含む。 FIG. 2 shows the function of the image processing server 100. The image processing server 100 includes a control unit 110, a communication unit 120, a storage unit 130, a display unit 140, and a site designation unit 150. The communication unit 120 is implemented as a communication interface for transmitting / receiving data to / from the user terminal 200 according to a predetermined communication standard, and includes a transmission unit 121 and a reception unit 122.

受信部122は、物体の3次元形状を表すモデリングデータ(以下、「3Dデータ」という)を取得する。3Dデータとは、現実の物体または仮想の物体の3次元形状を示すデータであって、例えば、STL、OBJ、PLY、OFF、3DS、COLLADA、PTX、V3D、PTS、APTS、XYZ、GTS、TRI、ASC、X3D、X3DV、VRML、ALN、DXF、GTS、U3D、IDTF、X3D等の形式のデータである。3Dデータは、3DCGソフトや3DCADソフト等で作成された仮想的な物体を表すデータであってもよいし、現実の物体を3Dスキャニングして得られたデータであってもよい。また、3Dデータ共有サイト等から入手したデータであってもよいし、その生成方法や取得方法は問わない。 The receiving unit 122 acquires modeling data (hereinafter, referred to as “3D data”) representing the three-dimensional shape of the object. The 3D data is data showing the three-dimensional shape of a real object or a virtual object, and is, for example, STL, OBJ, PLY, OFF, 3DS, COLLADA, PTX, V3D, PTS, APTS, XYZ, GTS, TRI. , ASC, X3D, X3DV, VRML, ALN, DXF, GTS, U3D, IDTF, X3D and the like. The 3D data may be data representing a virtual object created by 3DCG software, 3D CAD software, or the like, or may be data obtained by 3D scanning a real object. Further, the data may be obtained from a 3D data sharing site or the like, and the generation method or acquisition method thereof is not limited.

この要求には、さらに、ユーザ端末200のユーザによって指定された、物体の一部の指定が含まれてもよい。例えば、物体が人形であり、「顔」、「目」、「胴体」といった物体の一部分を指定する情報が含まれる。要するに、物体が占める3次元空間の一部の領域(座標の集合)である。例えば、ユーザが特定の部位を重点的に確認したいと考えた場合に、当該部位を指定することができる。 The request may further include the designation of a portion of the object specified by the user of the user terminal 200. For example, the object is a doll and contains information that specifies a part of the object such as "face", "eyes", and "body". In short, it is a part of the three-dimensional space occupied by an object (a set of coordinates). For example, when the user wants to focus on a specific part, the part can be specified.

取得した3Dデータは記憶部130に記憶され、ユーザ端末200から受付けた要求に応じて読み出される。この要求には、少なくとも表示対象の物体を指定する情報が含まれ、加えて、当該物体の方向(視点)に関する情報が含まれてもよい。方向は、例えば、物体が置かれた仮想空間上のある点を原点とする3次元空間上の位置(直交座標や極座標)として表わされる。あるいは、方向は、正面、背面、右側面、左側面という方向の範囲として定義されてもよい。 The acquired 3D data is stored in the storage unit 130, and is read out in response to a request received from the user terminal 200. This request includes at least information specifying an object to be displayed, and may also include information regarding the direction (viewpoint) of the object. The direction is expressed as, for example, a position (cartesian coordinates or polar coordinates) in three-dimensional space with a certain point in the virtual space in which the object is placed as an origin. Alternatively, the direction may be defined as a range of directions such as front, back, right side, and left side.

送信部121は、データ生成部112にて生成された一の3Dデータに対応する複数の2次元画像データ(以下、2Dデータという)を出力する。2Dデータは、例えば、JPEG、BMP、PDF、TIF等の形式を有する。複数の2Dデータは、全部または一部を同時に出力してもよい。また、複数の2Dデータは、全部または一部を同時に出力する場合、ユーザから受けた要求に応じて全部または一部を出力してもよい。また、同時に出力には、出力タイミングが同じ場合の他、複数の2Dデータが特定の物体に関するデータであるものとして全部または一部を関連付けて送信されるものであれば、出力のタイミングが異なる場合も含まれる。 The transmission unit 121 outputs a plurality of two-dimensional image data (hereinafter referred to as 2D data) corresponding to one 3D data generated by the data generation unit 112. The 2D data has a format such as JPEG, BMP, PDF, TIF and the like. A plurality of 2D data may be output in whole or in part at the same time. Further, when all or part of the plurality of 2D data is output at the same time, all or part of the 2D data may be output according to the request received from the user. In addition, when the output timings are the same, or when multiple 2D data are transmitted in association with all or part of the data as data related to a specific object, the output timings are different. Is also included.

記憶部130は、ハードディスク、半導体メモリ、その等の記憶装置であって、制御部110にて実行されるプログラムおよび当該プログラムによって読み出される3Dデータを記憶する。 The storage unit 130 is a storage device for a hard disk, a semiconductor memory, or the like, and stores a program executed by the control unit 110 and 3D data read by the program.

部位指定部150は、キーボード、タッチパネル、マウス、スタイラス等の画像処理サーバ100の管理者によって操作される入力デバイス、または記憶部130に記憶される3Dデータの著作者等のコンテンツの改変や配布を管理するユーザが有する者の指示を受付けるためのデバイスないし当該著作者等の有する端末(図示せず)から指示を受付けるための通信インタフェースとして実装される。
部位指定部150は、物体の部位の指定を画像処理サーバ100の管理者から受付ける。部位とは、例えば物体が人形である場合は、人形を構成する顔、腕、脚、手、目、鼻、口といったパーツであり、物体が多角形である場合は所定の一つの面である。これに限らず、本実施例における部位には、機能的または構造的一体性を有する必要はなく、一般的な名称が存在する必要もなく、広く、物体表面の任意の領域として定義されるものを含む。
The site designation unit 150 modifies or distributes content such as an input device operated by the administrator of the image processing server 100 such as a keyboard, touch panel, mouse, or stylus, or the author of 3D data stored in the storage unit 130. It is implemented as a communication interface for receiving instructions from a device for receiving instructions of a person possessed by a user to be managed or a terminal (not shown) possessed by the author or the like.
The part designation unit 150 receives the designation of the part of the object from the administrator of the image processing server 100. For example, when the object is a doll, the part is a part such as the face, arms, legs, hands, eyes, nose, and mouth that make up the doll, and when the object is a polygon, it is a predetermined surface. .. Not limited to this, the site in this embodiment does not need to have functional or structural integrity, does not need to have a generic name, and is broadly defined as any region of the object surface. including.

特定の部位を指定する目的は、例えば、当該部位の形状や色彩などを他の部位に比べて意図的に秘匿ないし暈したいなど、部位によって3Dデータの復元可能性を異ならせるためである。例えば、画像処理サーバの管理者や3Dデータの著作者は、当該部位は物体の部位のうち特にその部位については3次元形状の復元を防止する優先度が高いと考えた場合、あるいは、物体の全体形状の概要はユーザに公開したいが、特定の部位の細部に形状等ついては高い精度では開示したくないと考えた場合、そのような部位を指定することができる。この指定は、3Dデータの復元性という観点からだけではなく、2Dデータに基づいて表示される画像を調整する目的で行われてもよい。例えば、指定された部位にはどの方向からみても光があたらないように光源位置を設定すれば、生成された2Dデータに基づいてユーザ端末200にて表示される画像において当該部位の明度が本来の値よりも低い状態となり、ユーザに当該部位の詳細の把握を困難にさせることができる。 The purpose of designating a specific part is to make the recoverability of 3D data different depending on the part, for example, the shape or color of the part is intentionally concealed or obscured as compared with other parts. For example, if the administrator of the image processing server or the author of the 3D data thinks that the part has a high priority to prevent the restoration of the three-dimensional shape, especially for the part of the object, or the part of the object. If you want to disclose the outline of the overall shape to the user, but do not want to disclose the shape etc. in the details of a specific part with high accuracy, you can specify such a part. This designation may be made not only from the viewpoint of the resilience of the 3D data but also for the purpose of adjusting the image displayed based on the 2D data. For example, if the light source position is set so that the designated part is not exposed to light from any direction, the brightness of the part is originally set in the image displayed on the user terminal 200 based on the generated 2D data. It becomes a state lower than the value of, and it is possible to make it difficult for the user to grasp the details of the relevant part.

逆に、部位指定部150は、復元のリスクを相対的に許容できる部位の指定を受付けてもよい。
このように、特定の部位を指定することで、3Dデータの復元可能性や再現性を、みる方向によらずに一様に制御するだけでなく、見る方向や部位によって軽重がつけられる制御することが可能となる。
On the contrary, the site designation unit 150 may accept the designation of a site that can relatively tolerate the risk of restoration.
In this way, by designating a specific part, not only the recoverability and reproducibility of 3D data are controlled uniformly regardless of the viewing direction, but also the weight is given depending on the viewing direction and part. Is possible.

表示部140は、管理者に画像処理サーバ100の動作状況等情報等を提示するための液晶ディスプレイ等の表示装置である。 The display unit 140 is a display device such as a liquid crystal display for presenting information such as the operating status of the image processing server 100 to the administrator.

画像処理サーバ100は、1以上の、汎用のプロセッサ(CPU等)および/または描画処理プロセッサ(GPU)等の専用プロセッサとして実装され、特徴決定部111と、データ生成部112と、視点設定部113とを含む。 The image processing server 100 is implemented as one or more general-purpose processors (CPU or the like) and / or a dedicated processor such as a drawing processing processor (GPU), and has a feature determination unit 111, a data generation unit 112, and a viewpoint setting unit 113. And include.

特徴決定部111は、3Dデータが表す物体に関する特徴量を取得してデータ生成部112または視点設定部113に出力する。
物体に関する特徴量は、特徴決定部111が、記憶部130から取得した3Dデータに基づいて、各方向についての特徴量を算出し、データ生成部112にて生成された2Dデータの方向に対応する特徴量を、視点設定部113にて生成された各2Dデータに付与してもよい。
あるいは、物体に関する特徴量は、データ生成部112にて生成された2Dデータに基づいて特徴決定部111が算出してもよい。2Dデータに基づいて算出する具体的方法としては、視点設定部113が、所定のアルゴリズムに従って、物体の構造的特徴および色彩(模様)的特徴の少なくともいずれかに基づいて決定する。その他の構造的特徴は、例えば物体表面のテクスチャ(凹凸の程度)や頂点や面の数によって定義される。色彩または模様に関する特徴は、例えば、使用されている色の多様性(バリエーション)として定義される。
The feature determination unit 111 acquires the feature amount related to the object represented by the 3D data and outputs it to the data generation unit 112 or the viewpoint setting unit 113.
The feature amount relating to the object corresponds to the direction of the 2D data generated by the data generation unit 112 by calculating the feature amount in each direction based on the 3D data acquired from the storage unit 130 by the feature determination unit 111. The feature amount may be added to each 2D data generated by the viewpoint setting unit 113.
Alternatively, the feature amount related to the object may be calculated by the feature determination unit 111 based on the 2D data generated by the data generation unit 112. As a specific method for calculating based on 2D data, the viewpoint setting unit 113 determines based on at least one of the structural features and the color (pattern) features of the object according to a predetermined algorithm. Other structural features are defined, for example, by the texture (degree of unevenness) of the surface of the object and the number of vertices and faces. Color or pattern features are defined, for example, as the variety of colors used.

図3は特徴量を説明するための図である。人形900は、3Dデータによって表される物体の一例である。
同図(a)は人形900を正面からみた画像、人形900を水平面内(紙面左右方向)で45°回転させた画像(視点が水平面面内で45°回転した位置にある画像)、90°回転させた画像、135°回転させた画像、180°回転させた画像を示す。
FIG. 3 is a diagram for explaining a feature amount. Doll 900 is an example of an object represented by 3D data.
FIG. (A) is an image of the doll 900 viewed from the front, an image of the doll 900 rotated by 45 ° in the horizontal plane (left-right direction of the paper surface) (an image in which the viewpoint is rotated by 45 ° in the horizontal plane), and 90 °. An image rotated by 135 °, an image rotated by 180 °, and an image rotated by 180 ° are shown.

同図(b)および(c)は、各角度に対応して計算された特徴量を表すパラメータの例を示す。(b)は2Dデータとしてθ=0°、45°、90°、135°、180°、225°、270°の2Dデータが生成された場合においてそれぞれ角度に応じて算出された特徴量を示す。この例では、正面側のほうが背面側よりも構造的に複雑であり、正面からみた画像が相対的に大きい特徴量を有すると判定されている。図(c)は、3Dデータから直接、特徴量をθの関数として算出した例である。 FIGS. (B) and (c) show examples of parameters representing the feature quantities calculated corresponding to each angle. (B) shows the feature quantities calculated according to the angles when 2D data of θ = 0 °, 45 °, 90 °, 135 °, 180 °, 225 °, and 270 ° are generated as 2D data. .. In this example, the front side is structurally more complicated than the back side, and it is determined that the image viewed from the front has a relatively large feature amount. FIG. (C) is an example of calculating the feature amount as a function of θ directly from the 3D data.

物体に関する特徴量は、3Dデータや2Dデータとは別途独立に、取得されてもよい。例えば、正面側(−45°〜−45°)の範囲の視点の画像は重付けパラメータを+Δw1、背面側(135°〜225°)を―Δw1、両側面側を0と定義する。この特徴量は、ユーザがユーザ端末200に入力し、画像処理サーバ100に送信されてもよい。例えば、人形900の顔が向いている方向が「正面」であると定義され、データ生成部112にて生成された2Dデータで表わされる画像に対して画像解析を行って顔が映っているか否かを判定し、顔が映っている画像は顔が映っていない画像に比べて大きな特徴量を付与してもよい。 The feature amount related to the object may be acquired separately from the 3D data and the 2D data. For example, in the image of the viewpoint in the range of the front side (−45 ° to −45 °), the weighting parameter is defined as + Δw1, the back side (135 ° to 225 °) is defined as −Δw1, and the side surfaces on both sides are defined as 0. This feature amount may be input by the user to the user terminal 200 and transmitted to the image processing server 100. For example, it is defined that the direction in which the face of the doll 900 is facing is "front", and whether or not the face is reflected by performing image analysis on the image represented by the 2D data generated by the data generation unit 112. The image showing the face may be given a larger feature amount than the image showing the face.

上述の例では、説明の便宜上、特徴量は1つの回転方向について算出したが、2つの角度パラメータθおよびφで表わされる任意の方向に対応する特徴量を算出することができる。例えば、紙面上下方向の向き(φ方向)に依存する特徴量についても、3Dデータや2Dデータから計算してもよいし、3Dデータや2Dデータとは別途独立に取得してもよい。例えば、同図(a)に示す人形の場合は、一般的に、真上(θ=0°、φ=90°)や真下(θ=0°、φ=―90°)からみた画像を表す2Dデータの特徴量は、正面(θ=0°、φ=0°)からみた画像を表す2Dデータの特徴量よりも小さくなる。 In the above example, for convenience of explanation, the feature amount is calculated for one rotation direction, but the feature amount corresponding to any direction represented by the two angle parameters θ and φ can be calculated. For example, the feature amount depending on the orientation (φ direction) in the vertical direction of the paper may be calculated from the 3D data or the 2D data, or may be acquired separately from the 3D data or the 2D data. For example, in the case of the doll shown in the figure (a), an image viewed from directly above (θ = 0 °, φ = 90 °) or directly below (θ = 0 °, φ = −90 °) is generally represented. The feature amount of the 2D data is smaller than the feature amount of the 2D data representing the image viewed from the front (θ = 0 °, φ = 0 °).

視点設定部113は、生成すべき2Dデータが人形900をどの方向からみたものであるべきかを決定する。換言すると、視点設定部113は、人形900を仮想的に撮影する方向または当該撮影の視点を決定する。
決定された方向を表す情報はデータ生成部112に出力される。例えば、視点設定部113は特徴決定部111から供給される特徴量に基づいて方向を決定してもよい。また、画像処理サーバ100がユーザ端末200から人形900の部位の指定を受付けた場合、視点設定部113は、該指定された部位が1以上の画像に必ず現れるように、上記方向を決定してもよい。
あるいは、特徴量は画像処理サーバ100以外の装置で決定され、画像処理サーバ100に供給されてもよい。
The viewpoint setting unit 113 determines from which direction the 2D data to be generated should be viewed from the doll 900. In other words, the viewpoint setting unit 113 determines the direction in which the doll 900 is virtually photographed or the viewpoint of the photographing.
Information indicating the determined direction is output to the data generation unit 112. For example, the viewpoint setting unit 113 may determine the direction based on the feature amount supplied from the feature determination unit 111. Further, when the image processing server 100 receives the designation of the part of the doll 900 from the user terminal 200, the viewpoint setting unit 113 determines the above direction so that the designated part always appears in one or more images. May be good.
Alternatively, the feature amount may be determined by a device other than the image processing server 100 and supplied to the image processing server 100.

照明設定部115は、照明制御部114の制御の下、物体が位置する空間の照明環境を設定する。具体的には、空間の照明環境を表す照明環境情報を生成してデータ生成部112に供給する。照明環境情報は、少なくとも1つ以上の光源の視点(カメラ)を基準とした位置関係を規定する。位置関係は、物体が存在する仮想空間と原点を共有する3次元座標として定義されてもよいし、カメラを基準とした相対的な3次元位置として定義されてもよい。あるいは、位置関係には方向に関する情報のみ含まれ、カメラまたは物体までの距離に関する情報が含まれなくてもよい。この場合、例えば、物体またはカメラから常に一定の距離だけ離れた位置に光源が配置されるように決定しておくことができる。 The lighting setting unit 115 sets the lighting environment of the space in which the object is located under the control of the lighting control unit 114. Specifically, lighting environment information representing the lighting environment of the space is generated and supplied to the data generation unit 112. The lighting environment information defines a positional relationship with respect to the viewpoint (camera) of at least one or more light sources. The positional relationship may be defined as three-dimensional coordinates that share the origin with the virtual space in which the object exists, or may be defined as a relative three-dimensional position with respect to the camera. Alternatively, the positional relationship may include only information about the direction and not information about the distance to the camera or the object. In this case, for example, it can be determined that the light source is always arranged at a certain distance from the object or the camera.

照明制御部114は、照明設定部115を制御する。具体的には、データ生成部112にて生成される複数の2Dデータに含まれる第1の2Dデータと第2の2Dデータと対して異なる照明環境が適用されるように、照明制御部114を制御する。照明制御部114による照明の制御は、第1の2Dデータと第2の2Dデータと対して異なる照明環境が適用されるように、光源の位置を、所定のアルゴリズムに従って、カメラ位置に応じて一意に決定してもよい。所定のアルゴリズムの内容は、例えば、各2Dデータに適用される光源の位置を、カメラ位置に対してランダムに決定してもよい。
要するに、データ生成部112において視点が異なる複数の2Dデータが同一の照明環境の下で生成されないように照明環境情報が生成される。
なお、照明制御部114は、光源の位置に替えてまたは加えて、仮想的に出射される光の波長特性(光学スぺクトル;色味)、強度、方向、指向性、前記光源の形状(点発光、面発光等)といった光学特性を表すパラメータのうち、少なくともいずれか一つを制御してもよい。
また、部位指定部150から物体の部位の指定が指示された場合に、照明制御部114は、当該部位のコントラストが他の部位よりも低くなるようにデータ生成部112にてシェーディングが実行することを規定する照明環境情報を生成する。
好ましい態様において、照明制御部114は、200において100から提供された複数の2Dデータに基づいて3Dデータを生成した場合に当該部位の再現性が他の部位の再現性よりも低下するように、照明設定部115を制御する。この際、200においてコンピュータによる再現ができるだけ妨げられる一方、個別に2Dデータに基づく画像を視認したユーザができるだけ不自然な印象を受けない程度に照明環境情報が生成されることが好ましい。
The lighting control unit 114 controls the lighting setting unit 115. Specifically, the lighting control unit 114 is set so that different lighting environments are applied to the first 2D data and the second 2D data included in the plurality of 2D data generated by the data generation unit 112. Control. The lighting control by the lighting control unit 114 uniquely sets the position of the light source according to the camera position according to a predetermined algorithm so that different lighting environments are applied to the first 2D data and the second 2D data. May be decided. The content of the predetermined algorithm may be, for example, randomly determining the position of the light source applied to each 2D data with respect to the camera position.
In short, the lighting environment information is generated so that the data generation unit 112 does not generate a plurality of 2D data having different viewpoints under the same lighting environment.
In addition, the illumination control unit 114 replaces or adds to the position of the light source, and the wavelength characteristic (optical spectrum; tint), intensity, direction, directivity, and the shape of the light source (the shape of the light source) of the light emitted virtually (optical spectrum; tint). At least one of the parameters representing optical characteristics such as point emission, surface emission, etc.) may be controlled.
Further, when the part designation unit 150 instructs to specify the part of the object, the lighting control unit 114 performs shading in the data generation unit 112 so that the contrast of the part is lower than that of the other parts. Generate lighting environment information that specifies.
In a preferred embodiment, the illumination control unit 114 makes the reproducibility of the part lower than the reproducibility of the other parts when the 3D data is generated based on the plurality of 2D data provided from 100 in 200. The lighting setting unit 115 is controlled. At this time, it is preferable that the lighting environment information is generated to the extent that the user who individually visually recognizes the image based on the 2D data does not receive an unnatural impression as much as possible while the reproduction by the computer is hindered as much as possible in 200.

データ生成部112は、1つの3Dデータに基づいて、照明設定部115によって決定された照明環境の下、各々、一の方向からみた人形900を表す2Dデータを複数生成する。具体的には、所定のレンダリングアルゴリズムに従って、照明設定部115から供給される照明環境情報を用いて、視点設定部113から供給された視点の情報に基づいてレンダリング処理を行う。 Based on one 3D data, the data generation unit 112 generates a plurality of 2D data representing the doll 900 viewed from one direction under the lighting environment determined by the lighting setting unit 115. Specifically, according to a predetermined rendering algorithm, the rendering process is performed based on the viewpoint information supplied from the viewpoint setting unit 113 by using the lighting environment information supplied from the lighting setting unit 115.

レンダリング処理に際しては、特徴決定部111から供給された特徴量を用いてもよい。特徴量が2Dデータに基づいて生成される場合、まずデータ生成部112にて生成された2Dデータを特徴決定部111に出力し、特徴決定部111にて生成された特徴量を取得してもよい。 In the rendering process, the feature amount supplied from the feature determination unit 111 may be used. When the feature amount is generated based on the 2D data, even if the 2D data generated by the data generation unit 112 is first output to the feature determination unit 111 and the feature amount generated by the feature determination unit 111 is acquired. good.

データ生成部112は、特徴量に応じて、生成された複数の2Dデータに含まれる1以上の2Dデータの解像度を決定してもよい。特徴に基づく解像度の設定の一例としては、特徴量が小さい2Dデータほど解像度を下げる処理を行う。このように相対的に特徴量が小さい画像(換言すると、その角度からみた物体には特徴があまりない、あるいはユーザにとっての重要性ないし関心度が低いと推定される視点からの画像)については、解像度を相対的に落とすことにより、複数の2Dデータセットに基づいて描画処理を行った場合にユーザに与える違和感の低下を抑えつつ、2Dデータ全体のデータ量を小さくすることができる。解像度は、例えば縦横のピクセル数によって規定される。
生成された2Dデータは、記憶部130または通信部120に供給される。
The data generation unit 112 may determine the resolution of one or more 2D data included in the generated plurality of 2D data according to the feature amount. As an example of setting the resolution based on the feature, the process of lowering the resolution is performed as the 2D data has a smaller feature amount. For images with such relatively small features (in other words, images from a viewpoint that the object viewed from that angle has few features or is presumed to be of low importance or interest to the user). By relatively lowering the resolution, it is possible to reduce the total amount of 2D data while suppressing a decrease in discomfort given to the user when the drawing process is performed based on a plurality of 2D data sets. The resolution is defined by, for example, the number of vertical and horizontal pixels.
The generated 2D data is supplied to the storage unit 130 or the communication unit 120.

図4はユーザ端末200の機能図である。ユーザ端末200は、通信部210と、入力部220と、表示部230と、記憶部240と、画像処理部250とを含む。 FIG. 4 is a functional diagram of the user terminal 200. The user terminal 200 includes a communication unit 210, an input unit 220, a display unit 230, a storage unit 240, and an image processing unit 250.

記憶部240は、ハードディスク、半導体メモリその等の記憶装置であって、画像処理部250にて実行されるプログラムおよび画像処理サーバ100から取得した2Dデータを記憶する。 The storage unit 240 is a storage device for a hard disk, a semiconductor memory, or the like, and stores a program executed by the image processing unit 250 and 2D data acquired from the image processing server 100.

入力部220は、キーボード、タッチパネル、マウス等のユーザ端末200のユーザ(以下、単にユーザという)によって操作される入力デバイスであって、ユーザからの指示を受付ける。この指示には、表示すべき人形900の方向が含まれる。また、この指示には、画像処理サーバ100にて2Dデータを生成する際に用いられる情報が含まれていてもよい。 The input unit 220 is an input device operated by a user (hereinafter, simply referred to as a user) of the user terminal 200 such as a keyboard, a touch panel, and a mouse, and receives an instruction from the user. This instruction includes the direction of the doll 900 to be displayed. Further, this instruction may include information used when the image processing server 100 generates 2D data.

通信部210は所定の通信規格に従って、ユーザ端末200との間でデータを送受信するための通信インタフェースとして実装される。具体的には、入力部220にて入力された、表示部230に表示するために必要な、表示対象の指定および表示対象の方向の指定を含む要求を画像処理サーバ100に送信し、該要求に応じて画像処理サーバ100から送信された2Dデータを受信して画像処理部250に供給する。 The communication unit 210 is implemented as a communication interface for transmitting / receiving data to / from the user terminal 200 according to a predetermined communication standard. Specifically, a request including the designation of the display target and the designation of the direction of the display target, which is input by the input unit 220 and necessary for displaying on the display unit 230, is transmitted to the image processing server 100, and the request is made. 2D data transmitted from the image processing server 100 is received and supplied to the image processing unit 250.

画像処理部250は、1以上の、汎用のプロセッサ(CPU等)および/または描画処理プロセッサ(GPU)等の専用プロセッサとして実装され、画像処理サーバ100から受信した2Dデータおよび入力部220にて指示された方向に基づいて描画処理を行う。具体的には、記憶部240に記憶されている、1つの3Dデータに対応する複数の2Dデータのうち、入力部220にて指定された方向に対応する1または複数の2Dデータを特定し、必要なエンコード等の画像処理等を行って、描画命令とともに画像処理部250に出力する。 The image processing unit 250 is implemented as one or more general-purpose processors (CPU or the like) and / or a dedicated processor such as a drawing processing processor (GPU), and is instructed by the 2D data and the input unit 220 received from the image processing server 100. The drawing process is performed based on the direction of the drawing. Specifically, among the plurality of 2D data stored in the storage unit 240 corresponding to one 3D data, one or a plurality of 2D data corresponding to the direction specified by the input unit 220 is specified. It performs image processing such as necessary encoding and outputs it to the image processing unit 250 together with a drawing command.

表示部230は液晶ディスプレイ等の表示装置であって、画像処理部250からの指令の下、画像を表示する。 The display unit 230 is a display device such as a liquid crystal display, and displays an image under a command from the image processing unit 250.

図5は、3Dデータから2Dデータを生成する処理を説明するための概念図である。人形900は、原点をPとする3次元(XYZ)仮想空間上に配置される。人形900の中心を貫く中心軸CLを設定する。
画像処理サーバ100は、所定の照明環境の下、仮想空間に設定された複数の視点からみた人形900の2次元画像を、生成する。換言すると、仮想空間に設置された仮想的なカメラ(視点に相当;以下、単にカメラという)を用いて、当該仮想空間に設置された仮想的な光源(以下、単に「光源」という)の下で、人形900を「撮影」することに相当する。
FIG. 5 is a conceptual diagram for explaining a process of generating 2D data from 3D data. The doll 900 is arranged in a three-dimensional (XYZ) virtual space whose origin is P. Set the central axis CL that penetrates the center of the doll 900.
The image processing server 100 generates a two-dimensional image of the doll 900 viewed from a plurality of viewpoints set in the virtual space under a predetermined lighting environment. In other words, using a virtual camera installed in the virtual space (corresponding to a viewpoint; hereinafter simply referred to as a camera), under a virtual light source installed in the virtual space (hereinafter simply referred to as "light source"). So, it is equivalent to "shooting" the doll 900.

同図において、A〜Nはカメラを表す。θはXY平面内の角度、φはXZ平面内の角度である。L1〜L5は、カメラが配置される位置を規定し、φが異なるXY平面である。換言すると、φはカメラの高さ(上下方向の角度)、θはカメラの平面内の角度を表す。なお、人形900の顔が向いている方向(θ=0°)が「正面」であると定義されていると仮定する。なお、正面など、人形900の基準となる方向は、3Dデータの特徴量に基づいて決定されてもよいし、別途画像処理サーバ100やユーザ端末200が指定してもよい。この例では、全てのカメラはPから等距離に配置される。
つまり、生成される複数の2Dデータは、人形900から等距離にあって前記物体に対する方向が異なる位置を視点とする画像を表す。
In the figure, A to N represent cameras. θ is an angle in the XY plane, and φ is an angle in the XZ plane. L1 to L5 define the position where the camera is arranged, and are XY planes having different φ. In other words, φ represents the height of the camera (angle in the vertical direction), and θ represents the angle in the plane of the camera. It is assumed that the direction in which the face of the doll 900 is facing (θ = 0 °) is defined as the “front”. The reference direction of the doll 900, such as the front, may be determined based on the feature amount of the 3D data, or may be separately specified by the image processing server 100 or the user terminal 200. In this example, all cameras are equidistant from P.
That is, the plurality of generated 2D data represent an image whose viewpoint is a position equidistant from the doll 900 and having a different direction with respect to the object.

同図において、LT1およびLT2は光源を表す。この例では、人形900の正面側やや右上方および左上方から光が人形900の方向(具体的には原点Pに向かって)出射されている。
なお、この例では、光源LT1およびLT2はL2上に位置しているが、この配置は例示に過ぎず、光源の位置(距離や方向)をカメラの位置とは独立に設定することが可能である。また、光源の個数も2に限らない。各光源の位置は独立に設定可能であり、例えば各光源の物体までの距離は異なってもよい。また、光源の光学特性も光源ごとに異ならせてもよい。
In the figure, LT1 and LT2 represent a light source. In this example, light is emitted in the direction of the doll 900 (specifically, toward the origin P) from the slightly upper right and upper left of the front side of the doll 900.
In this example, the light sources LT1 and LT2 are located on L2, but this arrangement is merely an example, and the position (distance and direction) of the light source can be set independently of the position of the camera. be. Further, the number of light sources is not limited to 2. The position of each light source can be set independently, and for example, the distance of each light source to an object may be different. Further, the optical characteristics of the light source may be different for each light source.

同図の通り、カメラは、L3にはA〜Hまでの計6個が配置され、L2には人形900の上方やや斜めの位置にIおよびJが配置され、L1には人形900の頭上付近にKが配置され、L4においては、下方やや斜めの位置に配置され、LおよびMが配置され、L5において足元付近にNが配置された例を示す。この結果、1つの3Dデータにおいて視点位置をA〜Nに設定して得られる2Dデータが計14個生成される。
同図に示すように、この例では、人形900の正面に重点的にカメラが配置されている。より具体的には、θ=−90、φ=0に近い位置においてはカメラが密に配置され、離れた位置(上方、下方、側面、背面)には疎に配置されている。これは、特徴決定部111において特徴量が正面側からみた画像が相対的に大きいと算出され、視点設定部113にて特徴量に基づいてカメラ位置が決定されたためである。
As shown in the figure, a total of 6 cameras from A to H are arranged in L3, I and J are arranged slightly diagonally above the doll 900 in L2, and near the overhead of the doll 900 in L1. In L4, K is arranged at a position slightly diagonally below, L and M are arranged, and in L5, N is arranged near the feet. As a result, a total of 14 2D data obtained by setting the viewpoint positions to A to N in one 3D data are generated.
As shown in the figure, in this example, the camera is mainly arranged in front of the doll 900. More specifically, the cameras are densely arranged at positions close to θ = −90 and φ = 0, and sparsely arranged at distant positions (upper, lower, side, back). This is because the feature determination unit 111 calculates that the image with the feature amount viewed from the front side is relatively large, and the viewpoint setting unit 113 determines the camera position based on the feature amount.

なお、図5に示す光源およびカメラの配置は一例に過ぎない。カメラや光源の数や位置は、物体(3Dデータ)の特徴、ユーザの好み、生成される2Dデータのデータサイズについての制約などの通信環境、画像処理サーバ100に許容される処理負荷に関する条件など、ハードウェアリソースおよびソフトウェアリソースの少なくともいずれかに関する条件に応じて決定することができる。 The arrangement of the light source and the camera shown in FIG. 5 is only an example. The number and position of cameras and light sources are the characteristics of the object (3D data), the user's preference, the communication environment such as restrictions on the data size of the generated 2D data, and the conditions related to the processing load allowed by the image processing server 100. , Can be determined according to conditions relating to at least one of hardware and software resources.

カメラの数に関し、例えば、カメラの数が少ないほど生成される2Dデータ全体のデータ量は小さくなる一方、ユーザが選択できる視点が少なくなるので、3Dデータの再現性は低下するといえる。逆に、カメラの数が増えるほど、ユーザ端末200のユーザに2Dデータセットに基づいて、補間処理を行うなどして元の3Dデータ(に近似するデータ)を生成されてしまうというリスクが高まる。 Regarding the number of cameras, for example, it can be said that the reproducibility of 3D data is lowered because the amount of data of the entire 2D data generated becomes smaller as the number of cameras becomes smaller, but the viewpoints that can be selected by the user are reduced. On the contrary, as the number of cameras increases, there is a higher risk that the user of the user terminal 200 will generate the original 3D data (data close to) by performing interpolation processing based on the 2D data set.

カメラの位置に関し、物体の特徴部分は、物体によって異なるし、ユーザがどこに着目しているかなどユーザの主観に依存し得る。例えば、物体に「正面」が観念できたとしても、正面から画像が最も重要であるとは限らない。また、物体の全体像を様々な方向から万遍なく確認したいという場合もありうる。このような場合は、視点設定部113は、特徴量を用いることなく、カメラの配置を決定してもよい。一例としては、各レイヤに配置される数を同一に設定する。そして、同一レイヤ上のカメラの間隔が等しくなるように設定する。例えば、レイヤに30個、配置する場合は、θが12°ずつずれた位置に配置され、計150枚分の2Dデータが生成される。 Regarding the position of the camera, the characteristic portion of the object differs depending on the object, and may depend on the user's subjectivity such as where the user is paying attention. For example, even if an object can be thought of as "front", the image from the front is not always the most important. In addition, there may be a case where you want to check the whole image of an object evenly from various directions. In such a case, the viewpoint setting unit 113 may determine the arrangement of the cameras without using the feature amount. As an example, the number arranged in each layer is set to be the same. Then, the distance between the cameras on the same layer is set to be equal. For example, when 30 pieces are arranged on a layer, θ is arranged at a position shifted by 12 °, and 2D data for a total of 150 sheets is generated.

また、各カメラが全て基準点から等距離ある必要もない。例えば、物体表面からの距離がほぼ等距離になるようにカメラ位置を決定してもよい。原点Pの設定の仕方も図5に示した態様に限らない。Pは人形900が占める空間の外に設定されてもよい。
なお、カメラは同一の性能である必要はない。例えば、画角やフォーカスが異なる複数のカメラを配置してもよい。
要するに、1つの3Dデータに基づいて各々一の視点に対応する2Dデータが複数個生成されればよい。
Also, it is not necessary for each camera to be equidistant from the reference point. For example, the camera position may be determined so that the distance from the object surface is substantially equidistant. The method of setting the origin P is not limited to the mode shown in FIG. P may be set outside the space occupied by the doll 900.
The cameras do not have to have the same performance. For example, a plurality of cameras having different angles of view and focus may be arranged.
In short, it suffices to generate a plurality of 2D data corresponding to each viewpoint based on one 3D data.

図6〜10は、カメラ位置(A〜E)に応じた2Dデータを生成する場合に、各2Dデータの生成に適用される照明環境の例を示す。この例では、照明環境は光源1および光源3によって決定される。具体的には、光源3は、人形900の正面やや下方から人形900を照らす位置に配置され、カメラ位置(撮影方向)が変化しても仮想空間上の位置(換言すると人形900のちの位置関係)は一定である。これに対し光源1は、カメラと共にその位置が変化する。具体的には、光源1は、L3と同一平面内の角度θを有するL2内上の位置に配置される。換言すると、生成される5枚の2Dデータに基づく画像は全てカメラの上方に光源がある環境で「撮影」されることになる。 FIGS. 6 to 10 show an example of a lighting environment applied to the generation of each 2D data when the 2D data corresponding to the camera positions (A to E) are generated. In this example, the lighting environment is determined by light source 1 and light source 3. Specifically, the light source 3 is arranged at a position that illuminates the doll 900 from slightly below the front of the doll 900, and even if the camera position (shooting direction) changes, the position on the virtual space (in other words, the positional relationship after the doll 900). ) Is constant. On the other hand, the position of the light source 1 changes together with the camera. Specifically, the light source 1 is arranged at a position on L2 having an angle θ in the same plane as L3. In other words, all the generated images based on the 5 2D data will be "captured" in an environment with a light source above the camera.

一般に、コンピュータによって撮影方向の異なる複数の2Dデータを補完処理等してモデリングデータの復元を試みる場合、2Dデータの生成にあたって用いられてレンダリング処理の内容を推定する必要がある。すなわち、少なくとも照明環境についての何らかの仮定または推定を行う必要がある。例えば、物体に対する光源の位置は固定であるという仮定を採用する。この仮定は、最も合理的であると考えられる。なぜなら、現実世界においては照明環境が変化する(目にする3次元物体は光源が動くと)いうような状況は相当考えにくいので、よりリアルな表現を追求するとすればレンダリング処理において光源は固定されているべきであるからである。そして、該仮定した照明環境に基づいて各2Dデータを画像解析して、用いられた光源の個数や位置を割り出すことを試みる。
光源の個数や位置の推定が正しければ、ある部位について撮影方向の違いによる明度の違い(例えば影ができる大きさや方向の変化)に基づいて、2Dデータには欠けているその部位の立体形状(例えば凹凸の程度)に関する情報を高い精度で復元することができる。
復元に用いる2Dデータの数や光源の個数、形状の複雑度、コンピュータの演算能力等にもよるが、2Dデータが同一位置の光源という条件で生成されたものであった場合は、ある程度の精度で物体の形状を推定することが可能である。
Generally, when attempting to restore modeling data by complementing a plurality of 2D data having different shooting directions by a computer, it is necessary to estimate the content of the rendering process used in generating the 2D data. That is, at least some assumptions or estimates about the lighting environment need to be made. For example, we adopt the assumption that the position of the light source with respect to the object is fixed. This assumption is considered to be the most rational. Because, in the real world, it is quite unlikely that the lighting environment will change (the light source moves in the 3D object you see), so if you want to pursue a more realistic expression, the light source is fixed in the rendering process. Because it should be. Then, based on the assumed lighting environment, each 2D data is image-analyzed to try to determine the number and position of the light sources used.
If the estimation of the number and position of the light sources is correct, the three-dimensional shape of the part lacking in the 2D data (for example, the change in the size and direction of the shadow) due to the difference in the shooting direction for a certain part (for example, the change in the size and direction of the shadow). For example, information on the degree of unevenness) can be restored with high accuracy.
Depending on the number of 2D data used for restoration, the number of light sources, the complexity of the shape, the computing power of the computer, etc., if the 2D data is generated under the condition that the light sources are at the same position, the accuracy will be some degree. It is possible to estimate the shape of an object with.

しかし、この実施例のように、光源の位置が「撮影」の方向によって変化した結果、例えばどの角度からみても影がほとんどできないような画像群が生成されると、上述したコンピュータによる推定を行うことが阻害される。
一方で、人間がこのような複数の2Dデータに基づく画像を視認した場合、光源位置が変化していることに気が付くことはなく、人形の全体像を何の問題なく認識することができる。これは、それが人形であると認知できる本能的・経験的な人間の能力が発揮され、光源位置が固定であるとした場合に生じする多少の矛盾は無意識のうちに瞬時に脳内で補正されるからである。
仮に、このような複数の2Dデータに基づく画像に対してなんとなく違和感を抱くことがあったとしても、少なくとも、人形を複数の方向からみた画像であることが理解できないとか、人形の全体形状が全く想像できないとか、その他認知上の重大な悪影響が生じるといったことは、極めて考えにくい。
However, as in this embodiment, as a result of changing the position of the light source depending on the direction of "shooting", for example, when an image group in which shadows can hardly be seen from any angle is generated, the above-mentioned computer estimation is performed. Is hindered.
On the other hand, when a human visually recognizes an image based on such a plurality of 2D data, he / she does not notice that the position of the light source has changed, and can recognize the whole image of the doll without any problem. This is because the instinctive and empirical human ability to recognize it as a doll is demonstrated, and some contradictions that occur when the light source position is fixed are unknowingly and instantly corrected in the brain. Because it is done.
Even if you feel something is wrong with the image based on such multiple 2D data, at least you cannot understand that the image is an image of the doll viewed from multiple directions, or the overall shape of the doll is completely. It is extremely unlikely that it will be unimaginable or that it will have other significant cognitive adverse effects.

このように、2Dデータ生成時の照明環境を制御することで、コンピュータにとっては「不自然」な2Dデータの集合が提供されることになる一方、人間にとってはコンテンツを楽しむのに特段不都合ない2Dデータが提供されることになる。すなわち、ユーザに提供されるコンテンツの質には実質的に影響を与えることなく、コンピュータによるモデリングデータの復元を阻害することができる。
特に、図5の概念図で生成される複数の2Dデータのように、人形900から等距離にあって物体に対する方向が異なる位置を視点とする複数の画像を取得する場合、同一の物体に関する等距離で異なる方向の画像は、補完処理などの画像処理を施すこと等により、元のモデリングデータを復元し易いことから、2Dデータ生成時の照明環境を制御することで、コンピュータによるモデリングデータの復元を阻害する必要性が高い。
By controlling the lighting environment when generating 2D data in this way, a set of 2D data that is "unnatural" for the computer is provided, while 2D is not particularly inconvenient for humans to enjoy the content. Data will be provided. That is, it is possible to prevent the computer from restoring the modeling data without substantially affecting the quality of the content provided to the user.
In particular, when acquiring a plurality of images whose viewpoints are at equal distances from the doll 900 and in different directions with respect to an object, such as a plurality of 2D data generated in the conceptual diagram of FIG. 5, the same object is used, etc. Images in different directions depending on the distance can easily restore the original modeling data by performing image processing such as complement processing. Therefore, by controlling the lighting environment when generating 2D data, the modeling data can be restored by a computer. There is a high need to inhibit.

このような効果は、例えば光源位置をカメラの位置に関してランダムに決定した場合でも同様に生じる。
あるいは、光源位置とカメラ位置とを固定し、物体を仮想空間内において回転させて「撮影」することでも、同様の効果が生じる。このようにしても、物体を基準とした光源の位置が撮影ごとに変化している点で変わりないからである。
Such an effect also occurs, for example, when the position of the light source is randomly determined with respect to the position of the camera.
Alternatively, the same effect can be obtained by fixing the position of the light source and the position of the camera and rotating the object in the virtual space to "shoot". Even in this way, the position of the light source with respect to the object does not change in that it changes with each shooting.

図11は、1つの3Dデータから生成されるデータDのデータ構造の一例を示す。同図(a)はデータの全体構造を示す。データDは、ヘッダ部Dhおよび複数の2Dデータからなる画像データ本体Dmによって構成される。ヘッダ部Dhは、生成元の3Dデータを識別するための識別子と、このデータの構造を定義する情報を含む。この情報は、画像データ本体Dmに含まれる複数の2次元画像ファイルと複数の視点との関係を規定する。
(b)は画像データ本体Dmの詳細を示す。この例では、視点設定部113にて、5つのレイヤが設定され、レイヤごとに30枚(12°ごと)にカメラを配置された場合を示す。Dmには、IM1−1〜IM5−30の計150枚分の画像データが含まれ、これが、ヘッダ部Dhに規定された順番(この例ではレイヤごとにまとまて)で配列されている。
FIG. 11 shows an example of the data structure of the data D generated from one 3D data. FIG. 6A shows the overall structure of the data. The data D is composed of a header portion Dh and an image data main body Dm composed of a plurality of 2D data. The header portion Dh includes an identifier for identifying the 3D data of the generation source and information defining the structure of this data. This information defines the relationship between a plurality of two-dimensional image files included in the image data main body Dm and a plurality of viewpoints.
(B) shows the details of the image data main body Dm. In this example, five layers are set by the viewpoint setting unit 113, and 30 cameras (every 12 °) are arranged for each layer. The Dm contains image data for a total of 150 images of IM1-1 to IM5-30, which are arranged in the order specified in the header portion Dh (in this example, each layer is grouped together).

なお、生成される2Dデータは、図11に示すように全体として1つのファイルとして認識される形式でもよいし、個別の画像ファイルの集合として認識される形式でもよい。要するに、ユーザ端末200において扱われた場合に、それぞれ元の1つの3Dデータに基づいて生成されたということが認識されるような形式であればよい。後者の場合、例えば、各2Dデータは、元の3Dデータの識別情報と視点を示す情報とをヘッダに含む、1つの独立した画像ファイルとして生成される。 The generated 2D data may be in a format recognized as one file as a whole as shown in FIG. 11, or may be recognized as a set of individual image files. In short, any format may be used as long as it is recognized that the data is generated based on one original 3D data when handled by the user terminal 200. In the latter case, for example, each 2D data is generated as one independent image file containing the identification information of the original 3D data and the information indicating the viewpoint in the header.

図12は画像処理システム10の動作の一例である。ユーザ端末200は、ウェブブラウザ等を起動し、画像処理サーバ100が適用するウェブサイトにアクセスし、コンテンツを画像処理サーバ100の画面上に表示する(S102)。
図13は、ユーザ端末200にて画像表示アプリを実行した時に表示される画面W2の例である。3Dデータで表わされる物体の代表となる2D画像(同図では正面からみた画像)がサムネイル表示される。
ユーザは、閲覧したい画像を指定する(S104)と、当該画像の識別情報を含む要求が画像処理サーバ100に送信される(S106)。
FIG. 12 is an example of the operation of the image processing system 10. The user terminal 200 starts a web browser or the like, accesses a website to which the image processing server 100 applies, and displays the content on the screen of the image processing server 100 (S102).
FIG. 13 is an example of the screen W2 displayed when the image display application is executed on the user terminal 200. A 2D image (an image seen from the front in the figure), which is a representative of an object represented by 3D data, is displayed as a thumbnail.
When the user specifies an image to be viewed (S104), a request including identification information of the image is transmitted to the image processing server 100 (S106).

画像処理サーバ100は、指定された物体の3Dデータを取得し(S108)、当該3Dデータに基づいて2Dデータセットを生成する(S110)。生成された2Dデータセットは互いに関連付けられてユーザ端末200に送信され(S112)、表示部230に記憶される。 The image processing server 100 acquires 3D data of the designated object (S108) and generates a 2D data set based on the 3D data (S110). The generated 2D data sets are associated with each other, transmitted to the user terminal 200 (S112), and stored in the display unit 230.

ユーザ端末200において、自動的にまたはユーザの指示により、描画アプリケーションが起動されると、2Dデータセットが読み込まれ、図14に示すような画面W3が表示される。ここでは2Dデータセットのうち代表となる方向(ここでは正面)に対応する一つの2Dデータがデフォルトとして選択され、その画像が表示される(S114)。加えて、この画面W3にはユーザが見たい方向を指定することを促すメッセージが表示される。 When the drawing application is started automatically or by the user's instruction in the user terminal 200, the 2D data set is read and the screen W3 as shown in FIG. 14 is displayed. Here, one 2D data corresponding to a representative direction (here, the front) of the 2D data set is selected as the default, and the image is displayed (S114). In addition, a message prompting the user to specify the desired direction is displayed on the screen W3.

ユーザが方向(例えば水平面内の45°回転した位置)を指定すると、画像処理部250は指定された方向に対応する1つの2Dデータを読み出して表示する(S116)。この結果、例えばW4のような画面が表示される。なお、ユーザが指定した方向(例えば14°回転した方向)に相当する2Dデータが存在しない場合は、そのような指定を無視するか、あるいは指定した方向に最も近い方向の2Dデータが抽出される。例えば、この状態から更に連続的に同一方向に45°回転すること指示を受付けると、順にW5、W6、W7に示すような画面が連続して表示され、あたかも人形900を回転させたごとくユーザには感じられる。 When the user specifies a direction (for example, a position rotated by 45 ° in the horizontal plane), the image processing unit 250 reads out and displays one 2D data corresponding to the specified direction (S116). As a result, a screen such as W4 is displayed. If there is no 2D data corresponding to the direction specified by the user (for example, the direction rotated by 14 °), such designation is ignored or the 2D data in the direction closest to the specified direction is extracted. .. For example, when an instruction to continuously rotate 45 ° in the same direction is received from this state, the screens shown in W5, W6, and W7 are continuously displayed in order, and the user is as if the doll 900 was rotated. Can be felt.

上記実施例によれば、ユーザ端末200に複数の2Dデータを提供することで、あたかもユーザ端末200が保有する3Dデータに基づいて演算した結果が表示されているような感覚をユーザに与えることができる。ここで、この2Dデータの生成に適用された照明環境は2Dデータごとに異なっているので、ユーザ端末200にてモデリングデータを復元することを困難となる一方で、ユーザに実質的な違和感を与えることがない。
また、2Dデータを送信することで、元の3Dデータを送信する場合に比べてやり取りされるデータの量が小さくなり、画像処理サーバ100とユーザ端末200との間のレスポンスが向上する。加えて、端末に3Dデータに基づく描画機能を有するアプリケーションをインストールしておく必要もない。
According to the above embodiment, by providing a plurality of 2D data to the user terminal 200, it is possible to give the user a feeling as if the result of calculation based on the 3D data possessed by the user terminal 200 is displayed. can. Here, since the lighting environment applied to the generation of the 2D data is different for each 2D data, it becomes difficult to restore the modeling data on the user terminal 200, but it gives the user a feeling of substantial discomfort. Never.
Further, by transmitting the 2D data, the amount of data exchanged becomes smaller than in the case of transmitting the original 3D data, and the response between the image processing server 100 and the user terminal 200 is improved. In addition, it is not necessary to install an application having a drawing function based on 3D data on the terminal.

<その他の実施例>
以下、部位指定部150を介して部位が指定された場合に照明制御部114および照明設定部115で実行される処理の内容について説明する。
図19は、人形900のうち秘匿対象とすべき部位として、鼻に相当する部位SPが部位指定部150にて指定されたとする。この指定に基づき、照明設定部115は、図20〜24に示すような視点と光源の位置関係を規定する照明環境情報を生成する決定する。
すなわち、顔を正面から撮影する場合は(図22)、顔全体が暗くなるように(影が顔面全体にできるように)、光源を頭部の後ろ側に配置する。顔を真横から撮影する場合は、顔全体が照らされて影ができにくいような正面やや上方の位置に光源を配置する(図23、24)。顔を斜めからみた場合は、光源は、カメラのほぼ真上に配置し、影がカメラと反対側の顔にできるようにする(図20、21)。これらの5枚の2次元画像から画像の明度(影のでき方)に基づいてコンピュータが立体形状を復元しようとした場合、本来周囲よりも盛り上がっている鼻が平坦になっている、あるいは逆に凹んでいるなど、表面の凹凸の状態をより誤認識しやすくなる。
このように、指定した部位に基づいて照明環境を制御することで、特定の部位について重点的に復元を阻害し、あるいは間違った立体形状への認識を積極的に誘導することができる。
<Other Examples>
Hereinafter, the contents of the processing executed by the lighting control unit 114 and the lighting setting unit 115 when the part is designated via the part designation unit 150 will be described.
In FIG. 19, it is assumed that the part SP corresponding to the nose is designated by the part designation unit 150 as the part to be concealed in the doll 900. Based on this designation, the lighting setting unit 115 determines to generate lighting environment information that defines the positional relationship between the viewpoint and the light source as shown in FIGS. 20 to 24.
That is, when the face is photographed from the front (FIG. 22), the light source is arranged behind the head so that the entire face becomes dark (so that shadows can be cast on the entire face). When shooting the face from the side, the light source is placed at a position slightly above the front so that the entire face is illuminated and shadows are unlikely to be formed (FIGS. 23 and 24). When the face is viewed from an angle, the light source is placed almost directly above the camera so that the shadow can be cast on the face on the opposite side of the camera (FIGS. 20 and 21). When a computer tries to restore a three-dimensional shape from these five two-dimensional images based on the brightness of the image (how shadows are formed), the nose, which is originally raised from the surroundings, is flattened, or vice versa. It becomes easier to misrecognize the state of unevenness on the surface such as dents.
In this way, by controlling the lighting environment based on the designated part, it is possible to intensively inhibit the restoration of a specific part or positively induce the recognition of the wrong three-dimensional shape.

2Dデータの提供方法は、図12に示した態様に限られない。図19は、画像処理システム10の動作の他の例である。同図において、図12と同一の符号は同一の動作内容を示す。この例において図12の動作と異なるのは、ユーザ端末200が2Dデータセットを一括して受信するのではなく、必要に応じて受信する点である。すなわち、ユーザは表示対象を指定する際に、1つの方向を更に指定する(S103)。具体的には、描画アプリケーションは、W3のように、ある3Dデータに関連付けられた1つの2Dデータを表示中に、ユーザから新たな方向の指定を受付けると、当該3Dデータの識別情報に加えて、当該方向を表す情報を画像処理サーバ100に送信する(S106)。 The method of providing 2D data is not limited to the mode shown in FIG. FIG. 19 is another example of the operation of the image processing system 10. In the figure, the same reference numerals as those in FIG. 12 indicate the same operation contents. The difference from the operation of FIG. 12 in this example is that the user terminal 200 does not receive the 2D data sets all at once, but receives them as needed. That is, when the user specifies the display target, one direction is further specified (S103). Specifically, when a drawing application receives a new direction designation from a user while displaying one 2D data associated with a certain 3D data, such as W3, the drawing application is added to the identification information of the 3D data. , Information indicating the direction is transmitted to the image processing server 100 (S106).

画像処理サーバ100では、当該3Dデータが記憶部130に記憶されていれば読み出し、記憶されていなければ新たに取得する(S108)。
続いて画像処理サーバ100は、指定された方向に対応する1つの2Dデータを抽出する(S120)。そのようなデータが記憶部130に既に記憶されている場合は読み出す。具体的には、当該3Dデータに関連する2Dデータとして指定された方向と同一の方向からみた2Dデータが既に存在すればそのデータが読み出される。同一の角度のデータが存在しない場合は、最も近い角度の2Dデータが読み出される。あるいは、制御部110は新たに指定された方向からみた2Dデータを新たに生成してもよい。
抽出または生成された1つの2Dデータはユーザ端末200に送信される(S122)。画像処理サーバ100にて描画表示アプリケーションは、受信した2Dデータに基づいて描画処理を実行する。ユーザによって指定された方向に応じた画像が表示される点は上述の実施例と同様である。
In the image processing server 100, if the 3D data is stored in the storage unit 130, it is read out, and if it is not stored, it is newly acquired (S108).
Subsequently, the image processing server 100 extracts one 2D data corresponding to the designated direction (S120). If such data is already stored in the storage unit 130, it is read out. Specifically, if the 2D data viewed from the same direction as the direction designated as the 2D data related to the 3D data already exists, the data is read out. If the data of the same angle does not exist, the 2D data of the closest angle is read out. Alternatively, the control unit 110 may newly generate 2D data viewed from a newly designated direction.
One extracted or generated 2D data is transmitted to the user terminal 200 (S122). The drawing display application on the image processing server 100 executes drawing processing based on the received 2D data. The point that the image corresponding to the direction specified by the user is displayed is the same as the above-described embodiment.

例えば、図12に示す動作例のように複数の角度に対応する複数の2Dデータを一度に受信した場合は、図26に示す画面W8のように、一画面に複数の画像を表示してもよい。この場合、一画面に表示されるのは取得した2Dデータのうちの一部であってもよい。図26の場合は、取得した150個の2Dデータのうち(θ=0°〜180°、φ=0)にある5つのデータのみを一度に表示している。すなわち、ユーザが表示を指定する方向は1つの方向に限らず、複数の方向または方向の範囲であってもよい。この指定方法は、図25に示す2Dデータの提供の態様においても適用できる。 For example, when a plurality of 2D data corresponding to a plurality of angles are received at one time as in the operation example shown in FIG. 12, even if a plurality of images are displayed on one screen as in the screen W8 shown in FIG. 26. good. In this case, what is displayed on one screen may be a part of the acquired 2D data. In the case of FIG. 26, only 5 data in (θ = 0 ° to 180 °, φ = 0) out of 150 acquired 2D data are displayed at one time. That is, the direction in which the user specifies the display is not limited to one direction, and may be a range of a plurality of directions or directions. This designation method can also be applied to the aspect of providing the 2D data shown in FIG.

視点設定部113は、同一方向に2以上のカメラを配置してもよい。具体的には、ユーザは方向に加えて物体から視点までの距離を指定し、画像処理サーバ100は指定された方向および距離(拡大/縮小率)に応じて2Dデータをユーザ端末200に提供する。この結果、回転操作に加えてズーム操作を行っているような感覚をユーザに与えることができる。 The viewpoint setting unit 113 may arrange two or more cameras in the same direction. Specifically, the user specifies the distance from the object to the viewpoint in addition to the direction, and the image processing server 100 provides the user terminal 200 with 2D data according to the designated direction and distance (enlargement / reduction ratio). .. As a result, it is possible to give the user the feeling of performing a zoom operation in addition to the rotation operation.

要するに、本発明のシステムにおいては、物体が位置する空間の照明環境を設定する設定手段と、前記物体の3次元形状を表すモデリングデータに基づいて、前記照明環境の下、一の方向からみた前記物体を表す2次元画像データを複数生成する生成手段と、前記生成手段にて生成される複数の2次元画像データに含まれる第1の画像データと第2の画像データとに対して異なる照明環境が適用されるように、前記設定手段を制御する制御手段と、前記生成手段にて生成された複数の2次元画像データの全部または一部を同時にもしくは関連付けて出力または該生成された複数の2次元画像データのうちユーザが選択した2次元画像データを出力する出力手段と、を有していればよい。 In short, in the system of the present invention, based on the setting means for setting the lighting environment of the space where the object is located and the modeling data representing the three-dimensional shape of the object, the above-mentioned view from one direction under the lighting environment. A generation means that generates a plurality of two-dimensional image data representing an object, and a different lighting environment for the first image data and the second image data included in the plurality of two-dimensional image data generated by the generation means. Is applied, and the control means for controlling the setting means and the plurality of two-dimensional image data generated by the generation means are output or generated simultaneously or in association with all or part of the plurality of two-dimensional image data. It suffices to have an output means for outputting the two-dimensional image data selected by the user among the dimensional image data.

100・・・画像処理サーバ、200・・・ユーザ端末、110・・・制御部、111・・・特徴決定部、112・・・データ生成部、113・・・視点設定部、114・・・照明制御部、115・・・照明設定部、130・・・記憶部、140・・・表示部、150・・・部位指定部、120・・・通信部、121・・・送信部、122・・・受信部、230・・・表示部、210・・・通信部、220・・・入力部、240・・・記憶部、250・・・画像処理部 100 ... image processing server, 200 ... user terminal, 110 ... control unit, 111 ... feature determination unit, 112 ... data generation unit, 113 ... viewpoint setting unit, 114 ... Lighting control unit, 115 ... Lighting setting unit, 130 ... Storage unit, 140 ... Display unit, 150 ... Site designation unit, 120 ... Communication unit, 121 ... Transmission unit, 122.・ ・ Receiver unit, 230 ・ ・ ・ Display unit, 210 ・ ・ ・ Communication unit, 220 ・ ・ ・ Input unit, 240 ・ ・ ・ Storage unit, 250 ・ ・ ・ Image processing unit

Claims (6)

物体が位置する空間の照明環境を設定する設定手段と、
前記物体の3次元形状を表すモデリングデータに基づいて、前記照明環境の下、一の方向からみた前記物体を表す2次元画像データを複数生成する生成手段と、
前記生成手段にて生成される複数の2次元画像データに含まれる第1の画像データと第2の画像データとに対して異なる照明環境が適用されるように、前記設定手段を制御する制御手段と、
前記生成手段にて生成された2次元画像データの全部または一部を同時にもしくは関連付けて出力または該生成された複数の2次元画像データのうちユーザが選択した2次元画像データを出力する出力手段と
を有し、
前記制御手段は、前記空間内に設けられる光源の位置を、前記2次元画像データの視点の位置に応じて決定する
画像処理装置。
Setting means for setting the lighting environment of the space where the object is located,
A generation means for generating a plurality of two-dimensional image data representing the object viewed from one direction under the lighting environment based on modeling data representing the three-dimensional shape of the object.
A control means for controlling the setting means so that different lighting environments are applied to the first image data and the second image data included in the plurality of two-dimensional image data generated by the generation means. When,
An output means that outputs all or part of the two-dimensional image data generated by the generation means at the same time or in association with each other, or outputs the two-dimensional image data selected by the user from the plurality of generated two-dimensional image data. Have,
The control means, the position of the light source provided in said space, an image processing apparatus for determining in accordance with the position of the viewpoint of the two-dimensional image data.
前記複数の2次元画像データは、前記物体から等距離で且つ前記物体への方向が互いに異なる位置を視点とする画像である
ことを特徴とする請求項1に記載の画像処理装置。
The image processing apparatus according to claim 1, wherein the plurality of two-dimensional image data are images whose viewpoints are positions equidistant from the object and whose directions to the object are different from each other.
前記物体の部位の指定をユーザから受付ける受付手段を更に備え、
前記制御手段は、該指定された部位のコントラストが他の部位よりも低くなるようにシェーディングが施されるように前記設定手段を制御する
ことを特徴とする請求項1または2に記載の画像処理装置。
Further provided with a reception means for receiving the designation of the part of the object from the user,
The image processing according to claim 1 or 2 , wherein the control means controls the setting means so that shading is applied so that the contrast of the designated portion is lower than that of other portions. Device.
前記物体の部位の指定をユーザから受付ける受付手段を更に備え、
前記制御手段は、情報処理装置において前記複数の2次元画像データに基づいてモデリングデータを生成した場合に当該部位の再現性が他の部位の再現性よりも低下するように、前記設定手段を制御する、
ことを特徴とする請求項1ないしのいずれか一つに記載の画像処理装置。
Further provided with a reception means for receiving the designation of the part of the object from the user,
The control means controls the setting means so that the reproducibility of the portion is lower than the reproducibility of the other portion when the modeling data is generated based on the plurality of two-dimensional image data in the information processing apparatus. do,
The image processing apparatus according to any one of claims 1 to 3.
コンピュータに、
物体が位置する空間の照明環境を設定するステップと、
前記物体の3次元形状を表すモデリングデータに基づいて、前記照明環境の下、一の方向からみた前記物体を表す2次元画像データを複数生成するステップと、
前記生成される複数の2次元画像データに含まれる第1の画像データと第2の画像データと対して異なる照明環境が適用されるように、前記照明環境を制御するステップと、
該生成された2次元画像データの全部または一部を同時にもしくは関連付けて出力または該生成された複数の2次元画像データのうちユーザが選択した2次元画像データを出力するステップと
を実行させるためのプログラムであって、
前記空間内に設けられる光源の位置は、前記2次元画像データの視点の位置に応じて決定される、
プログラム。
On the computer
Steps to set the lighting environment of the space where the object is located,
A step of generating a plurality of two-dimensional image data representing the object viewed from one direction under the lighting environment based on modeling data representing the three-dimensional shape of the object.
A step of controlling the lighting environment so that different lighting environments are applied to the first image data and the second image data included in the plurality of generated two-dimensional image data.
To execute a step of outputting all or part of the generated 2D image data at the same time or in association with each other, or outputting the 2D image data selected by the user from the generated plurality of 2D image data. It ’s a program,
Position of the light source provided in the space is determined in accordance with the position of the 2-dimensional image data of viewpoints,
program.
物体が位置する空間の照明環境を設定するステップと、
前記物体の3次元形状を表すモデリングデータに基づいて、前記照明環境の下、一の方向からみた前記物体を表す2次元画像データを複数生成するステップと、
前記生成される複数の2次元画像データに含まれる第1の画像データと第2の画像データと対して異なる照明環境が適用されるように、前記照明環境を制御するステップと、
該生成された2次元画像データの全部または一部を同時にもしくは関連付けて出力または該生成された複数の2次元画像データのうちユーザが選択した2次元画像データを出力するステップと
を有し、
前記空間内に設けられる光源の位置は、前記2次元画像データの視点の位置に応じて決定される、
画像処理方法。
Steps to set the lighting environment of the space where the object is located,
A step of generating a plurality of two-dimensional image data representing the object viewed from one direction under the lighting environment based on modeling data representing the three-dimensional shape of the object.
A step of controlling the lighting environment so that different lighting environments are applied to the first image data and the second image data included in the plurality of generated two-dimensional image data.
It has a step of outputting all or a part of the generated 2D image data at the same time or in association with each other, or outputting the 2D image data selected by the user from the generated plurality of 2D image data.
Position of the light source provided in the space is determined in accordance with the position of the 2-dimensional image data of viewpoints,
Image processing method.
JP2017016638A 2017-02-01 2017-02-01 Image processing device Active JP6978838B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017016638A JP6978838B2 (en) 2017-02-01 2017-02-01 Image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017016638A JP6978838B2 (en) 2017-02-01 2017-02-01 Image processing device

Publications (2)

Publication Number Publication Date
JP2018124806A JP2018124806A (en) 2018-08-09
JP6978838B2 true JP6978838B2 (en) 2021-12-08

Family

ID=63110368

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017016638A Active JP6978838B2 (en) 2017-02-01 2017-02-01 Image processing device

Country Status (1)

Country Link
JP (1) JP6978838B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020007537A (en) 2018-06-29 2020-01-16 信越化学工業株式会社 Curable organosilicon resin composition, and semiconductor device
JP7409014B2 (en) * 2019-10-31 2024-01-09 富士フイルムビジネスイノベーション株式会社 display device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003302211A (en) * 2002-04-11 2003-10-24 Canon Inc Three-dimensional image processing unit and method
JP4081033B2 (en) * 2004-03-18 2008-04-23 株式会社リコー Watermark information embedding method, watermark information embedding device and medium, and three-dimensional shape model display method, three-dimensional shape model display device and medium
JP2015099545A (en) * 2013-11-20 2015-05-28 株式会社東芝 Image generation system and image generation program
JP6314672B2 (en) * 2014-06-10 2018-04-25 株式会社リコー Display processing apparatus, display processing method, and program

Also Published As

Publication number Publication date
JP2018124806A (en) 2018-08-09

Similar Documents

Publication Publication Date Title
US10147233B2 (en) Systems and methods for generating a 3-D model of a user for a virtual try-on product
JP7007348B2 (en) Image processing equipment
JP4819164B2 (en) Image-mapped point cloud with the ability to accurately display point coordinates
JP5011168B2 (en) Virtual viewpoint image generation method, virtual viewpoint image generation apparatus, virtual viewpoint image generation program, and computer-readable recording medium recording the program
JP4276178B2 (en) Method for digital rendering of skin or similar
TWI786157B (en) Apparatus and method for generating a tiled three-dimensional image representation of a scene
WO2013175700A1 (en) Information processing device and information processing method
KR20170134513A (en) How to Display an Object
JP7353782B2 (en) Information processing device, information processing method, and program
JP6978838B2 (en) Image processing device
US10163250B2 (en) Arbitrary view generation
de Haan et al. Egocentric navigation for video surveillance in 3D virtual environments
JP4809480B2 (en) Computer graphics method and system for generating images with rounded corners
KR101817756B1 (en) PTM making system based on 3D model with interactive viewpoint control and method using the same
JP6917140B2 (en) Image processing device
JP6719168B1 (en) Program, apparatus and method for assigning label to depth image as teacher data
JP6679966B2 (en) Three-dimensional virtual space presentation system, three-dimensional virtual space presentation method and program
JP2020166473A (en) Trained model generation device and program and trained model generation system
JP7517410B2 (en) IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND 3D MODEL DATA GENERATION METHOD
CN112862968B (en) Rendering display method, device and equipment of target vegetation model and storage medium
WO2018151612A1 (en) Texture mapping system and method
JP2023153534A (en) Image processing apparatus, image processing method, and program
JP2017215706A (en) Video synthesis method, video acquisition device, video synthesis system, and computer program
Kolivand et al. Livephantom: Retrieving virtual world light data to real environments
JP7439042B2 (en) Image processing device, image processing method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211112

R150 Certificate of patent or registration of utility model

Ref document number: 6978838

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250