JP2006040045A - Information processor, cubic object, information processing system and information processing method - Google Patents
Information processor, cubic object, information processing system and information processing method Download PDFInfo
- Publication number
- JP2006040045A JP2006040045A JP2004220517A JP2004220517A JP2006040045A JP 2006040045 A JP2006040045 A JP 2006040045A JP 2004220517 A JP2004220517 A JP 2004220517A JP 2004220517 A JP2004220517 A JP 2004220517A JP 2006040045 A JP2006040045 A JP 2006040045A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- dimensional object
- barcode
- image
- dimensional barcode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
Description
本発明は情報処理装置、立体物、情報処理システム及び情報処理方法に関し、特に2次元バーコードを認識して3次元画像を表示する情報処理装置及び撮像対象となる立体物、2次元バーコードを認識して3次元画像を表示する情報処理システム及び情報処理方法に関する。 The present invention relates to an information processing device, a three-dimensional object, an information processing system, and an information processing method, and in particular, an information processing device that recognizes a two-dimensional barcode and displays a three-dimensional image, and a three-dimensional object and two-dimensional barcode to be imaged. The present invention relates to an information processing system and an information processing method for recognizing and displaying a three-dimensional image.
従来、カードや紙媒体に印刷された2次元バーコードをカメラで撮像し、そのパターンを読み取り、あたかも2次元バーコード上に立体物が存在するかのように、テレビなどの画面上に、パターンに対応したコンピュータグラフィック(以下CGと表記する)画像を表示する技術があった(例えば、特許文献1参照)。 Conventionally, a two-dimensional barcode printed on a card or paper medium is imaged with a camera, the pattern is read, and the pattern is displayed on the screen of a television or the like as if a three-dimensional object exists on the two-dimensional barcode. There is a technique for displaying a computer graphic (hereinafter referred to as CG) image corresponding to the above (for example, see Patent Document 1).
図9は、2次元バーコードの例である。
2次元バーコードは、1ブロックを1単位とし、縦方向が9.5ブロック分の長さで、横方向が7ブロック分の長さの長方形の範囲内に、セル部とロゴ部が1ブロック分離して配置されている。セル部では、7×7ブロックの範囲内に複数の正方形状のセル(黒色の部分)が所定の配列規則に従って2次元的に配置されており、この配列パターンにより、所定のコードが記録されている。一方、ロゴ部は、縦方向が1.5ブロック、横方向が7ブロックのセルからなり、オブジェクトの名称、あるいは宣伝のためのマーク(ロゴ)などが記載される。このような2次元バーコードでは、セル部の四隅のブロックにはセルが配置され、それらのセルの周囲3ブロックにはセルが配置されていない。これによって、1つの2次元バーコードが把握可能となり、向きはロゴ部が常に2次元バーコードの下部であると定義することによって把握できる。
FIG. 9 is an example of a two-dimensional barcode.
A two-dimensional barcode has one block as one unit, one block for the cell portion and the logo portion within a rectangular area that is 9.5 blocks long in the vertical direction and 7 blocks long in the horizontal direction. They are arranged separately. In the cell portion, a plurality of square cells (black portions) are two-dimensionally arranged in a 7 × 7 block range according to a predetermined arrangement rule, and a predetermined code is recorded by this arrangement pattern. Yes. On the other hand, the logo part is composed of cells of 1.5 blocks in the vertical direction and 7 blocks in the horizontal direction, and the name of the object or a mark (logo) for advertisement is described. In such a two-dimensional barcode, cells are arranged in the four corner blocks of the cell portion, and no cells are arranged in the three blocks around the cells. Thus, one two-dimensional barcode can be grasped, and the orientation can be grasped by defining that the logo portion is always below the two-dimensional barcode.
図10は、2次元バーコードを認識してCG表現した画面例である。
このように、カード500に印刷された2次元バーコード501をカメラで認識し、そのIDに合わせて生成したCG画像502を、認識した2次元バーコード501の位置に合成するような表現が可能となっている。
In this way, the
しかし、従来の2次元バーコードにおいては、あくまでカードや紙媒体などの平面を認識することしかできず、表現が限られていた。
本発明はこのような点に鑑みてなされたものであり、2次元バーコードを用いて立体物を認識可能とし、その立体物と組み合わせた画像を生成可能な情報処理装置を提供することを目的とする。
However, the conventional two-dimensional barcode can only recognize a plane such as a card or a paper medium, and its expression is limited.
The present invention has been made in view of these points, and an object thereof is to provide an information processing apparatus that can recognize a three-dimensional object using a two-dimensional barcode and generate an image combined with the three-dimensional object. And
また、本発明の他の目的は、2次元バーコードを検出する情報処理装置が、撮像された向きを容易に認識できるような立体物を提供することである。
また、本発明の他の目的は、2次元バーコードを用いて立体物を認識可能とし、その立体物と組み合わせた画像を生成可能な情報処理システムを提供することである。
Another object of the present invention is to provide a three-dimensional object that allows an information processing apparatus that detects a two-dimensional barcode to easily recognize the direction in which the image is captured.
Another object of the present invention is to provide an information processing system capable of recognizing a three-dimensional object using a two-dimensional barcode and generating an image combined with the three-dimensional object.
また、本発明の他の目的は、2次元バーコードを用いて立体物を認識可能とし、その立体物と組み合わせた画像を生成可能な情報処理方法を提供することである。 Another object of the present invention is to provide an information processing method capable of recognizing a three-dimensional object using a two-dimensional barcode and generating an image combined with the three-dimensional object.
本発明では上記問題を解決するために、2次元バーコードを認識してコンピュータグラフィック画像を表示する情報処理装置において、複数の2次元バーコードが所定の位置に配置された立体物を撮像した撮像画像より、前記2次元バーコードを検出するバーコード検出部と、前記2次元バーコードと、前記立体物との空間的な位置関係を記憶した記憶部と、検出された前記2次元バーコードと、前記立体物との前記位置関係を参照して、前記立体物の空間的位置に合わせたコンピュータグラフィック画像を生成し出力する画像処理部とが提供される。 In the present invention, in order to solve the above-described problem, in an information processing apparatus that recognizes a two-dimensional barcode and displays a computer graphic image, an image obtained by imaging a three-dimensional object in which a plurality of two-dimensional barcodes are arranged at predetermined positions From the image, a barcode detection unit that detects the two-dimensional barcode, a storage unit that stores a spatial positional relationship between the two-dimensional barcode and the three-dimensional object, and the detected two-dimensional barcode An image processing unit that generates and outputs a computer graphic image in accordance with a spatial position of the three-dimensional object with reference to the positional relationship with the three-dimensional object is provided.
上記の構成によれば、バーコード検出部は、複数の2次元バーコードが所定の位置に配置された立体物を撮像した撮像画像より2次元バーコードを検出する。また、記憶部は2次元バーコードと立体物との空間的な位置関係を記憶しており、画像処理部は、検出された2次元バーコードと、立体物との位置関係を参照して、立体物の空間的位置に合わせたコンピュータグラフィック画像を生成し出力する。 According to said structure, a barcode detection part detects a two-dimensional barcode from the picked-up image which imaged the solid object in which the several two-dimensional barcode was arrange | positioned in the predetermined position. The storage unit stores a spatial positional relationship between the two-dimensional barcode and the three-dimensional object, and the image processing unit refers to the positional relationship between the detected two-dimensional barcode and the three-dimensional object, A computer graphic image that matches the spatial position of the three-dimensional object is generated and output.
また、撮像対象となる立体物において、前記立体物上の所定の位置に、複数の2次元バーコードが配置され、前記2次元バーコードは、前記立体物固有の第1の識別情報及び、前記2次元バーコードが配置される前記立体物上における位置または方向を識別するための第2の識別情報を有していることを特徴とする立体物が提供される。 In the three-dimensional object to be imaged, a plurality of two-dimensional barcodes are arranged at predetermined positions on the three-dimensional object, and the two-dimensional barcode includes first identification information unique to the three-dimensional object, and There is provided a three-dimensional object characterized by having second identification information for identifying a position or direction on the three-dimensional object on which the two-dimensional barcode is arranged.
上記の構成によれば、2次元バーコードを認識可能な撮像側は、撮像された立体物の向きを容易に認識可能になる。 According to the above configuration, the imaging side capable of recognizing the two-dimensional barcode can easily recognize the orientation of the captured three-dimensional object.
本発明は、複数の2次元バーコードが所定の位置に配置された立体物を撮像した撮像画像より2次元バーコードを検出し、記憶部は2次元バーコードと立体物との空間的な位置関係を記憶しており、検出された2次元バーコードと、立体物との位置関係を参照して、立体物の空間的位置に合わせたコンピュータグラフィック画像を生成し出力するので、立体物を2次元バーコードを用いて簡単に認識でき、立体物と組み合わせた画像を生成できるようになる。 The present invention detects a two-dimensional barcode from a captured image obtained by imaging a three-dimensional object in which a plurality of two-dimensional barcodes are arranged at predetermined positions, and a storage unit spatially positions the two-dimensional barcode and the three-dimensional object. The relationship is stored, and a computer graphic image that matches the spatial position of the three-dimensional object is generated and output with reference to the positional relationship between the detected two-dimensional barcode and the three-dimensional object. It can be easily recognized using a three-dimensional barcode, and an image combined with a three-dimensional object can be generated.
また、立体物は、立体物上の所定の位置に、複数の2次元バーコードを配置し、その2次元バーコードは、立体物固有の識別情報と、2次元バーコードが配置される立体物上における位置または方向を識別するための識別情報を有しているので、2次元バーコードを認識可能な撮像側は、撮像された立体物の向きを容易に認識できる。 The three-dimensional object has a plurality of two-dimensional barcodes arranged at predetermined positions on the three-dimensional object, and the two-dimensional barcode is a three-dimensional object in which identification information unique to the three-dimensional object and a two-dimensional barcode are arranged. Since it has identification information for identifying the position or direction above, the imaging side capable of recognizing the two-dimensional barcode can easily recognize the direction of the captured three-dimensional object.
以下、本発明の実施の形態を図面を参照して詳細に説明する。
図1は、情報処理装置の機能ブロック図である。
情報処理装置10は、バーコード検出部11、記憶部12、画像処理部13を有する。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a functional block diagram of the information processing apparatus.
The
バーコード検出部11は、CCD(Charge Coupled Device)カメラなどの撮像装置20で撮像されて取り込まれた立体物30の撮像画像より、2次元バーコードを検出する。
立体物30は、例えば、図のように、人形30aとその台座30bからなる。そして、この例では台座30bの上面を除く各面に2次元バーコード30cが配置される。2次元バーコード30cには、立体物30固有の識別情報(以下固有情報と称する)及び、2次元バーコード30cが配置される立体物30上における位置または方向を識別するための識別情報(以下位置・方向情報と称する)を有している。例えば、人形30aの正面、右側面、左側面、背面、下面に対応した位置に配置されている2次元バーコード30cのそれぞれに、位置・方向情報がコード化される。
The
The three-
例えば、24ビットある2次元バーコード30cにおいて、3ビットを方向表示(正面、右側面、左側面、背面、必要あれば下面)に割り当て、正面を“白白白”、右側面を“白白黒”、左側面を“白黒白”、背面を“白黒黒”、下面を“黒白白”などと表現できる。この他のビットについては、立体物30固有の固有情報を表現するために用い、各方向について同一の固有情報をコード化することにより、同一品の方向が異なる面であることを表現する。また、グループやカテゴリーなど、バーコード管理者が自由に設定できる。
For example, in a two-
記憶部12は、2次元バーコードと立体物30との空間的な位置関係を記憶している。
図2は、2次元バーコードと、立体物との空間的な位置関係を示す図である。
この図のように、立体物30の正面側に配置された2次元バーコード30cのロゴ部30dの左隅下を原点としたX−Y−Z座標を設定し、立体物30の空間的な位置を表現する。例えば、人形30aの右手先、左手先、右足先、左足先の座標を予め位置関係テーブル12aとして記憶部12に記憶しておく。なお、記憶部12の容量や、処理能力の問題から、立体物30の全ての座標を記録することはなく、立体物30の特徴点と、立っている平面の座標を数点予め記録しておけばよい。
The
FIG. 2 is a diagram illustrating a spatial positional relationship between a two-dimensional barcode and a three-dimensional object.
As shown in this figure, XYZ coordinates are set with the lower left corner of the
画像処理部13は、検出された2次元バーコード30cと、立体物30との位置関係を参照して、立体物30の空間的位置に合わせたCG画像を生成して出力する。
以下情報処理装置10の動作を説明する。
The
Hereinafter, the operation of the
撮像装置20に対して立体物30が所定の位置に配置され撮像が開始されると、情報処理装置10は撮像画像を取り込み、バーコード検出部11は撮像画像から2次元バーコード30cを検出する。なお、2次元バーコードそのものの認識は、例えば、特開2000−82108号公報(段落番号〔0055〕〜〔0112〕)に開示されており、2次元バーコードが撮像系に対して傾いているような状態であっても認識ができる。
When the three-
画像処理部13は、検出された2次元バーコード30cと、立体物30との位置関係を記憶部12より参照して、立体物30の空間的位置に合わせたCG画像を生成し、例えば、図1のようにディスプレイなどの表示部40に出力して表示させる。このとき、画像処理部13は、検出された2次元バーコード30cの固有情報を参照して、固有情報に対応した立体物30についての予め登録済みの画像処理を行う。2次元バーコード30cと、立体物30との位置関係が図2で示した位置関係テーブル12aよりわかるので、例えば、図のように、CG画像41を撮像画像の人形の手の位置から出現させるように合成させて、撮像画像の立体物30があたかも動いているかのような表現も可能である。すなわち、立体物30と組み合わせた画像が表現できる。
The
なお、ここでは、人形30aの正面の2次元バーコード30cが検出された場合について示したが、例えば、撮像装置20に対して側面や背面または下面が向けられている場合においても、その面に対応して配置された2次元バーコード30cを検出し、位置または方向を識別する位置・方向情報を参照することで、その位置や方向に応じたCG画像を生成することもできる。2次元バーコード30cに位置・方向情報を持たせることで、情報処理装置10は、立体物30がどの位置にあり、どちらの方向を向いているのかが簡単に認識できる。
Although the case where the two-
このように、本実施の形態の情報処理装置10によれば、2次元バーコード30cを用いて立体物を認識することができるので、撮像した立体物を用いた新たな映像表現が可能になる。
As described above, according to the
例えば、記憶した位置関係をもとに、撮像画像から立体物を消去したり、消去した立体物の代わりにCG画像を表示したりといった表現も簡単に可能になる。
図3は、撮像した立体物を消去してCG画像に置き換えた例である。
For example, on the basis of the stored positional relationship, it is possible to easily express a three-dimensional object from a captured image or display a CG image instead of the erased three-dimensional object.
FIG. 3 shows an example in which the captured three-dimensional object is deleted and replaced with a CG image.
このように実際に撮像した立体物の人形30aが、画面上では別のキャラクター41aでCG表示される。撮像装置20に対してユーザが人形30aの向きを変えると、それに応じて検出される2次元バーコードが代わり、その2次元バーコードの位置・方向情報が認識されることにより、画面上のキャラクター41aも向きを変えるような映像表現も可能となる。
The three-
表示するCGや画像の例としては、立体物そのものをディスプレイなどの表示部40の画面のなかではCG画像で表示させて、インタラクティブなゲームなどを表現するほか、炎や光線など映像効果を出したり、またその物体とは異なる物体の実写映像を提示したりしてもよい。
As examples of CG and images to be displayed, a three-dimensional object itself is displayed as a CG image on the screen of the
次に本実施の形態の情報処理装置10の具体的なハードウェア構成例を説明する。
図4は、情報処理装置のハードウェア構成例である。
情報処理装置10は、例えばPC(パーソナルコンピュータ)であり、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、HDD(Hard Disk Drive)104、グラフィック処理部105、入力I/F(Interface)106、通信I/F107などによって構成され、これらはバス108を介して相互に接続されている。
Next, a specific hardware configuration example of the
FIG. 4 is a hardware configuration example of the information processing apparatus.
The
ここで、CPU101は、ROM102や、HDD104に格納されているプログラムや、各種データに応じて各部を制御する。そして、2次元バーコードを認識する処理などを行う。
Here, the CPU 101 controls each unit according to programs stored in the
ROM102は、CPU101が実行する基本的なプログラムやデータを格納している。
RAM103は、CPU101が実行途中のプログラムや、演算途中のデータを格納している。
The
The
HDD104は、CPU101が実行するOS(Operating System)や、各種アプリケーションプログラムや、前述した立体物と2次元バーコードとの位置関係を示す位置関係テーブル12aなど、各種データを格納する。なお、位置関係テーブル12aは、DVD(Digital Versatile Disc)やCD−ROMなどの記録媒体(図示せず)に記録されていてもよく、これら各種データはRAM103に、例えば一部が展開されてCPU101により使用される。
The
グラフィック処理部105には、表示装置として例えば、ディスプレイ105aが接続されており、CPU101と連携して図1の画像処理部13の機能を実現する。例えば、CPU101からの描画命令に従って、ディスプレイ105a上に、撮像画像やCG画像などを表示する。
For example, a
入力I/F106には、マウス106aやキーボード106b、図1で示した撮像装置20であるカメラ106cなどの入力装置が接続されており、入力された情報や撮像画像を取り込み、バス108を介してRAM103などに伝送し、CPU101で使用可能にする。
The input I /
通信I/F107は、例えば、ネットワーク107aと接続して、ネットワーク107a上のサーバや端末と通信を行う。
以下、図4で示したようなハードウェア構成の情報処理装置10の処理の詳細を、フローチャートを用いて説明する。
The communication I /
Hereinafter, the details of the processing of the
例えば、ユーザにより、立体物がカメラ106cの撮像範囲内に配置され、例えば、HDD104に記憶された2次元バーコード認識処理を行うプログラムが取り出され実行されると、CPU101はプログラムに応じて、以下に示す処理を行う。
For example, when a user places a three-dimensional object within the imaging range of the
図5は、2次元バーコードの認識処理の流れを説明するフローチャートである。
情報処理装置10は、カメラ106cによる撮像画像を入力I/F106を介して取り込む(ステップS1)。取り込んだ撮像画像は、RAM103に一時記憶され、CPU101は、撮像画像より2次元バーコードを探知する(ステップS2)。CPU101は、ステップS2の処理の探知によって2次元バーコードが検出されたか否かを判定する(ステップS3)。2次元バーコードが検出されない場合には、例えば、その旨を表示して、ユーザに2次元バーコードが配置された立体物の、カメラ106cに対する距離や角度を調整するように促す。そしてステップS1からの処理に戻る。一方、2次元バーコードが検出された場合には、2次元バーコードから、固有情報や、位置または方向に関する位置・方向情報などの各種識別情報と、2次元バーコードの4つの頂点の位置を示す2次元座標などを取得し、例えば、RAM103に記憶する(ステップS4)。CPU101は、取得した各種識別情報が既にHDD104などに記憶されていて、登録済みか否かを判定し(ステップS5)、登録済みである場合には、CPU101の制御のもと、グラフィック処理部105は、登録済みの3次元画像表示処理を行う(ステップS6)。未登録の場合には、各種識別情報を例えば、HDD104に登録するとともに、その識別情報が検出されたときに行う処理なども登録する(ステップS7)。
FIG. 5 is a flowchart for explaining the flow of recognition processing of a two-dimensional barcode.
The
以上のステップS7までの処理は、例えば、特許文献1に開示されている2次元バーコードの認識処理とほぼ同じである。本実施の形態の情報処理装置10では、さらに、CPU101は、検出された2次元バーコードから、複数の固有情報が取得されたか否かを判定する(ステップS8)。複数の固有情報が取得されなかった場合には、ステップS1からの処理を繰り返す。複数の固有情報が取得された場合には、CPU101は、それが同一品、つまり同一の立体物の固有情報であるか否かの判定を行う(ステップS9)。
The processes up to step S7 described above are substantially the same as the two-dimensional barcode recognition process disclosed in
図6は、複数の立体物が撮像された場合を示す図である。
2つの立体物30、31が、図6のような配置で撮像された場合には、2次元バーコード30c−1、30c−2、31c−1、31c−2は4つ検出され、それに応じて4つの固有情報が取得される。ここで、2次元バーコード30c−1、30c−2は、同一の立体物30に配置されているものであるから固有情報は同一となる。また2次元バーコード31c−1、31c−2も、同一の立体物31に配置されているものであるから固有情報は同一である。
FIG. 6 is a diagram illustrating a case where a plurality of three-dimensional objects are captured.
When the two three-
ステップS9の処理で、同一の立体物の固有情報がない場合には、ステップS1からの処理を繰り返す。図6で示したように、同一の立体物の固有情報がある場合には、投影面積の大きな2次元バーコードの登録された各種識別情報を優先して設定し、投影面積の小さな2次元バーコードを無視する(ステップS10)。そして、ステップS1からの処理を繰り返す。図6の場合、同一の固有情報を持つ2次元バーコード30c−1、30c−2のうち、投影面積の大きな2次元バーコード30c−1の各種識別情報が優先設定される。同様に、同一の固有情報を持つ2次元バーコード31c−1、31c−2では、投影面積の大きい2次元バーコード31c−1が優先設定される。
If there is no unique information of the same three-dimensional object in the process of step S9, the process from step S1 is repeated. As shown in FIG. 6, when there is unique information of the same three-dimensional object, various kinds of identification information registered with a two-dimensional barcode having a large projected area are set with priority, and a two-dimensional bar having a small projected area is set. The code is ignored (step S10). Then, the processing from step S1 is repeated. In the case of FIG. 6, among the two-
次に、上記のステップS6の処理で行われる、2次元バーコードを用いた3次元画像表示処理について説明する。
図7は、3次元画像表示処理の流れを説明するフローチャートである。
Next, the 3D image display process using the 2D barcode performed in the process of step S6 will be described.
FIG. 7 is a flowchart for explaining the flow of the three-dimensional image display process.
CPU101は、図6で示した2次元バーコード認識処理によって検出された2次元バーコードの各種識別情報を、例えばRAM103から取得する。このとき、優先設定されている固有情報があればそれを優先する(ステップS20)。その後、CPU101の制御のもと、グラフィック処理部105は、3次元画像表示用のウィンドウをディスプレイ105a上に生成する(ステップS21)。CPU101は、取得した固有情報及び、位置・方向情報に応じて、立体物に対応づけられて登録されていたデータを、例えば、HDD104から読み出す(ステップS22)。立体物に対応づけられたデータとは、例えば、立体物に対応した3次元画像を表示するためのデータ(Microsoft Direct3Dで使用される標準的なファイルフォーマットであるXファイルとして記述されたものなど)や、再生する音声、アニメーションの情報、そして図2で示したような2次元バーコードと立体物の位置関係テーブル12aなどである。
The CPU 101 acquires various identification information of the two-dimensional barcode detected by the two-dimensional barcode recognition processing shown in FIG. At this time, if there is specific information that is preferentially set, it is given priority (step S20). Thereafter, under the control of the CPU 101, the
その後、図5のステップS4の処理で取得した2次元バーコードの2次元座標と、カメラ106cの焦点距離などを、例えば、RAM103から読み出す(ステップS23)。CPU101は、取得した2次元座標、焦点距離、読み出した位置関係テーブル12aを参照して3次元画像を表示する位置を示すための3次元座標を算出する(ステップS24)。そして、グラフィック処理部105は、CPU101の制御のもと、ステップS24の処理で算出した3次元座標に対応する3次元画像を表示し(ステップS25)、3次元画像表示処理から図5のステップS8の処理に戻る(リターン)。
Thereafter, the two-dimensional coordinates of the two-dimensional barcode acquired in step S4 in FIG. 5, the focal length of the
以上のように、2次元バーコードと、立体物との位置関係を示す位置関係テーブル12aを参照することによって、立体物との空間的位置に対応したCG画像を表示することができる。 As described above, by referring to the positional relationship table 12a indicating the positional relationship between the two-dimensional barcode and the three-dimensional object, a CG image corresponding to the spatial position with the three-dimensional object can be displayed.
なお、上記では、図1のように立体物30の台座30bに2次元バーコード30cを設置した場合について説明したが、例えば、人形30aが十分大きい場合には、その人形30aの所定の位置に2次元バーコードを設置しても上記の処理と同様になる。
In the above description, the case where the two-
図8は、ある人形に2次元バーコードを設置した場合の様子を示す図である。
立体物である人形32に2次元バーコード32cを配置している。ただしこのような場合、立体物の形状によっては2次元バーコードが死角に入る場合もあり、常に少なくともひとつの2次元バーコードが見えているように、配置に工夫をする必要がある。撮像系に対して、2次元バーコード全体が見えないと認識できないので、例えば、凹んだ場所や突起物の陰には当然配置できない。3次元のオブジェクトの形状によっては、裏返したり、寝ころがしたりできるものもある。よって、そのようなものについては、それぞれの方向に2次元バーコードを設置する必要がある。また、可動部があるようなものの場合、可動部の姿勢によっては2次元バーコードが隠れてしまうので、それを補うように、例えば手にも2次元バーコードを配置することが必要となる。また、例えば、大きなものであれば、正面上、正面下などのようにさらに位置情報を表現する場合もある。
FIG. 8 is a diagram showing a state in which a two-dimensional barcode is installed on a certain doll.
A two-
なお、上記では、情報処理装置10として図4に示すようなPCを例にして説明したが、これに限定されず、カメラ入力に対応したゲーム機や、携帯電話、PDA(Personal Digital Assistant)、CG生成処理能力を持つテレビなどを用いてもよい。
In the above description, the PC as shown in FIG. 4 has been described as an example of the
また、立体物としては、フィギュアやゲームの駒、玩具を始めとしてあらゆる立体物で実現が可能である。処理をするためのデータについても、あらゆる媒体(ディスクメディア、メモリ、ネットワーク配信、データ放送など)を通じて供給されることが考えられる。 In addition, the three-dimensional object can be realized by any three-dimensional object including a figure, a game piece, and a toy. It is conceivable that data for processing is also supplied through any medium (disk media, memory, network distribution, data broadcasting, etc.).
これにより、例えば、2次元バーコードが配置された清涼飲料水などの缶やボトルを撮像すると、その2次元バーコードの固有情報と対応付けられたプログラム(ネットワークを通じて配信されるようなプログラムでもよい)の実行によって、画面上で宣伝効果のある特殊効果映像を、その缶の所定の位置に出現させることも可能である。 Thus, for example, when a can or bottle such as a soft drink with a two-dimensional barcode placed thereon is imaged, a program associated with the unique information of the two-dimensional barcode (a program distributed through a network may be used). ), It is also possible to cause a special effect video having an advertising effect to appear on the screen at a predetermined position.
以上のように、あらゆる立体物を認識し、CGや画像と合成することが可能となる。これにより、立体物をディスプレイ画面の中に取り込んでインタラクティブに処理することができるため、立体物を用いたゲームや特殊効果の再現などのアプリケーションが実現できる。また、キャラクター商品などとの組み合わせによって、宣伝効果を得ることができる。 As described above, any three-dimensional object can be recognized and combined with CG or an image. As a result, since a three-dimensional object can be taken into the display screen and interactively processed, an application such as a game using a three-dimensional object or reproduction of a special effect can be realized. In addition, an advertising effect can be obtained by combining with a character product.
なお上記の処理内容は、コンピュータによって実現することができる。その場合、情報処理装置10が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ハードディスク装置(HDD)、フレキシブルディスク(FD)、磁気テープなどがある。光ディスクには、DVD、DVD−RAM、CD−ROM、CD−R(Recordable)/RW(ReWritable)などがある。光磁気記録媒体には、MO(Magneto-Optical disk)などがある。
The above processing contents can be realized by a computer. In that case, a program describing the processing contents of the functions that the
プログラムを流通させる場合には、例えば、そのプログラムが記録されたDVD、CD−ROMなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。 When distributing the program, for example, a portable recording medium such as a DVD or a CD-ROM in which the program is recorded is sold. It is also possible to store the program in a storage device of a server computer and transfer the program from the server computer to another computer via a network.
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送される毎に、逐次、受け取ったプログラムに従った処理を実行することもできる。 The computer that executes the program stores, for example, the program recorded on the portable recording medium or the program transferred from the server computer in its own storage device. Then, the computer reads the program from its own storage device and executes processing according to the program. The computer can also read the program directly from the portable recording medium and execute processing according to the program. In addition, each time the program is transferred from the server computer, the computer can sequentially execute processing according to the received program.
10……情報処理装置、11……バーコード検出部、12……記憶部、13……画像処理部、20……撮像装置、30……立体物、30a……人形、30b……台座、30c……2次元バーコード、40……表示部、41……CG画像
DESCRIPTION OF
Claims (12)
複数の2次元バーコードが所定の位置に配置された立体物を撮像した撮像画像より、前記2次元バーコードを検出するバーコード検出部と、
前記2次元バーコードと、前記立体物との空間的な位置関係を記憶した記憶部と、
検出された前記2次元バーコードと、前記立体物との前記位置関係を参照して、前記立体物の空間的位置に合わせたコンピュータグラフィック画像を生成し出力する画像処理部と、
を有することを特徴とする情報処理装置。 In an information processing apparatus that recognizes a two-dimensional barcode and displays a computer graphic image,
A barcode detection unit that detects the two-dimensional barcode from a captured image obtained by imaging a three-dimensional object in which a plurality of two-dimensional barcodes are arranged at predetermined positions;
A storage unit storing a spatial positional relationship between the two-dimensional barcode and the three-dimensional object;
An image processing unit that generates and outputs a computer graphic image according to a spatial position of the three-dimensional object with reference to the positional relationship between the detected two-dimensional barcode and the three-dimensional object;
An information processing apparatus comprising:
前記画像処理部は、前記第1の識別情報と、前記第2の識別情報に応じた前記コンピュータグラフィック画像を生成し出力することを特徴とする請求項1記載の情報処理装置。 The two-dimensional barcode has first identification information unique to the three-dimensional object and second identification information for identifying a position or direction on the three-dimensional object where the two-dimensional barcode is arranged. And
The information processing apparatus according to claim 1, wherein the image processing unit generates and outputs the computer graphic image corresponding to the first identification information and the second identification information.
前記立体物上の所定の位置に、複数の2次元バーコードが配置され、
前記2次元バーコードは、前記立体物固有の第1の識別情報及び、前記2次元バーコードが配置される前記立体物上における位置または方向を識別するための第2の識別情報を有していることを特徴とする立体物。 In the three-dimensional object to be imaged,
A plurality of two-dimensional barcodes are arranged at predetermined positions on the three-dimensional object,
The two-dimensional barcode has first identification information unique to the three-dimensional object and second identification information for identifying a position or direction on the three-dimensional object where the two-dimensional barcode is arranged. A three-dimensional object characterized by being.
複数の2次元バーコードが所定の位置に配置された立体物と、
前記立体物を撮像した撮像画像より、前記2次元バーコードを検出するバーコード検出部と、前記2次元バーコードと、前記立体物との空間的な位置関係を記憶した記憶部と、検出された前記2次元バーコードと、前記立体物との前記位置関係を参照して、前記立体物の空間的位置に合わせたコンピュータグラフィック画像を生成し出力する画像処理部と、を有することを特徴とする情報処理装置と、
を具備することを特徴とする情報処理システム。 In an information processing system for recognizing a two-dimensional barcode and displaying a computer graphic image,
A three-dimensional object in which a plurality of two-dimensional barcodes are arranged at predetermined positions;
A barcode detection unit that detects the two-dimensional barcode, a storage unit that stores a spatial positional relationship between the two-dimensional barcode and the three-dimensional object are detected from a captured image obtained by imaging the three-dimensional object. An image processing unit that generates and outputs a computer graphic image in accordance with a spatial position of the three-dimensional object with reference to the positional relationship between the two-dimensional barcode and the three-dimensional object. An information processing device to
An information processing system comprising:
複数の2次元バーコードが所定の位置に配置された立体物を撮像した撮像画像より、前記2次元バーコードを検出し、
予め記憶された前記2次元バーコードと前記立体物との空間的な位置関係から、検出された前記2次元バーコードと、前記立体物との前記位置関係を参照して、前記立体物の空間的位置に合わせたコンピュータグラフィック画像を生成し出力することを特徴とする情報処理方法。 In an information processing method for recognizing a two-dimensional barcode and displaying a computer graphic image,
Detecting the two-dimensional barcode from a captured image obtained by imaging a three-dimensional object in which a plurality of two-dimensional barcodes are arranged at predetermined positions;
The space of the three-dimensional object is referred to by referring to the positional relationship between the detected two-dimensional barcode and the three-dimensional object from the spatial positional relationship between the two-dimensional barcode and the three-dimensional object stored in advance. An information processing method characterized by generating and outputting a computer graphic image according to a target position.
コンピュータを、
複数の2次元バーコードが所定の位置に配置された立体物を撮像した撮像画像より、前記2次元バーコードを検出するバーコード検出手段、
予め記憶された前記2次元バーコードと前記立体物との空間的な位置関係から、検出された前記2次元バーコードと、前記立体物との前記位置関係を参照して、前記立体物の空間的位置に合わせたコンピュータグラフィック画像を生成し出力する画像処理手段、
として機能させるプログラム。 In a program for causing a computer to function to recognize a two-dimensional barcode and display a computer graphic image,
Computer
Barcode detection means for detecting the two-dimensional barcode from a captured image obtained by imaging a three-dimensional object in which a plurality of two-dimensional barcodes are arranged at predetermined positions;
The space of the three-dimensional object is referred to by referring to the positional relationship between the detected two-dimensional barcode and the three-dimensional object from the spatial positional relationship between the two-dimensional barcode and the three-dimensional object stored in advance. Image processing means for generating and outputting a computer graphic image according to the target position,
Program to function as.
コンピュータを、
複数の2次元バーコードが所定の位置に配置された立体物を撮像した撮像画像より、前記2次元バーコードを検出するバーコード検出手段、
予め記憶された前記2次元バーコードと前記立体物との空間的な位置関係から、検出された前記2次元バーコードと、前記立体物との前記位置関係を参照して、前記立体物の空間的位置に合わせたコンピュータグラフィック画像を生成し出力する画像処理手段、
として機能させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
In a computer-readable recording medium storing a program for causing a computer to function to recognize a two-dimensional barcode and display a computer graphic image,
Computer
Barcode detection means for detecting the two-dimensional barcode from a captured image obtained by imaging a three-dimensional object in which a plurality of two-dimensional barcodes are arranged at predetermined positions;
The space of the three-dimensional object is referred to by referring to the positional relationship between the detected two-dimensional barcode and the three-dimensional object from the spatial positional relationship between the two-dimensional barcode and the three-dimensional object stored in advance. Image processing means for generating and outputting a computer graphic image according to the target position,
A computer-readable recording medium storing a program that functions as a computer.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004220517A JP2006040045A (en) | 2004-07-28 | 2004-07-28 | Information processor, cubic object, information processing system and information processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004220517A JP2006040045A (en) | 2004-07-28 | 2004-07-28 | Information processor, cubic object, information processing system and information processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006040045A true JP2006040045A (en) | 2006-02-09 |
Family
ID=35904960
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004220517A Pending JP2006040045A (en) | 2004-07-28 | 2004-07-28 | Information processor, cubic object, information processing system and information processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006040045A (en) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007286715A (en) * | 2006-04-13 | 2007-11-01 | Brother Ind Ltd | Image composition device and image composition program |
JP2011204047A (en) * | 2010-03-26 | 2011-10-13 | Konami Digital Entertainment Co Ltd | Augmented reality system, marker terminal photographing terminal, augmented reality method, and information recording medium |
JP2012000284A (en) * | 2010-06-17 | 2012-01-05 | Sanyo Product Co Ltd | Game machine |
JP2012000283A (en) * | 2010-06-17 | 2012-01-05 | Sanyo Product Co Ltd | Game machine |
JP2012195732A (en) * | 2011-03-16 | 2012-10-11 | Fujitsu Ltd | Method for controlling image processing device, image processing device, and program for controlling image processing device |
CN103218733A (en) * | 2012-04-26 | 2013-07-24 | 株式会社万代 | Portable terminal device, toll, reality expansion system and method |
JP2014110034A (en) * | 2012-12-04 | 2014-06-12 | Bandai Co Ltd | Portable terminal, terminal program and toy |
JP2014515962A (en) * | 2011-05-23 | 2014-07-07 | レゴ エー/エス | Generating assembly instructions for structural element models |
JP2014515961A (en) * | 2011-05-23 | 2014-07-07 | レゴ エー/エス | Toy construction system for augmented reality |
KR101826486B1 (en) * | 2017-09-20 | 2018-02-07 | 김성은 | Model Toys with Augmented Reality Function and its Application |
KR101910761B1 (en) | 2010-01-19 | 2018-10-22 | 네스텍 소시에테아노님 | Method for providing information to a user from a capsule for the preparation of a beverage using a code |
JP2022171671A (en) * | 2019-11-12 | 2022-11-11 | 株式会社ポケモン | Imaging system, imaging method, imaging program and stuffed toy |
-
2004
- 2004-07-28 JP JP2004220517A patent/JP2006040045A/en active Pending
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007286715A (en) * | 2006-04-13 | 2007-11-01 | Brother Ind Ltd | Image composition device and image composition program |
KR101910761B1 (en) | 2010-01-19 | 2018-10-22 | 네스텍 소시에테아노님 | Method for providing information to a user from a capsule for the preparation of a beverage using a code |
JP2011204047A (en) * | 2010-03-26 | 2011-10-13 | Konami Digital Entertainment Co Ltd | Augmented reality system, marker terminal photographing terminal, augmented reality method, and information recording medium |
JP2012000284A (en) * | 2010-06-17 | 2012-01-05 | Sanyo Product Co Ltd | Game machine |
JP2012000283A (en) * | 2010-06-17 | 2012-01-05 | Sanyo Product Co Ltd | Game machine |
JP2012195732A (en) * | 2011-03-16 | 2012-10-11 | Fujitsu Ltd | Method for controlling image processing device, image processing device, and program for controlling image processing device |
JP2014515962A (en) * | 2011-05-23 | 2014-07-07 | レゴ エー/エス | Generating assembly instructions for structural element models |
JP2014515961A (en) * | 2011-05-23 | 2014-07-07 | レゴ エー/エス | Toy construction system for augmented reality |
US9821242B2 (en) | 2011-05-23 | 2017-11-21 | Lego A/S | Generation of building instructions for construction element models |
US9827507B2 (en) | 2011-05-23 | 2017-11-28 | Lego A/S | Toy construction system for augmented reality |
US10549209B2 (en) | 2011-05-23 | 2020-02-04 | Lego A/S | Toy construction system for augmented reality |
US11014014B2 (en) | 2011-05-23 | 2021-05-25 | Lego A/S | Toy construction system for augmented reality |
US11911709B2 (en) | 2011-05-23 | 2024-02-27 | Lego A/S | Toy construction system for augmented reality |
JP2013228959A (en) * | 2012-04-26 | 2013-11-07 | Bandai Co Ltd | Portable terminal device, terminal program, augmented reality system, and toy |
CN103218733A (en) * | 2012-04-26 | 2013-07-24 | 株式会社万代 | Portable terminal device, toll, reality expansion system and method |
JP2014110034A (en) * | 2012-12-04 | 2014-06-12 | Bandai Co Ltd | Portable terminal, terminal program and toy |
KR101826486B1 (en) * | 2017-09-20 | 2018-02-07 | 김성은 | Model Toys with Augmented Reality Function and its Application |
JP2022171671A (en) * | 2019-11-12 | 2022-11-11 | 株式会社ポケモン | Imaging system, imaging method, imaging program and stuffed toy |
JP7431903B2 (en) | 2019-11-12 | 2024-02-15 | 株式会社ポケモン | Photography system, photography method, photography program, and stuffed animal |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4032776B2 (en) | Mixed reality display apparatus and method, storage medium, and computer program | |
CN101383141B (en) | Image display control apparatus and image display control method | |
JP6558006B2 (en) | Image management apparatus, image management method, image management program, and display system | |
JP4764920B2 (en) | Visual code system for camera-equipped mobile devices and its applications | |
JP6674192B2 (en) | Image processing apparatus and image processing method | |
JP2000322602A (en) | Device and method for processing image and medium | |
CN101751219A (en) | Terminal apparatus, display control method, and display control program | |
JP2006040045A (en) | Information processor, cubic object, information processing system and information processing method | |
CN103761062A (en) | Method for displaying corresponding materials in two-dimension code area on screen of mobile terminal | |
JP6521055B2 (en) | Display device, display control method, display control program and display system | |
JP2009295016A (en) | Control method for information display, display control program and information display | |
KR20070039561A (en) | Information processing system, and information processing method | |
WO2014027433A1 (en) | Information provision device, information provision method, and program | |
JP2011081557A (en) | Information processor, method of processing information, and program | |
JP6267809B1 (en) | Panorama image synthesis analysis system, panorama image synthesis analysis method and program | |
JP2009295012A (en) | Control method for information display, display control program and information display | |
JP4973132B2 (en) | Message display system and program | |
JP7396326B2 (en) | Information processing system, information processing device, information processing method and program | |
JP4687625B2 (en) | Image processing system and image processing program | |
JP2009055272A (en) | Image processing apparatus, image processing method, and image processing program | |
JP4046664B2 (en) | Information providing system, information providing method, information providing program, and recording medium for recording information providing program for portable information terminal | |
KR101860215B1 (en) | Content Display System and Method based on Projector Position | |
JP2004070023A (en) | Document presenting device | |
JP2011023836A (en) | Slide data creation device, slide data creation method, and program | |
JP4344196B2 (en) | Document presentation device |