JP5831149B2 - シミュレーション方法、シミュレーション装置およびシミュレーション装置の制御プログラム - Google Patents

Description

本発明は、シミュレーション方法、シミュレーション装置およびシミュレーション装置の制御プログラムに関する。

商品である対象装置の購入にあたって、設置場所に十分なスペースが存在するか否かなどを事前に検討する場合、装置カタログに記載された寸法や、対象装置のモックアップを利用するしかなく、計算ミス、考慮漏れ等によるトラブルを防ぐことが困難であった。

一方、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を利用し、現実環境に家具のＡＲオブジェクトを合成して提示する技術が提案されている（例えば、特許文献１参照。）。

特表２０１０−５４１０５４号公報

しかし、特許文献１の技術を適用し、拡張現実において対象装置のＡＲオブジェクトを合成して提示したとしても、対象装置の設置状況が適正か否かを事前検討するための有効な情報を有しないため、購入後のトラブルを削減することが困難であった。

本発明は、上記従来技術に伴う課題を解決するためになされたものであり、対象装置の購入後のトラブルを削減し得るシミュレーション方法、シミュレーション装置およびシミュレーション装置の制御プログラムを提供することを目的とする。

本発明の上記目的は、下記の手段によって達成される。

（１）シミュレーション装置の制御プログラムであって、
ＡＲシミュレーションの対象装置が配置される実空間の設置場所の映像を取得する背景映像取得手順と、
前記実空間の設置場所をスキャンすることによって、前記実空間の設置場所に位置する障害物の３Ｄデータを取得する障害物３Ｄデータ取得手順と、
前記対象装置と前記障害物との干渉を検出する干渉検出手順と、
前記対象装置の３Ｄデータおよび前記障害物の３Ｄデータから各々のＡＲオブジェクトを生成するＡＲオブジェクト生成手順と、
前記対象装置の設置状況が適正か否かを判断するための付加情報を生成する付加情報生成手順と、
前記映像、前記対象装置の前記ＡＲオブジェクトおよび前記付加情報が含まれた合成画像を生成する画像合成手順と、
前記合成画像を表示する表示手順と、
を有する処理を、前記シミュレーション装置に実行させ、
前記設置状況は、前記対象装置の筐体サイズ又は設置サイズであり、
前記障害物の３Ｄデータは、前記対象装置の筐体サイズ又は設置サイズの３Ｄデータと立体的に比較可能に構成され、
前記干渉検出手順においては、前記障害物の前記ＡＲオブジェクトと、前記対象装置の筐体サイズ又は設置サイズの３Ｄデータから変換されたＡＲオブジェクトと、の重なりに基づいて、前記対象装置と前記障害物との干渉が検出され、
前記付加情報は、前記干渉を注意喚起する警告情報を含んでいる
ことを特徴とする制御プログラム。

（２）前記筐体サイズは、前記対象装置にオプション装置が装着される場合、前記オプション装置のサイズも含んでいることを特徴とする上記（１）に記載の制御プログラム。

（３）前記設置サイズは、前記対象装置の筐体サイズに、実際の操作に必要となる作業領域を加えて算出され、
前記筐体サイズは、前記対象装置にオプション装置が装着される場合、前記オプション装置のサイズを含んでいる
ことを特徴とする上記（１）に記載の制御プログラム。

（４）前記作業領域は、前記対象装置の操作者の体型を考慮して設定されることを特徴とする上記（３）に記載の制御プログラム。

（５）前記作業領域は、外部の周辺装置に接続するためのコネクターを考慮して設定されることを特徴とする上記（３）に記載の制御プログラム。

（６）前記付加情報は、前記筐体サイズのデータを含んでいることを特徴とする上記（２）に記載の制御プログラム。

（７）前記付加情報は、前記設置サイズのデータを含んでいることを特徴とする上記（３）に記載の制御プログラム。

（８）前記付加情報は、前記コネクターの配置位置データを含んでいることを特徴とする上記（５）に記載の制御プログラム。

（９）前記付加情報は、前記コネクターの挿入方向、前記コネクターの規格、前記コネクターに接続される周辺装置の名称、あるいは、これらの組み合わせを、さらに含んでいることを特徴とする上記（８）に記載の制御プログラム。

（１０）前記警告情報は、前記干渉を指摘するメッセージを含んでいることを特徴とする上記（９）に記載の制御プログラム。

（１１）前記処理は、前記実空間における設置場所における前記対象装置の設置位置を検出する設置位置検出手順を、さらに有することを特徴とする上記（１）〜（１０）のいずれか１項に記載の制御プログラム。

（１２）前記対象装置の設置位置は、前記実空間における設置場所に配置されているマーカーに基づいて検出されることを特徴とする上記（１１）に記載の制御プログラム。

（１３）ＡＲシミュレーションの対象装置が配置される実空間の設置場所の映像を取得する背景映像取得ステップと、
前記実空間の設置場所をスキャンすることによって、前記実空間の設置場所に位置する障害物の３Ｄデータを取得する障害物３Ｄデータ取得ステップと、
前記対象装置と前記障害物との干渉を検出する干渉検出ステップと、
前記対象装置の３Ｄデータおよび前記障害物の３Ｄデータから各々のＡＲオブジェクトを生成するＡＲオブジェクト生成ステップと、
前記対象装置の設置状況が適正か否かを判断するための付加情報を生成する付加情報生成ステップと、
前記映像、前記対象装置の前記ＡＲオブジェクトおよび前記付加情報が含まれた合成画像を生成する画像合成ステップと、
前記合成画像を表示する表示ステップと、を有し、
前記設置状況は、前記対象装置の筐体サイズ又は設置サイズであり、
前記障害物の３Ｄデータは、前記対象装置の筐体サイズ又は設置サイズの３Ｄデータと立体的に比較可能に構成され、
前記干渉検出ステップにおいては、前記障害物の前記ＡＲオブジェクトと、前記対象装置の筐体サイズ又は設置サイズの３Ｄデータから変換されたＡＲオブジェクトと、の重なりに基づいて、前記対象装置と前記障害物との干渉が検出され、
前記付加情報は、前記干渉を注意喚起する警告情報を含んでいる
ことを特徴とするシミュレーション方法。

（１４）前記実空間における設置場所における前記対象装置の設置位置を検出する設置位置検出ステップを、さらに有することを特徴とする上記（１３）に記載のシミュレーション方法。

（１５）ＡＲシミュレーションの対象装置が配置される実空間の設置場所の映像を取得するための背景映像取得部と、
前記実空間の設置場所をスキャンすることによって、前記実空間の設置場所に位置する障害物の３Ｄデータを取得する障害物３Ｄデータ取得手段と、
前記対象装置と前記障害物との干渉を検出する干渉検出手段と、
前記対象装置の３Ｄデータおよび前記障害物の３Ｄデータから各々のＡＲオブジェクトを生成するＡＲオブジェクト生成手段と、
前記対象装置の設置状況が適正か否かを判断するための付加情報を生成する付加情報生成手段と、
前記映像、前記対象装置の前記ＡＲオブジェクトおよび前記付加情報が含まれた合成画像を生成するための画像合成手段と、
前記合成画像を表示するための表示部と、を有し、
前記設置状況は、前記対象装置の筐体サイズ又は設置サイズであり、
前記障害物の３Ｄデータは、前記対象装置の筐体サイズ又は設置サイズの３Ｄデータと立体的に比較可能に構成され、
前記干渉検出手段は、前記障害物の前記ＡＲオブジェクトと、前記対象装置の筐体サイズ又は設置サイズの３Ｄデータから変換されたＡＲオブジェクトと、の重なりに基づいて、前記対象装置と前記障害物との干渉を検出し、
前記付加情報は、前記干渉を注意喚起する警告情報を含んでいる
ことを特徴とするシミュレーション装置。

（１６）前記実空間における設置場所における前記対象装置の設置位置を検出するための設置位置検出手段を、さらに有することを特徴とする上記（１５）に記載のシミュレーション装置。

本発明に係るシミュレーション方法、シミュレーション装置およびシミュレーション装置の制御プログラムによれば、操作者に表示される合成画像には、対象装置の設置状況（対象装置の筐体サイズ又は設置サイズ）が適正か否かを判断するための付加情報（事前検討するための有効な情報である対象装置と障害物との干渉を注意喚起する警告情報）が含まれており、かつ、干渉は、実空間の設置場所をスキャンすることによって取得された障害物の３Ｄデータから変換されたＡＲオブジェクトと、対象装置の筐体サイズ又は設置サイズの３Ｄデータから変換されたＡＲオブジェクトと、の重なりに基づいて、検出されるため、対象装置の設置状況（対象装置の筐体サイズ又は設置サイズ）が適正か否かを事前検討する際において、計算ミスや考慮漏れ等によるトラブルを防ぐことが容易である。したがって、対象装置の購入後のトラブルを削減し得るシミュレーション方法、シミュレーション装置およびシミュレーション装置の制御プログラムを提供することが可能である。

本発明の実施の形態に係るシミュレーション装置を説明するための概略図である。 図１に示されるシミュレーション装置の機能を説明するための概略図である。 図１に示されるシミュレーション装置の構成を説明するためのブロック図である。 図３に示される３Ｄデータに係る対象製品の一例を説明するための側面図である。 図３に示される３Ｄデータに係る対象製品の別の一例を説明するための側面図である。 図３に示される３Ｄデータに係るオプション装置の一例を説明するための側面図である。 図３に示される３Ｄデータに係るオプション装置の別の一例を説明するための側面図である。 図３に示される３Ｄデータに係る操作者体型パターンの一例を説明するための概念図である。 図３に示される３Ｄデータに係る操作者体型パターンの別の一例を説明するための概念図である。 図３に示されるＲＯＭ部の制御処理プログラムを説明するための図表である。 図３に示されるＲＡＭ部の表示状態情報を説明するための図表である。 図３に示されるディスプレイのメニュー画面を説明するための概念図である。 図３に示されるセンサーを説明するための概念図である。 図１１に示されるオプション装置選択モードのオプション装置の指定の一例を説明するための概念図である。 図１１に示されるオプション装置選択モードのオプション装置の指定の別の一例を説明するための概念図である。 図１１に示されるオプション装置選択モードの本体カラーを説明するための概念図である。 図１１に示される重ね合わせモードの重ね合わせを説明するための概念図である。 図１１に示される重ね合わせモードの透過を説明するための概念図である。 図１１に示される操作者指定モードの子供を説明するための概念図である。 図１１に示される操作者指定モードの男性を説明するための概念図である。 図１１に示されるサイズ表示モードの筐体サイズを説明するための概念図である。 図１１に示されるサイズ表示モードの設置サイズを説明するための概念図である。 図１１に示される障害物モードに係る障害物の一例を説明するための概念図である。 図１１に示される障害物モードに係る障害物の検出を説明するための概念図である。 図１１に示される障害物モード（干渉警報）を説明するための概念図である。 図１１に示される音声モード、動画モードおよび回転モードを説明するための概念図である。 図１１に示される重量表示モードを説明するための概念図である。 図１１に示されるコネクター位置表示モードを説明するための概念図である。 図３に示される制御処理プログラムのアルゴリズムを説明するためのフローチャートである。 図２９に示されるステップＳ０３のタッチパネル入力処理のアルゴリズムを説明するためのフローチャートである。 図２９に示されるステップＳ０６のマーカー検出処理のアルゴリズムを説明するためのフローチャートである。 図２９に示されるステップＳ０８のＡＲオブジェクト画像作成処理のアルゴリズムを説明するためのフローチャートである。 図２９に示されるステップＳ０９のＡＲオブジェクト画像合成表示処理のアルゴリズムを説明するためのフローチャートである。

以下、本発明の実施の形態を、図面を参照しつつ説明する。

図１は、本発明の実施の形態に係るシミュレーション装置を説明するための概略図、図２は、図１に示されるシミュレーション装置の機能を説明するための概略図である。

本発明の実施の形態に係るシミュレーション装置１００は、拡張現実（ＡＲ）技術を利用し、実空間の設置場所９０の背景映像と、商品である対象装置１０のＡＲオブジェクト画像等を合成（オーバーレイ）して表示することが可能であり、例えば、対象装置１０を購入する操作者によって、対象装置１０の動作状態を事前に確認し（対象装置１０の設置状況が適正か否かを判別し）、購入後のトラブルを削減するために使用される。例えば、設置場所９０は、操作者が勤務するオフィスであり、対象装置１０は、プリンター専用機や、コピー機能、プリンター機能およびスキャン機能を有するＭＦＰ（Ｍｕｌｔｉ−Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）であり、操作者は、対象装置１０のユーザーである。

符号Ｍは、図形、記号、文字等が記載されたシートからなるマーカーであり、設置位置、シミュレーション装置１００までの距離、設置される対象装置１０と一意に対応付けられた装置識別情報を、シミュレーション装置１００に教授するために使用される。マーカーＭが保持する情報は、例えば、２次元マトリックスコードにより記載される。なお、マーカーＭは、シート状に限定されない。また、ＲＦＩＤタグのように、マーカーＭにメモリーおよび送信機を取り付け、設置位置情報およびメモリーに記憶された情報（対象装置１０を一意に対応付ける情報）を、シミュレーション装置１００に送信することも可能である。

次に、シミュレーション装置１００の構成を詳述する。

図３は、図１に示されるシミュレーション装置の構成を説明するためのブロック図、図４および図５は、図３に示される３Ｄデータに係る対象製品の一例および別の一例を説明するための側面図、図６および図７は、図３に示される３Ｄデータに係るオプション装置の一例および別の一例を説明するための側面図、図８および図９は、図３に示される３Ｄデータに係る操作者体型パターンの一例およびの別の一例を説明するための概念図、図１０は、図３に示されるＲＯＭ部の制御処理プログラムを説明するための図表、図１１は、図３に示されるＲＡＭ部の表示状態情報を説明するための図表、図１２は、図３に示されるディスプレイのメニュー画面を説明するための概念図、図１３は、図３に示されるセンサーを説明するための概念図である。

シミュレーション装置１００は、カメラ付き携帯電話やスマートフォンからなり、ＣＰＵ１１０、ＲＯＭ部１２０、ＲＡＭ部１３０、タッチパネル１４０、ディスプレイ１５０、カメラ１６０、センサー１７０およびスピーカー１８０を有し、これらは、バス１９０を経由して相互に接続されている。

ＣＰＵ１１０は、プログラムにしたがって上記各部の制御や各種の演算処理を実行するマイクロプロセッサ等から構成される制御回路であり、シミュレーション装置１００の各機能は、それに対応するプログラムをＣＰＵ１１０が実行することにより発揮される。

ＲＯＭ部１２０は、例えば、不揮発性の半導体メモリーや、大容量の磁気ディスク装置を有しており、３Ｄ（ｄｉｍｅｎｓｉｏｎａｌ）データ、コンテンツデータおよび制御処理プログラムが記憶されている。

３Ｄデータは、対象装置１０の装置本体部（図４および図５参照）やオプション装置（図６および図７参照）の外形データ、操作者を模式的に表示するための外形データ（図８および図９参照）および実空間の設置場所９０に位置する障害物を模式的に表示するための外形データを含んでいる。

コンテンツデータは、装置本体部およびオプション装置に係る仕様情報、再生データおよびマーカー画像情報を含んでいる。

仕様情報は、装置本体部およびオプション装置の筐体サイズ、色および重量、装置本体部とオプション装置との組み合わせの適否、外部の周辺装置に接続するためのコネクター情報、操作者の分類データ（操作者の体型パターンを表現する人体情報）を含んでいる。コネクター情報は、コネクターの設置位置と挿入方向、コネクターの規格、コネクターに接続される周辺装置の名称を含んでいる。

再生データは、装置動作に関わる音声データ、動画データおよび回転データを含んでいる。回転データは、対象装置を回転させて装置全体の外観を把握するための装置自転データである。マーカー画像情報は、実空間の設置場所９０の背景映像からマーカーＭの画像を分離する（切り出す）ための識別情報である。なお、筐体サイズは、３Ｄデータから算出することも可能である。

制御処理プログラムは、ＡＲシミュレーションの対象装置が配置される実空間の設置場所の映像を取得し、対象装置のＡＲオブジェクトを生成し、対象装置の設置状況が適正か否かを判断するための付加情報を生成し、映像、前記ＡＲオブジェクトおよび前記付加情報が含まれた合成画像を生成し、合成画像を表示するために使用され、図１０に示されるように、タッチパネル入力処理、マーカー検出処理、ＡＲオブジェクト画像作成処理およびＡＲオブジェクト画像合成表示処理などを実行するプログラムからなり、ＣＰＵ１１０により必要に応じて読み出され、ＲＡＭ部１３０上で実行処理される。

したがって、操作者に表示される合成画像には、対象装置の設置状況が適正か否かを判断するための付加情報（事前検討するための有効な情報）が含まれており、計算ミスや考慮漏れ等によるトラブルを防ぐことが容易である。したがって、対象装置の購入後のトラブルを削減することが可能である。

なお、タッチパネル入力処理は、表示状態情報を更新するために実行される。マーカー検出処理は、対象装置１０の設置位置（表示位置）と向き（方向）を算出するために実行される。ＡＲオブジェクト画像作成処理は、３ＤデータをＡＲオブジェクト画像に変換するために実行される。ＡＲオブジェクト画像合成表示処理は、操作者に対してＡＲシミュレーション結果を提示するために実行される。

ＲＡＭ部１３０は、例えば、揮発性の半導体メモリーや、大容量の磁気ディスク装置を有しており、作業領域として一時的にプログラムおよびデータを記憶したり、背景映像、ＡＲオブジェクト画像、表示状態情報を記憶するために使用される。

背景映像は、実空間の設置場所９０をカメラ１６０によって撮影して得られた画像データである。ＡＲオブジェクト画像は、装置本体部、オプション装置および障害物の３Ｄデータから変換された画像データである。表示状態情報は、操作者に対してＡＲシミュレーション結果を提示する際に、障害物や付加情報を追加表示したり、指定されたデータを再生したりするために使用され、図１１に示されるように、オプション装置選択モード、重ね合わせモード、操作者指定モード、サイズ表示モード、障害物モード、音声モード、動画モード、回転モード、重量表示モードおよびコネクター位置表示モードを含んでいる。

タッチパネル１４０は、文字入力、各種設定、スタート指示等の各種指示を操作者が行うために利用される入力手段であり、例えば、表示状態情報を入力（更新）するために使用される。なお、タッチパネル１４０を利用し、設置される対象装置１０の位置を指定したり、設置される対象装置１０を特定したりするための識別データを入力することも可能である。

ディスプレイ１５０は、本実施の形態においてはタッチパネル１４０と一体化されており、カメラ１６０の映像、ＡＲシミュレーション結果、エラーの発生状況、現在変更可能な設定、合成画像（アノテーション））などを、操作者に提示するために使用される出力手段である。

ディスプレイ１５０は、表示状態情報を入力するための階層構造を有する画面を有する。例えば、図１２に示される構成においては、操作者が、Ｍｅｎｕボタンを押下すると、画面が更新され、表示状態情報の変更に関わる選択メニューが表示され、操作者によって表示状態を変更することが可能となる。表示状態情報の変更は、例えば、トグルやラジオボタンを利用することが可能である。

表示状態情報の変更において、メニュー表示を利用せず、画面をタッチすることで主要なモードに切り替わるように構成することも可能である。例えば、Ｍｅｎｕボタン以外の場所をクリックする度に、サイズ表示モードを、「無し」→「筺体サイズ」→「設置サイズ」→「無し」の順に切り替わるように構成することもできる。

なお、設置サイズは、装置本体部の筺体サイズと、実際の操作に必要となる作業領域とを含んでいる。対象装置の筺体サイズは、装置本体部にオプション装置が装着される場合、オプション装置のサイズを含んでいる。

カメラ１６０は、例えば、ＲＧＢカメラからなり、実空間の設置場所９０の背景映像を撮影するために使用される。背景映像は、マーカーＭの画像抽出やＡＲオブジェクト画像との合成のために使用される。マーカーＭの画像は、そのサイズと傾きから、実空間の設置場所９０におけるマーカーＭとシミュレーション装置１００（カメラ１６０）との間の距離とマーカーＭの向き（方向）を算出するために使用される。なお、実空間上におけるマーカーＭとシミュレーション装置１００との距離を算出することなく、背景映像から得られるマーカーＭの画像のサイズと傾きから直接的にＡＲ上における対象装置１０のサイズ、向きを算出することも可能である。

センサー１７０は、物体からの反射光が戻ってくるまでの時間に基づいて物体までの距離を算出する深度センサーからなり、図１３に示されるように、障害物までの距離を測定するために使用される。測定光は、例えば、赤外線である。障害物は、例えば、壁９２である。なお、本実施の形態において、カメラ１６０およびセンサー１７０は一体化されており、キネクト（Ｋｉｎｅｃｔ）センサーから構成される。センサー１７０は、必要に応じて磁気センサーや超音波センサー等の３次元センサーを適用することも可能である。

なお、マーカーＭの画像のサイズと傾きから算出さるマーカーＭの位置を表す基準点Ｐ_１は、障害物の測定点Ｐ_２〜Ｐ_４や、実空間の設置場所９０の背景映像と合成するために対象装置１０等の３Ｄデータを座標変換する際に利用される。障害物の測定点Ｐ_２〜Ｐ_４は、マーカーＭの測定点Ｐ_１に配置される対象装置１０と障害物との干渉の有無を検出するために使用される。

障害物の干渉において、障害物は、背景映像の一部分を占める画像であり、対象装置１００と干渉する（立体的なぶつかりがある）か否かを直接判定することはできない。そのため、距離が算出されている(位置が特定されている）マーカーＭの基準点Ｐ_１上に対象装置１０を配置した際に、センサー１７０から最も遠い距離に配置されることとなる対象装置１０のパーツの位置を、背景基準距離とする。次に、センサー１７０が実空間の設置場所９０をスキャンすることによって、背景映像中の複数の測定点Ｐ_２〜Ｐ_４とセンサー１７０（カメラ１６０）との間の距離が検出され、これらの距離データを統合することにより障害物の３Ｄデータが取得される。

障害物の３Ｄデータは、マーカーＭに配置された対象装置１０の３Ｄデータと、立体的に比較可能である。つまり、障害物のＡＲオブジェクトが、設置サイズ領域の内部に位置しており、対象装置１０の設置サイズと重なっている場合（測定点Ｐ_３の場合）、障害物と干渉すると判別し、設置サイズ領域の外部に位置しており、対象装置１０の設置サイズと重なっていない場合（測定点Ｐ_２および測定点Ｐ_４の場合）、障害物と干渉しないと判別することが可能である。

なお、測定点の数は、特に限定されず、例えば、センサー１７０の性能によって適宜設定される。また、干渉の有無は、筺体サイズに基づくことも可能である。また、実空間の設置場所９０の３Ｄデータは、対象物を複数の異なる方向から同時に撮影することにより、その奥行き方向の情報も記録できるステレオカメラを利用して取得することも可能である。

スピーカー１８０は、表示状態情報の音声モードで指定された音声や、動画モードで指定された動画に含まれる音声を再生するために使用される。

次に、表示状態情報の各モードを順次詳述する。

図１４および図１５は、図１１に示されるオプション装置選択モードのオプション装置の指定の一例および別の一例を説明するための概念図、図１６は、図１１に示されるオプション装置選択モードの本体カラーを説明するための概念図である。

オプション装置選択モードは、装着可能なオプション装置の一覧および切り替え可能な装置本体部の色（本体カラー）の一覧を有し、オプション装置を指定（装着の有無）したり、装置本体部の色（本体カラー）を切り替えるために使用される。例えば、オプション装置は、フィニッシャーやＡＤＦ（Ａｕｔｏ Ｄｏｃｕｍｅｎｔ Ｆｅｅｄｅｒ）であり、本体カラーは、白、黒、グレイである。

例えば、オプション装置を指定すると、図１４および図１５に示されるように、装置本体部にオプション装置が取り付けられた対象装置の３Ｄデータが生成される。また、本体カラーを切り替える場合、例えば、黒を選択すると、図４に示される白色のプリンターは、図１６に示される黒色のプリンターに変更される。

オプション装置を選択した場合、対象装置の外形の位置データ（マーカーＭからの相対距離データ）は、マーカーＭの位置データを基準に自動的に再計算される。つまり、オプション装置の選択（装着）状態にしたがって、対象装置の位置を代表する基準点とマーカーＭとの間の相対距離が変更される。なお、対象装置の位置を代表する基準点の選定は、特に限定されず、例えば、対象装置の内部中心点や重心点、対象装置の底面のコーナー部等を利用することが可能である。また、装置本体部の位置データを変更せず、オプション装置の位置データを、装置本体部の位置データを基準とした差分データによって特定することもできる。

図１７および図１８は、図１１に示される重ね合わせモードの「重ね合わせ」および「透過」を説明するための概念図である。

重ね合わせモードにおいては、「単一」、「重ね合わせ」および「透過」を選択可能である。「単一」は、同時に設置できない（すなわち、択一的な、或いは排他的な）オプション装置はひとつのみ表示させたい場合に指定される。「重ね合わせ」および「透過」は、排他設置される複数のオプション装置を同時に表示させたい場合に使用される。なお、「重ね合わせ」においては、図１７に示されるように、表示サイズが大きなオプション装置が背景のレイヤから順に表示され、「透過」においては、図１８に示されるように、重ね合わさったオプション装置が任意の透過率で表示される。なお、重ね合わさったオプション装置は、それぞれ識別しやすいように、色調を変えて表示することも可能である。

図１９は、図１１に示される操作者指定モードの「子供」および「男性」を説明するための概念図である。

操作者指定モードは、操作者のＡＲオブジェクト画像における操作者タイプおよび付加的な特徴を指定するために使用される。操作者タイプは、「無し」、「子供」、「女性」および「男性」であり、付加的な特徴は、「体型」である。「無し」は、操作者のＡＲオブジェクト画像を表示させたくない場合に指定される。「子供」、「女性」および「男性」のオブジェクトサイズは、それぞれ、身長１３０ｃｍ、身長１６０ｃｍおよび身長１７０ｃｍである。「体型」は、３つの種類（細、中、太）に分類され、ＡＲオブジェクトのサイズを微調整したい場合に指定される。

例えば、「子供」が指定される場合、図１９に示されるＡＲオブジェクト画像が合成され、「男性」が指定される場合、図２０に示されるＡＲオブジェクト画像が合成される。「体型」に係るＡＲオブジェクトは、独立して用意したり、指定されたＡＲオブジェクトを変形したりすることで生成することが可能である。

図２１および図２２は、図１１に示されるサイズ表示モードの筐体サイズおよび設置サイズを説明するための概念図である。

サイズ表示モードは、「無し」、「筐体サイズ」および「設置サイズ」が選択可能である。「無し」は、枠とサイズデータを表示させたくない場合に指定される。「筐体サイズ」は、図２１に示されるように、現在表示するオプション構成の各サイズに合わせた枠とサイズデータを表示させたい場合に指定される。「設置サイズ」は、図２２に示されるように、現在表示するオプション構成の設置サイズに合わせた枠とサイズデータを表示させたい場合に指定される。

設置サイズに含まれる実際の操作に必要となる作業領域は、操作者タイプおよび付加的な特徴、外部の周辺装置に接続するためのコネクターの配置位置および電源に接続するためのコネクターの配置位置を考慮して算出されが、周囲の障害物の有無や、動作シミュレーション中の紙の排紙状態等に基づいて動的に算出したり、固定的なサイズの加算によって算出したりすることも可能である。

図２３は、図１１に示される障害物モードに係る障害物の一例を説明するための概念図、図２４は、図１１に示される障害物モードに係る障害物の検出を説明するための概念図、図２５は、図１１に示される障害物モード（干渉警報）を説明するための概念図である。

障害物モードは、実空間の設置場所９０に存在する障害物を考慮するために使用され、「無し」、「表示のみ」および「干渉警報」が選択可能である。障害物は、例えば、図２３に示される壁９２や本棚９４である。「無し」は、周辺の障害物の検出および表示を実行させたくない場合に指定される。「表示のみ」は、周辺の障害物の検出のみを実行させたい場合に指定され、例えば、図２４に示されるように障害物のオブジェクトが表示される。「干渉警報」は、周辺の障害物の検出および干渉の検出を実行させたい場合に指定され、図２５に示されるように、障害物とのぶつかり状態を示している映像および警告メッセージが表示される。警告メッセージは、障害物とのぶつかりを注意喚起する干渉情報である。

干渉の発生は、対象装置と障害物との接触（設置サイズが占める領域と周辺の障害物が占める領域とに重なりが生じること）を検出することにより、判別される。また、警告は、文字によって構成する形態に限定されず、音声、光（色）、対象装置と障害物とが接触する部分の強調表示によって構成したり、これらを適宜組み合わせたりすることも可能である。

図２６は、図１１に示される音声モード、動画モードおよび回転モードを説明するための概念図である。

音声モード、動画モードおよび回転モードは、例えば、図２６に示されるように、コンテンツデータが含まれる再生データを利用した動作表示のために使用される。

音声モードは、予め用意されている音声データ（音声Ｎｏ．１〜３）を指定するために使用される。音声データは、例えば、動作音であり、指定された音声が再生される。動画モードは、予め用意されている動画データ（動画Ｎｏ．１〜３）を指定するために使用される。動画データは、例えば、印刷開始に伴って紙が排出される様子の動画であり、指定された動画が再生される。回転モードは、対象装置を回転させて、装置全体の外観を把握するために使用され、装置自転データが再生される。

図２７は、図１１に示される重量表示モードを説明するための概念図である。

重量表示モードは、「有り」および「無し」が選択可能である。「無し」は、図２１に示されるように、重量を表示させたくない場合に指定される。「有り」は、図２７に示されるように、現在表示されている装置本体部とオプション装置の総重量を表示させたい場合に指定される。なお、装置本体部の重量とオプション装置の重量とを独立して表示することも可能である。

図２８は、図１１に示されるコネクター位置表示モードを説明するための概念図である。

コネクター位置表示モードは、「有り」および「無し」が選択可能である。「有り」は、図２５に示されるように、外部の周辺装置に接続するためのコネクターの設置位置データと挿入方向、コネクターの規格、周辺装置の名称を表示させたい場合に指定される。例えば、コネクターの規格は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）であり、周辺装置の名称は、電源である。なお、コネクターの挿入方向、コネクターの規格および周辺装置の名称は、例えば、バルーン表示することも可能である。

次に、制御処理プログラムを詳述する。

図２９は、図３に示される制御処理プログラムのアルゴリズムを説明するためのフローチャートである。

まず、タッチパネル操作（タッチパネルを利用した操作指示）の有無を検出するため、入力スキャンが実行され（ステップＳ０１）、タッチパネル操作の有無が判別される（ステップＳ０２）。タッチパネル操作が検出されない場合（ステップＳ０２：Ｎｏ）、実行シーケンスは、ステップＳ０５に進む。タッチパネル操作が検出された場合（ステップＳ０２：Ｙｅｓ）、タッチパネル入力処理が実行される（ステップＳ０３）。そして、制御処理の終了の有無が判別される（ステップＳ０４）。

制御処理は終了したと判別される場合（ステップＳ０４：Ｙｅｓ）、制御処理プログラムの実行は終了する。制御処理が終了しないと判別される場合（ステップＳ０４：Ｎｏ）、実行シーケンスは、ステップＳ０５に進む。

ステップＳ０５においては、カメラからの背景映像がＲＡＭ部の背景映像部に取り込まれ（記憶され）、その後、マーカー検出処理が実行される（ステップＳ０６）。次に、マーカー検出処理においてマーカーが検出されたか否かが判別される（ステップＳ０７）。

マーカーが検出されなかったと判別される場合（ステップＳ０７：Ｎｏ）、実行シーケンスは、ステップＳ０１にリターンする。マーカーが検出されたと判別される場合（ステップＳ０７：Ｙｅｓ）、ＡＲオブジェクト画像作成処理およびＡＲオブジェクト画像合成表示処理が実行され（ステップＳ０８およびＳ０９）、実行シーケンスは、ステップＳ０１にリターンする。

次に、タッチパネル入力処理を詳述する。

図３０は、図２９に示されるステップＳ０３のタッチパネル入力処理のアルゴリズムを説明するためのフローチャートである。

まず、ディスプレイ１５０に表示されるＭｅｎｕボタンの押圧の有無が、タッチパネル１４０を利用して検出される（ステップＳ１１）。Ｍｅｎｕボタンの押圧が検出されない場合（ステップＳ１１：Ｎｏ）、実行シーケンスは、ステップＳ１５に進む。

Ｍｅｎｕボタンの押圧が検出された場合（ステップＳ１１：Ｙｅｓ）、表示状態情報を入力するための画面(図１２参照）がディスプレイ１５０に表示される（ステップＳ１２）。

ディスプレイ１５０に表示されたモードの指定項目（図１１参照）の押圧の有無（設定の変更）が、タッチパネル１４０を利用して検出される（ステップＳ１３）。モードの指定項目の押圧が検出されない場合（ステップＳ１３：Ｎｏ）、実行シーケンスは、ステップＳ１５に進む。

モードの指定項目が押圧され、設定の変更が検出された場合（ステップＳ１３：Ｙｅｓ）、設定の変更に応じて表示状態情報が更新され（ステップＳ１４）、実行シーケンスは、ステップＳ１５に進む。

ステップＳ１５においては、タッチパネル入力処理の終了の有無が判別される。タッチパネル入力処理は終了ではないと判別される場合（ステップＳ１５：Ｎｏ）、実行シーケンスは、ステップＳ１１にリターンする。タッチパネル入力処理は終了であると判別される場合（ステップＳ１５：Ｙｅｓ）、処理を終了するための一連の処理が実行され（ステップＳ１６）、タッチパネル入力処理は終了する。

次に、マーカー検出処理を詳述する。

図３１は、図２９に示されるステップＳ０６のマーカー検出処理のアルゴリズムを説明するためのフローチャートである。

まず、ＲＡＭ部１３０の背景映像部に取り込まれた背景映像から、ＲＯＭ部１２０のコンテンツデータに含まれるマーカー画像情報を抽出する処理が実行され（ステップＳ２１）、マーカー画像情報が抽出（マーカーが検出）できたか否かが判別される（ステップＳ２２）。

マーカー画像情報が抽出できなかったと判別される場合（ステップＳ２２：Ｎｏ）、マーカー検出処理は終了する。マーカー画像情報が抽出できた場合（ステップＳ２２：Ｙｅｓ）、マーカー画像情報に含まれる装置識別情報により対象装置が特定され、また、マーカー画像情報に含まれるマーカーの角度と大きさからマーカーとセンサー（カメラ）との間の距離および方向が算出され、これに基づき、対象装置の表示位置と向きが得られ（ステップＳ２３）、マーカー検出処理は終了する。

次に、ＡＲオブジェクト画像作成処理を詳述する。

図３２は、図２９に示されるステップＳ０８のＡＲオブジェクト画像作成処理のアルゴリズムを説明するためのフローチャートである。

まず、最新の表示状態情報が、ＲＡＭ部から取得され（ステップＳ３１）、装置本体部の外形に対応する３Ｄデータに加えて、表示状態情報に含まれるオプション装置選択モードおよび操作者指定モードの設定に対応する３Ｄデータが、ＲＯＭ部から取得される（ステップＳ３２）。

次に、障害物モードにおいて「無し」が指定されているか否かが判別される（ステップＳ３３）。「無し」が指定されていると判別される場合（ステップＳ３３：Ｙｅｓ）、実行シーケンスは、ステップＳ３６に進む。

「無し」が指定されていないと判別される場合（ステップＳ３３：Ｎｏ）、センサーのスキャン結果に基づき、障害物の位置情報が取得され（ステップＳ３４）、当該位置情報から障害物の３Ｄデータが生成され（ステップＳ３５）、実行シーケンスは、ステップＳ３６に進む。

ステップＳ３６においては、ＲＯＭ部から取得された３Ｄデータおよび障害物の３Ｄデータは、マーカーＭの基準点Ｐ_１の位置データや基準点Ｐ_１までの距離等に基づき、外形画像データからなるＡＲオブジェクト画像に適切に変換され、ＡＲオブジェクト画像作成処理は終了する。

例えば、オプション装置選択モードにおいて「オプション装置」が設定されていれば、図１４あるいは図１５に示されるＡＲオブジェクト画像が作成され、重ね合わせモードにおいて「重ね合わせ」が設定されていれば、図１７に示されるＡＲオブジェクト画像が作成され、「透過」が設定されていれば、図１８に示されるＡＲオブジェクト画像が作成され、操作者指定モードにおいて「子供」が設定されていれば、図１９に示されるＡＲオブジェクト画像が作成され、「男性」が設定されていれば、図２０に示されるＡＲオブジェクト画像が作成され、障害物モードにおいて「表示のみ」あるいは「干渉警報」が設定されていれば、図２４に示されるＡＲオブジェクト画像が作成されることになる。

次に、ＡＲオブジェクト画像合成表示処理を詳述する。

図３３は、図２９に示されるステップＳ０９のＡＲオブジェクト画像合成表示処理のアルゴリズムを説明するためのフローチャートである。

まず、ＡＲオブジェクト画像と、ＲＡＭ部の背景映像部に記憶されている背景映像とが合成（オーバーレイ）される（ステップＳ４１）。この際、表示状態情報に含まれる障害物モードが「無し」の場合、障害物の３Ｄデータから生成されたＡＲオブジェクト画像は合成されない。

次に、付加情報の有無が判別される（ステップＳ４２）。付加情報は、例えば、表示状態情報に含まれるサイズ表示モード、重量表示モード、コネクター位置表示モードおよび障害物モードの設定に応じた画像データである。

最新の表示状態情報に基づき、付加情報が無いと判別される場合（ステップＳ４２：Ｎｏ）、実行シーケンスは、ステップＳ４４に進む。付加情報が有ると判別される場合（ステップＳ４２：Ｙｅｓ）、合成された画像に付加情報がさらに追加合成され、合成画像がディスプレイ１５０に表示され（ステップＳ４３）、実行シーケンスは、ステップＳ４４に進む。

例えば、サイズ表示モードにおいて「筐体サイズ」が設定されていれば、図２１に示される付加情報が追加合成され、「設置サイズ」が設定されていれば、図２２に示される付加情報が追加合成され、重量表示モードに「有り」が設定されていれば、図２７に示される付加情報が追加合成され、コネクター位置表示モードに「有り」が設定されていれば、図２８に示される付加情報が追加合成され、障害物モードにおいて「干渉警報」が設定されていれば、図２５に示される付加情報（警告メッセージ）が追加合成されることになる。

ステップＳ４４においては、再生データの有無が判別される（ステップＳ４４）。最新の表示状態情報（音声モード、動画モードおよび回転モード）に基づき、再生データが無いと判別される場合（ステップＳ４４：Ｎｏ）、ＡＲオブジェクト画像合成表示処理は終了する。

再生データが有ると判別される場合（ステップＳ４４：Ｙｅｓ）、音声モード、動画モードおよび回転モードの設定に応じて、音声の再生、動画の開始、また、対象装置の自転が実行され（ステップＳ４５）（図２６参照）、ＡＲオブジェクト画像合成表示処理は終了する。

なお、付加情報は、ＡＲオブジェクト画像および背景映像と一緒(同時）に合成することも可能である。また、ディスプレイが３Ｄ表示に対応している場合、合成画像を、適当な３Ｄフォーマットで生成し、立体視可能に構成することも可能である。さらに、合成画像は、印刷して操作者に提示することも可能である。

以上のように、本実施の形態においては、操作者に表示される合成画像には、対象装置の設置状況が適正か否かを判断するための付加情報（事前検討するための有効な情報）が含まれており、対象装置の設置状況が適正か否かを事前検討する際において、計算ミスや考慮漏れ等によるトラブルを防ぐことが容易である。したがって、対象装置の購入後のトラブルを削減することが可能である。

本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲で種々改変することができる。例えば、対象装置は、プリンター専用機やＭＦＰに限定されない。また、シミュレーション装置は、カメラ付きタブレットや、拡張現実と実空間（外部）の景色を合成して表示するゴーグルタイプ（メガネ型）の表示装置（例えば、ヘッドマウントディスプレイ）によって構成することも可能である。なお、ゴーグルタイプの表示装置の場合、タッチパネルからの操作の代わりに、例えば、外部ボタン等の入力手段を有することが必要である。

１０ 対象装置(商品)、
９０ 設置場所、
９２ 壁、
９４ 本棚
１００ シミュレーション装置、
１１０ ＣＰＵ、
１２０ ＲＯＭ部、
１３０ ＲＡＭ部、
１４０ タッチパネル、
１５０ ディスプレイ、
１６０ カメラ、
１７０ センサー、
１８０ スピーカー、
１９０ バス、
Ｍ マーカー、
Ｐ１ 基準点、
Ｐ２〜４ 測定点。

Claims (16)

1. シミュレーション装置の制御プログラムであって、
   ＡＲシミュレーションの対象装置が配置される実空間の設置場所の映像を取得する背景映像取得手順と、
   前記実空間の設置場所をスキャンすることによって、前記実空間の設置場所に位置する障害物の３Ｄデータを取得する障害物３Ｄデータ取得手順と、
   前記対象装置と前記障害物との干渉を検出する干渉検出手順と、
   前記対象装置の３Ｄデータおよび前記障害物の３Ｄデータから各々のＡＲオブジェクトを生成するＡＲオブジェクト生成手順と、
   前記対象装置の設置状況が適正か否かを判断するための付加情報を生成する付加情報生成手順と、
   前記映像、前記対象装置の前記ＡＲオブジェクトおよび前記付加情報が含まれた合成画像を生成する画像合成手順と、
   前記合成画像を表示する表示手順と、
   を有する処理を、前記シミュレーション装置に実行させ、
   前記設置状況は、前記対象装置の筐体サイズ又は設置サイズであり、
   前記障害物の３Ｄデータは、前記対象装置の筐体サイズ又は設置サイズの３Ｄデータと立体的に比較可能に構成され、
   前記干渉検出手順においては、前記障害物の前記ＡＲオブジェクトと、前記対象装置の筐体サイズ又は設置サイズの３Ｄデータから変換されたＡＲオブジェクトと、の重なりに基づいて、前記対象装置と前記障害物との干渉が検出され、
   前記付加情報は、前記干渉を注意喚起する警告情報を含んでいる
   ことを特徴とする制御プログラム。
2. 前記筐体サイズは、前記対象装置にオプション装置が装着される場合、前記オプション装置のサイズも含んでいることを特徴とする請求項１に記載の制御プログラム。
3. 前記設置サイズは、前記対象装置の筐体サイズに、実際の操作に必要となる作業領域を加えて算出され、
   前記筐体サイズは、前記対象装置にオプション装置が装着される場合、前記オプション装置のサイズを含んでいる
   ことを特徴とする請求項１に記載の制御プログラム。
4. 前記作業領域は、前記対象装置の操作者の体型を考慮して設定されることを特徴とする請求項３に記載の制御プログラム。
5. 前記作業領域は、外部の周辺装置に接続するためのコネクターを考慮して設定されることを特徴とする請求項３に記載の制御プログラム。
6. 前記付加情報は、前記筐体サイズのデータを含んでいることを特徴とする請求項２に記載の制御プログラム。
7. 前記付加情報は、前記設置サイズのデータを含んでいることを特徴とする請求項３に記載の制御プログラム。
8. 前記付加情報は、前記コネクターの配置位置データを含んでいることを特徴とする請求項５に記載の制御プログラム。
9. 前記付加情報は、前記コネクターの挿入方向、前記コネクターの規格、前記コネクターに接続される周辺装置の名称、あるいは、これらの組み合わせを、さらに含んでいることを特徴とする請求項８に記載の制御プログラム。
10. 前記警告情報は、前記干渉を指摘するメッセージを含んでいることを特徴とする請求項９に記載の制御プログラム。
11. 前記処理は、前記実空間における設置場所における前記対象装置の設置位置を検出する設置位置検出手順を、さらに有することを特徴とする請求項１〜１０のいずれか１項に記載の制御プログラム。
12. 前記対象装置の設置位置は、前記実空間における設置場所に配置されているマーカーに基づいて検出されることを特徴とする請求項１１に記載の制御プログラム。
13. ＡＲシミュレーションの対象装置が配置される実空間の設置場所の映像を取得する背景映像取得ステップと、
    前記実空間の設置場所をスキャンすることによって、前記実空間の設置場所に位置する障害物の３Ｄデータを取得する障害物３Ｄデータ取得ステップと、
    前記対象装置と前記障害物との干渉を検出する干渉検出ステップと、
    前記対象装置の３Ｄデータおよび前記障害物の３Ｄデータから各々のＡＲオブジェクトを生成するＡＲオブジェクト生成ステップと、
    前記対象装置の設置状況が適正か否かを判断するための付加情報を生成する付加情報生成ステップと、
    前記映像、前記対象装置の前記ＡＲオブジェクトおよび前記付加情報が含まれた合成画像を生成する画像合成ステップと、
    前記合成画像を表示する表示ステップと、を有し、
    前記設置状況は、前記対象装置の筐体サイズ又は設置サイズであり、
    前記障害物の３Ｄデータは、前記対象装置の筐体サイズ又は設置サイズの３Ｄデータと立体的に比較可能に構成され、
    前記干渉検出ステップにおいては、前記障害物の前記ＡＲオブジェクトと、前記対象装置の筐体サイズ又は設置サイズの３Ｄデータから変換されたＡＲオブジェクトと、の重なりに基づいて、前記対象装置と前記障害物との干渉が検出され、
    前記付加情報は、前記干渉を注意喚起する警告情報を含んでいる
    ことを特徴とするシミュレーション方法。
14. 前記実空間における設置場所における前記対象装置の設置位置を検出する設置位置検出ステップを、さらに有することを特徴とする請求項１３に記載のシミュレーション方法。
15. ＡＲシミュレーションの対象装置が配置される実空間の設置場所の映像を取得するための背景映像取得部と、
    前記実空間の設置場所をスキャンすることによって、前記実空間の設置場所に位置する障害物の３Ｄデータを取得する障害物３Ｄデータ取得手段と、
    前記対象装置と前記障害物との干渉を検出する干渉検出手段と、
    前記対象装置の３Ｄデータおよび前記障害物の３Ｄデータから各々のＡＲオブジェクトを生成するＡＲオブジェクト生成手段と、
    前記対象装置の設置状況が適正か否かを判断するための付加情報を生成する付加情報生成手段と、
    前記映像、前記対象装置の前記ＡＲオブジェクトおよび前記付加情報が含まれた合成画像を生成するための画像合成手段と、
    前記合成画像を表示するための表示部と、を有し、
    前記設置状況は、前記対象装置の筐体サイズ又は設置サイズであり、
    前記障害物の３Ｄデータは、前記対象装置の筐体サイズ又は設置サイズの３Ｄデータと立体的に比較可能に構成され、
    前記干渉検出手段は、前記障害物の前記ＡＲオブジェクトと、前記対象装置の筐体サイズ又は設置サイズの３Ｄデータから変換されたＡＲオブジェクトと、の重なりに基づいて、前記対象装置と前記障害物との干渉を検出し、
    前記付加情報は、前記干渉を注意喚起する警告情報を含んでいる
    ことを特徴とするシミュレーション装置。
16. 前記実空間における設置場所における前記対象装置の設置位置を検出するための設置位置検出手段を、さらに有することを特徴とする請求項１５に記載のシミュレーション装置。