JP5929387B2 - 情報処理装置、履歴データ生成プログラム及び投影システム - Google Patents

Description

本発明は、情報処理装置、履歴データ生成プログラム及び投影システムに関する。

従来、複数の参加者によって行なわれる会議では、発表者による発表で利用される発表資料に対して様々な指摘がなされる。また、このような会議では、発表資料に対する指摘等を含めた会議の経緯を後で振り返るためや、会議に参加していない人に会議内容を伝えるために、議事録が作成されることがある。作成される議事録は、議事録作成を担当する参加者のスキルレベルによってその質に差がでる。例えば、議事録作成を担当する参加者のスキルレベルが低い場合には、中身の薄い議事録になってしまうために、スキルレベルの高い他の参加者によって議事録が修正されることがあり、議事録作成の時間効率が低下してしまう。そこで、議事録作成をスキルレベルの高い発表者自身に行なわせることが考えられる。

また、特許文献１（特許第３９８２４５１号公報）では、アプリケーション毎に異なる位置情報を関連付けて一括管理することで、レビューで利用される複数のアプリケーションに関連を持たせる技術が開示されている。また、特許文献２（特許第３１８５５０５号公報）では、会議中に登場するキーワードや発言の頻度情報等をもとに、会議の重要度を時系列に表すファイルを作成する技術が開示されている。

しかしながら、従来技術では、会議の進行速度を低下させずに、会議の議事録を容易に作成することが困難であるという問題がある。議事録作成においては、スキルレベルの高低に関係なく、議事録作成の担当者によって会議中に好適な議事録が作成されることが好ましい。この点について、何れの従来技術も、会議中に議事録を作成する用途に適したものではない。また、議事録作成をスキルレベルの高い発表者自身が会議中に行なう場合には、発表しつつ議事録を作成することになるため、会議の進行速度が遅くなってしまう。これらの結果、従来技術では、会議の進行速度を低下させずに、会議の議事録を容易に作成することが困難である。

本発明は、上記に鑑みてなされたものであって、会議の進行速度を低下させずに、会議の議事録を容易に作成することが可能である情報処理装置、履歴データ生成プログラム及び投影システムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明に係る情報処理装置は、ユーザが保持する操作装置の役割ごとに、光を照射する光源を有する前記操作装置を用いた前記ユーザによる所定動作と、前記所定動作の属性とを対応付けて記憶する動作情報記憶部と、前記操作装置から、操作されたことを表す操作信号を受信する操作信号受信部と、画像を投影する投影装置の投影面を含む所定範囲を撮像する撮像部と、前記撮像部によって撮像された前記所定範囲に前記操作装置から照射された光の動きと、前記操作信号受信部によって受信された前記操作信号とから、前記動作情報記憶部に基づいて、前記光の動きに対する前記所定動作に応じた属性を識別する識別部と、前記識別部によって識別された前記所定動作の属性を前記画像に反映した合成画像を生成する合成画像生成部と、前記合成画像生成部によって生成された前記合成画像と、前記役割の記述と、前記属性の記述とを含む履歴データを生成する履歴記録部とを有する。

また、本発明に係る履歴データ生成プログラムは、コンピュータが、ユーザが保持する操作装置の役割ごとに、光を照射する光源を有する前記操作装置を用いた前記ユーザによる所定動作と、前記所定動作の属性とを対応付けて記憶する動作情報記憶部と、前記操作装置から、操作されたことを表す操作信号を受信する操作信号受信部と、画像を投影する投影装置の投影面を含む所定範囲を撮像する撮像部とを有し、前記撮像部によって撮像された前記所定範囲に前記操作装置から照射された光の動きと、前記操作信号受信部によって受信された前記操作信号とから、前記動作情報記憶部に基づいて、前記光の動きに対する前記所定動作に応じた属性を識別するステップと、識別された前記所定動作の属性を前記画像に反映した合成画像を生成するステップと、生成された前記合成画像と、前記役割の記述と、前記属性の記述とを含む履歴データを生成するステップとを前記コンピュータに実行させる。

また、本発明に係る投影システムは、情報処理装置と画像を投影する投影装置とを有する投影システムであって、ユーザが保持する操作装置の役割ごとに、光を照射する光源を有する前記操作装置を用いた前記ユーザによる所定動作と、前記所定動作の属性とを対応付けて記憶する動作情報記憶部と、前記操作装置から、操作されたことを表す操作信号を受信する操作信号受信部と、前記投影装置の投影面を含む所定範囲を撮像する撮像部と、前記撮像部によって撮像された前記所定範囲に前記操作装置から照射された光の動きと、前記操作信号受信部によって受信された前記操作信号とから、前記動作情報記憶部に基づいて、前記光の動きに対する前記所定動作に応じた属性を識別する識別部と、前記識別部によって識別された前記所定動作の属性を前記画像に反映した合成画像を生成する合成画像生成部と、前記合成画像生成部によって生成された前記合成画像と、前記役割の記述と、前記属性の記述とを含む履歴データを生成する履歴記録部と、前記合成画像生成部によって生成された前記合成画像を前記投影装置に投影させる制御を行なう投影制御部と、前記投影制御部による制御に応じて前記合成画像を前記投影面に投影する投影部とを有する。

本発明の一つの様態によれば、会議の進行速度を低下させずに、会議の議事録を容易に作成することができるという効果を奏する。

図１は、実施の形態１に係る投影システムの構成例を示す図である。 図２は、実施の形態１に係る情報処理装置の構成例を示す機能ブロック図である。 図３は、役割決定記憶部に記憶される情報例を示す図である。 図４は、登録画面の例を示す図である。 図５は、役割記憶部に記憶される情報例を示す図である。 図６は、実施の形態１に係るジェスチャ情報記憶部に記憶される情報例を示す図である。 図７は、発表中にスクリーンに投影される画像の例を示す図である。 図８は、指摘中にスクリーンに投影される画像の例を示す図である。 図９は、実施の形態１に係る議事録データの例を示す図である。 図１０は、実施の形態１に係る全体処理の流れの例を示すフローチャートである。 図１１は、参加者登録の例を示す処理シーケンス図である。 図１２は、参加者再登録の例を示す処理シーケンス図である。 図１３は、会議開始の例を示す処理シーケンス図である。 図１４は、発表中の例を示す処理シーケンス図である。 図１５は、ジェスチャ操作切り替えの例を示す処理シーケンス図である。 図１６は、指摘中の例を示す処理シーケンス図である。 図１７は、信号組立処理の流れの例を示すフローチャートである。 図１８は、実施の形態２に係る投影システムの構成例を示す図である。 図１９は、実施の形態２に係る情報処理装置の構成例を示す機能ブロック図である。 図２０は、実施の形態２に係るジェスチャ情報記憶部に記憶される情報例を示す図である。 図２１は、実施の形態２に係る指摘中及び回答中にスクリーン投影される画像の例を示す図である。 図２２は、実施の形態２に係る議事録データの例を示す図である。 図２３は、回答中の例を示す処理シーケンス図である。 図２４は、実施の形態３に係る投影システムの構成例を示す図である。 図２５は、実施の形態３に係る投影システムの構成例を示す図である。 図２６は、履歴データ生成プログラムがコンピュータを用いて実現されることを示す図である。

以下に添付図面を参照して、本発明に係る情報処理装置、履歴データ生成プログラム及び投影システムの実施の形態を説明する。なお、以下の実施の形態により本発明が限定されるものではない。また、各実施の形態は、内容を矛盾させない範囲で適宜組み合わせることができる。

（実施の形態１）
［実施の形態１に係るシステム構成］
図１を用いて、実施の形態１に係る投影システムの構成を説明する。図１は、実施の形態１に係る投影システムの構成例を示す図である。

図１に示すように、投影システム１０では、投影装置２０と、操作装置３０と、操作装置４０と、操作装置５０と、操作装置６０と、情報処理装置１００とがそれぞれネットワークに接続されている。これらのうち、投影装置２０は、所定画像をスクリーン等の投影面に投影するプロジェクタ等である。また、投影装置２０は、ユーザによる操作装置の操作の実行対象となる機器である。

操作装置３０、操作装置４０、操作装置５０及び操作装置６０は、光を照射する光源を有し、ユーザによって操作されたときに、操作されたことを表す操作信号を情報処理装置１００に送信する。ユーザによる操作装置の操作では、例えば、投影面を含む所定範囲に光を照射することが行なわれる。以下では、操作装置３０は発表資料に対して指摘を行なう役割である「指摘者Ａ」、操作装置４０は「指摘者Ｂ」、操作装置５０は発表資料の説明を行なう役割である「発表者」、操作装置６０は会議を進行する役割である「進行役」によってそれぞれ操作される場合を例に挙げる。つまり、各役割を担うユーザは、操作装置を操作して所定範囲に照射した光を動かすことでジェスチャ操作を行なう。なお、操作装置の数は、４台に限られるものではない。また、役割は、上述したものに限られるわけではない。また、ジェスチャ（ジェスチャ操作）は、操作装置を用いたユーザによる所定動作の一例である。

情報処理装置１００は、スクリーン等の投影面を含む所定範囲を撮像するカメラを有するＰＣ（Personal Computer）等の機器である。かかる情報処理装置１００は、操作装置によって送信された操作信号を受信するとともに、所定範囲に操作装置３０〜操作装置６０から照射された光の動きをカメラによって撮像する。そして、情報処理装置１００は、受信した操作信号と、カメラによって撮像された所定範囲に照射された光の動きとから、何れの役割に相当する操作装置を用いたどのようなジェスチャ操作であるかを識別する。また、情報処理装置１００は、識別したジェスチャ操作を投影中の画像に反映した合成画像を生成し、生成した合成画像や、ジェスチャ操作を行なったユーザの役割や、ジェスチャ操作の属性等を時系列に記録していくことで、議事録データ（履歴データ）を生成する。

このように、情報処理装置１００は、会議中において、ジェスチャ操作に応じた会議の経緯を議事録データとして生成するので、会議の進行速度を低下させずに、会議の議事録を容易に作成することができる。なお、本実施の形態では、情報処理装置１００は、カメラを備えた構成としたが、これに限定されるものではなく、情報処理装置１００に別体のカメラを接続する構成としても良い。

[実施の形態１に係る情報処理装置の構成]
次に、図２を用いて、実施の形態１に係る情報処理装置１００の構成を説明する。図２は、実施の形態１に係る情報処理装置１００の構成例を示す機能ブロック図である。

図２に示すように、情報処理装置１００は、役割決定記憶部１１１と、役割記憶部１１２と、ジェスチャ情報記憶部１１３と、撮像部１２１と、操作信号受信部１２２と、識別部１２３と、役割決定部１２４と、合成画像生成部１２５と、履歴記録部１２６と、投影制御部１２７とを有する。

役割決定記憶部１１１は、操作装置を操作するユーザの役割の決定に利用される、ジェスチャと役割とを対応付けて記憶する。図３は、役割決定記憶部１１１に記憶される情報例を示す図である。図３に示すように、役割決定記憶部１１１は、各操作装置を用いた光の動きに対する「ジェスチャ」と、該ジェスチャに応じた会議中におけるユーザの「役割」とを対応付けて記憶する。例を挙げると、役割決定記憶部１１１は、役割「進行役」と、ジェスチャ「○」とを対応付けて記憶する。他の例を挙げると、役割決定記憶部１１１は、役割「発表者」と、ジェスチャ「□」とを対応付けて記憶する。このような役割決定記憶部１１１は、会議開始前に各操作装置を利用するユーザの役割を決定する際に利用される。例えば、操作装置を用いたジェスチャが「○」である場合には、該操作装置を利用するユーザの役割が「進行役」として決定される。なお、ジェスチャ「×」は、一度決定した役割をキャンセルするときに利用されるジェスチャである。

撮像部１２１は、投影装置２０の投影面を含む所定範囲を撮像する。より具体的には、撮像部１２１は、各ユーザによる各操作装置の操作によって光が照射される投影面を含む所定範囲を撮像するカメラであり、撮像した光の動きを識別部１２３に出力する。光の動きとは、例えば、上述した「○」や「□」等の形状である。なお、撮像部１２１は、情報処理装置１００に含まれていなくても良く、情報処理装置１００にネットワークを介して接続されたカメラ、又は、情報処理装置１００にケーブル等で接続されたカメラとして独立させても良い。

操作信号受信部１２２は、各操作装置から、操作されたことを表す操作信号を受信する。より具体的には、操作信号受信部１２２は、操作装置３０〜操作装置６０の操作により照射された光が動かされた等、各操作装置が各ユーザによって操作されたときに、各操作装置によって送信される操作信号を受信する。かかる操作信号には、操作装置の識別情報等も含まれる。そして、操作信号受信部１２２は、受信した操作信号を識別部１２３に出力する。

識別部１２３は、会議開始前において、会議中における各ユーザの役割を決定する状態である場合に、各ユーザの役割を決定するための画像（登録画面）の出力を合成画像生成部１２５に対して指示するとともに、光の動きに対するジェスチャと操作信号とを役割決定部１２４に出力する。これにより、登録画面の出力指示を受け付けた合成画像生成部１２５は、投影制御部１２７を介して、登録画面を投影する制御を投影装置２０に対して行なう。また、役割決定部１２４は、識別部１２３によって出力されたジェスチャに対応する役割を役割決定記憶部１１１から取得することにより、各操作装置を利用する各ユーザの役割を決定し、決定した役割を各操作装置の識別情報とともに役割記憶部１１２に格納する。なお、決定された役割は、その都度、合成画像生成部１２５によって登録画面に反映される。

図４は、登録画面の例を示す図である。図４に示すように、登録画面には、会議の参加者の役割を指定するための情報と、指定済みの役割の登録結果と、会議開始のトリガになるジェスチャとが含まれる。かかる登録画面は、上述したように、識別部１２３による指示を受け付けた合成画像生成部１２５によって、投影制御部１２７を介して、登録画面を投影する制御が投影装置２０に対して行なわれることによりスクリーン等に投影される。

このような登録画面をもとに、各ユーザは、スクリーンに投影された登録画面を確認しながら、自身が保持する操作装置を操作することにより、自身の役割を登録する動作を行なう。例を挙げると、ジェスチャ「○」を行なったユーザの役割は「進行役」となり、ジェスチャ「□」を行なったユーザの役割は「発表者」となり、ジェスチャ「△」を行なったユーザの役割は「指摘者」となる。また、役割の登録で誤ったジェスチャを行なったユーザは、ジェスチャ「×（キャンセル）」を行ない、再度、意図する役割に応じたジェスチャを行なう。これらにより、登録結果には、「進行役」として操作装置６０の識別情報「１００４」、「発表者」として操作装置５０の識別情報「１００１」、「指摘者」として操作装置３０の識別情報「１００２」及び操作装置４０の識別情報「１００３」が反映される。ここで、利用されない操作装置が存在する場合には、登録結果に「未登録」として表示される。その後、進行役に相当する操作装置６０を利用して、会議を開始するジェスチャ「／」が行なわれた場合には、会議が開始される。

これらにより決定した役割は、役割決定部１２４によって役割記憶部１１２に格納される。図５は、役割記憶部１１２に記憶される情報例を示す図である。図５に示すように、役割記憶部１１２は、役割決定部１２４による役割決定の結果、操作装置の識別情報である「操作装置ＩＤ」と、決定された該操作装置を利用するユーザの「役割」とを対応付けて記憶する。例を挙げると、役割記憶部１１２は、操作装置ＩＤ「１００１（操作装置５０）」と、役割「発表者」とを対応付けて記憶する。

ジェスチャ情報記憶部１１３は、会議中でのユーザの役割ごとに、ジェスチャや該ジェスチャの属性等を対応付けて記憶する。なお、ジェスチャ情報記憶部１１３は、動作情報記憶部の一例である。図６は、実施の形態１に係るジェスチャ情報記憶部１１３に記憶される情報例を示す図である。図６に示すように、ジェスチャ情報記憶部１１３は、会議中でのユーザの役割ごとに、ジェスチャの内容や性質等を表す「属性」と、ジェスチャが利用される頻度を表す「利用頻度」と、ジェスチャを使用するユーザの役割を表す「使用者の役割」と、「ジェスチャ」とを対応付けて記憶する。また、役割「指摘者」に対するジェスチャ情報記憶部１１３は、指摘事項を投影中の画像にマーキング等をして反映させるときの色を表す「マーキング色」をさらに記憶する。なお、指摘事項反映の詳細については後述する。

例を挙げると、ジェスチャ情報記憶部１１３は、指摘者用のジェスチャ情報として、属性「正しい」と、利用頻度「中」と、使用者の役割「指摘者」と、ジェスチャ「○」と、マーキング色「青」とを対応付けて記憶する。また、ジェスチャ情報記憶部１１３は、発表者用のジェスチャ情報として、属性「ページ順送り」と、利用頻度「高」と、使用者の役割「発表者」と、ジェスチャ「→」とを対応付けて記憶する。また、ジェスチャ情報記憶部１１３は、進行役用のジェスチャ情報として、属性「開始」と、利用頻度「低」と、使用者の役割「進行役」と、ジェスチャ「／」とを対応付けて記憶する。

ここで、進行役によって会議開始のジェスチャが行なわれた場合を説明する。識別部１２３は、進行役に相当する操作装置６０から、操作信号受信部１２２を介して操作信号を受け付けるとともに、撮像部１２１から、該操作装置６０を用いたジェスチャ「／」を受け付ける。このとき、識別部１２３は、操作信号に含まれる操作装置ＩＤをもとに役割記憶部１１２から役割「進行役」を取得し、役割「進行役」に対するジェスチャ「／」の属性「開始」をジェスチャ情報記憶部１１３から取得する。これらにより、識別部１２３は、操作装置６０を使用する進行役によって会議開始のためのジェスチャが行なわれたことを識別する。

そして、識別部１２３は、会議開始の旨を合成画像生成部１２５に通知するとともに、議事録データの生成を開始する旨を履歴記録部１２６に通知する。また、識別部１２３は、会議開始の旨を合成画像生成部１２５に通知する場合に、発表資料の発表中に操作可能なジェスチャと該ジェスチャの属性とを、役割ごとに通知する。

識別部１２３から会議開始の旨の通知を受け付けた合成画像生成部１２５は、ユーザＰＣ等の他の機器や所定の記憶装置等から発表資料を取得し、発表資料の画像に、発表中に操作可能なジェスチャと該ジェスチャの属性とを役割ごとに表した画像を合成した合成画像を生成し、投影制御部１２７に合成画像の投影を指示する。これにより、投影制御部１２７は、合成画像を投影装置２０に投影させる制御を行なう。一方、識別部１２３から議事録データの生成を開始する旨の通知を受け付けた履歴記録部１２６は、このときのタイムスタンプを取得し、議事録データの生成を開始する。

図７は、発表中にスクリーンに投影される画像の例を示す図である。図７に示すように、発表中にスクリーンに投影される画像には、発表者による発表で説明する発表資料と、発表者用のジェスチャ及び属性と、進行役用のジェスチャ及び属性とが含まれる。発表者は、スクリーンに投影される画像をもとに、「ページ順送り」や「画面拡大」等のジェスチャ操作を行ないつつ、発表資料の説明を行なっていく。

ここで、発表者によって「ページ順送り」のジェスチャが行なわれた場合を説明する。識別部１２３は、発表者に相当する操作装置５０から、操作信号受信部１２２を介して操作信号を受け付けるとともに、撮像部１２１から、該操作装置５０を用いたジェスチャ「→」を受け付ける。このとき、識別部１２３は、操作信号に含まれる操作装置ＩＤをもとに役割記憶部１１２から役割「発表者」を取得し、役割「発表者」に対するジェスチャ「→」の属性「ページ順送り」をジェスチャ情報記憶部１１３から取得する。これらにより、識別部１２３は、操作装置５０を使用する発表者によって発表資料のページを順送りするためのジェスチャが行なわれたことを識別する。

そして、識別部１２３は、ページ順送りの旨を合成画像生成部１２５に通知するとともに、発表者によってページ順送りのジェスチャ操作が行なわれたことを記録した議事録データを生成する旨を履歴記録部１２６に通知する。

識別部１２３からページ順送りの旨の通知を受け付けた合成画像生成部１２５は、投影中の発表資料を次ページに変更し、発表資料の画像に、発表中に操作可能なジェスチャと該ジェスチャの属性とを役割ごとに表した画像を合成した合成画像を生成し、投影制御部１２７に合成画像の投影を指示する。これにより、投影制御部１２７は、合成画像を投影装置２０に投影させる制御を行なう。一方、識別部１２３から議事録データの生成の旨の通知を受け付けた履歴記録部１２６は、このときのタイムスタンプを取得し、発表者によってページ順送りされたことを記録した議事録データを生成する。なお、「ページ順送り」だけでなく、発表中に発表者によって他のジェスチャ操作が行なわれた場合も、上記と同様の処理が行なわれる。

つまり、発表者によって発表資料が説明されている間は、指摘者によるジェスチャは受け付けないようにしている。指摘者によるジェスチャを受け付けるためには、進行役によってジェスチャ「３（指摘者に変更）」が行なわれることになる。

ここで、進行役によって「指摘者に変更」のジェスチャが行なわれた場合を説明する。識別部１２３は、進行役に相当する操作装置６０から、操作信号受信部１２２を介して操作信号を受け付けるとともに、撮像部１２１から、該操作装置６０を用いたジェスチャ「３」を受け付ける。このとき、識別部１２３は、操作信号に含まれる操作装置ＩＤをもとに役割記憶部１１２から役割「進行役」を取得し、役割「進行役」に対するジェスチャ「３」の属性「指摘者に変更」をジェスチャ情報記憶部１１３から取得する。これらにより、識別部１２３は、操作装置６０を使用する進行役によって、ジェスチャ操作を発表者から指摘者に変更するためのジェスチャが行なわれたことを識別する。

そして、識別部１２３は、ジェスチャ操作を指摘者に変更する旨を合成画像生成部１２５に通知するとともに、進行役によってジェスチャ操作を指摘者に変更するジェスチャ操作が行なわれたことを記録した議事録データを生成する旨を履歴記録部１２６に通知する。

識別部１２３からジェスチャ操作を指摘者に変更する旨の通知を受け付けた合成画像生成部１２５は、投影中の発表資料の画像に、指摘者に対する指摘中に操作可能なジェスチャと該ジェスチャの属性とを表した画像を合成した合成画像を生成し、投影制御部１２７に合成画像の投影を指示する。これにより、投影制御部１２７は、合成画像を投影装置２０に投影させる制御を行なう。一方、識別部１２３から議事録データを生成する旨の通知を受け付けた履歴記録部１２６は、このときのタイムスタンプを取得し、進行役によってジェスチャ操作を指摘者に変更されたことを記録した議事録データを生成する。

図８は、指摘中にスクリーンに投影される画像の例を示す図である。図８に示すように、指摘中にスクリーンに投影される画像には、発表者による発表で説明していた発表資料と、指摘者用のジェスチャ及び属性と、進行役用のジェスチャ及び属性とが含まれる。指摘者は、スクリーンに投影される画像をもとに、「正しい」や「間違い」等のジェスチャ操作を行いつつ、発表資料に対して指摘を行なっていく。

ここで、指摘者によって「間違い」のジェスチャが行なわれた場合を説明する。識別部１２３は、指摘者に相当する操作装置３０から、操作信号受信部１２２を介して操作信号を受け付けるとともに、撮像部１２１から、該操作装置３０を用いたジェスチャ「レ」及び指摘されたスクリーンでの位置を受け付ける。このとき、識別部１２３は、操作信号に含まれる操作装置ＩＤをもとに役割記憶部１１２から役割「指摘者」を取得し、役割「指摘者」に対するジェスチャ「レ」の属性「間違い」及びマーキング色「赤」をジェスチャ情報記憶部１１３から取得する。これらにより、識別部１２３は、操作装置３０を使用する指摘者によって発表資料のどの箇所の間違いを指摘するためのジェスチャが行なわれたかを識別する。

そして、識別部１２３は、指摘内容、指摘位置及びマーキング色を合成画像生成部１２５に通知するとともに、指摘者による指摘内容及び指摘位置を記録した議事録データを生成する旨を履歴記録部１２６に通知する。

識別部１２３から指摘内容、指摘位置及びマーキング色の通知を受け付けた合成画像生成部１２５は、投影中の発表資料の画像に、指摘者によって指摘された箇所に対して指摘内容「間違い」とマーキング色「赤」での所定形状によるマーキングとを表した画像を合成した合成画像を生成し、投影制御部１２７に合成画像の投影を指示する。これにより、投影制御部１２７は、合成画像を投影装置２０に投影させる制御を行なう。一方、識別部１２３から議事録データを生成する旨の通知を受け付けた履歴記録部１２６は、このときのタイムスタンプを取得し、指摘者による指摘事項（指摘箇所及び指摘内容）を表す情報を記録した議事録データを生成する。なお、「間違い」だけでなく、指摘中に指摘者によって他のジェスチャ操作が行なわれた場合も、上記と同様の処理が行なわれる。図８では、所定箇所に対する指摘者による指摘「間違い」、「正しい」、「検討不足」が行なわれた場合を表している。また、指摘者による指摘が終了し、発表者による発表が進められる場合には、進行役によってジェスチャ「２（発表者に変更）」が行なわれる。

また、上記の例では、指摘者によってジェスチャ「レ」が行なわれ、識別部１２３によってジェスチャ「レ」の属性「間違い」がジェスチャ情報記憶部１１３から取得される場合を説明した。ジェスチャの識別に関して、識別部１２３は、ジェスチャの候補が複数存在する場合に、「利用頻度」のより高いジェスチャに応じた属性をジェスチャ情報記憶部１１３から取得する。上記の例で説明すると、識別部１２３は、指摘者によってジェスチャ「レ」とジェスチャ「＜」との両方に類似するジェスチャが行なわれた場合に、ジェスチャの候補として「レ」及び「＜」が存在するため、ジェスチャ情報記憶部１１３を参照し、それぞれのジェスチャの利用頻度「レ（利用頻度：中）」、「＜（利用頻度：高）」をもとに、より利用頻度の高いジェスチャ「＜」に応じた属性「説明追加」を取得する。なお、指摘者のジェスチャに対してだけではなく、発表者や進行役によるジェスチャに対しても同様に上記処理が行なわれる。

図９は、実施の形態１に係る議事録データの例を示す図である。図９に示すように、議事録データには、会議に参加した参加者の役割と、議事の開始時間及び終了時間と、各発表資料に対して指摘事項がマーキングされた画像と、該指摘事項の記述とが含まれる。これらのうち、指摘事項がマーキングされた画像と指摘事項の記述とは、「指摘事項１−１」等のように指摘順に指摘番号が採番され、それぞれ関連付けられている。上述してきたように、履歴記録部１２６は、会議開始、発表中、ジェスチャ操作の切り替え時、指摘中等の、投影装置２０による合成画像のあらゆる投影状態に応じて、議事録データを都度生成する。

[全体処理フロー]
次に、図１０を用いて、実施の形態１に係る全体処理の流れについて説明する。図１０は、実施の形態１に係る全体処理の流れの例を示すフローチャートである。

図１０に示すように、撮像部１２１は、各ユーザによる各操作装置の操作によって光が照射されるスクリーンを含む所定範囲を撮像する（ステップＳ１０１）。また、操作信号受信部１２２は、所定範囲に照射された光が動かされた等、各操作装置が操作されたときに、各操作装置によって送信された操作信号を受信する（ステップＳ１０２）。そして、識別部１２３は、撮像部１２１によって撮像された光の動きと、操作信号受信部１２２によって受信された操作信号とをもとに、何れの役割に相当する操作装置を用いたどのようなジェスチャであるかを識別する（ステップＳ１０３）。

また、識別部１２３は、操作可能な役割によるジェスチャであると判定した場合に（ステップＳ１０４肯定）、役割を決定するためのジェスチャであるか否かを判定する（ステップＳ１０５）。操作可能な役割によるジェスチャであるか否かは、発表中や指摘中等において、進行役によるジェスチャ操作の切り替えに対して操作可能な役割に該当するか否かにより判定される。これらにより、識別部１２３によって、操作可能な役割によるジェスチャでないと判定された場合には（ステップＳ１０４否定）、再度ステップＳ１０１の処理が実行される。また、役割を決定するためのジェスチャであるか否かは、会議開始前の状態、すなわち役割記憶部１１２に役割の情報が記憶されていない状態であるか否かにより判定される。

このとき、識別部１２３によって、役割を決定するためのジェスチャであると判定された場合に（ステップＳ１０５肯定）、役割決定部１２４は、ジェスチャに対応する役割を役割決定記憶部１１１から取得し、操作装置を利用するユーザの役割を決定する（ステップＳ１０６）。一方、識別部１２３は、役割を決定するためのジェスチャでないと判定した場合に（ステップＳ１０５否定）、操作可能な役割を切り替えるためのジェスチャであるか否かを判定する（ステップＳ１０７）。操作可能な役割を切り替えるためのジェスチャであるか否かは、会議中に、進行役によって「指摘者に変更」や「発表者に変更」のジェスチャが行なわれたか否かにより判定される。

このとき、識別部１２３は、操作可能な役割を切り替えるためのジェスチャであると判定した場合に（ステップＳ１０７肯定）、ジェスチャ操作を指摘者用又は発表者用に変更する旨を合成画像生成部１２５に通知するとともに、ジェスチャ操作を指摘者用又は発表者用に変更するジェスチャ操作が行なわれたことを記録した議事録データを生成する旨を履歴記録部１２６に通知する。これにより、識別部１２３からジェスチャ操作を指摘者用又は発表者用に変更する旨の通知を受け付けた合成画像生成部１２５は、投影中の発表資料の画像に、指摘者又は発表者に対する操作可能なジェスチャと該ジェスチャの属性とを表した画像を合成した合成画像を生成し、投影制御部１２７に合成画像の投影を指示する。また、投影制御部１２７は、合成画像を投影装置２０に投影させる制御を行なう。加えて、識別部１２３から議事録データを生成する旨の通知を受け付けた履歴記録部１２６は、このときのタイムスタンプを取得し、進行役によってジェスチャ操作を指摘者又は発表者に変更されたことを記録した議事録データを生成する。

一方、識別部１２３によって、操作可能な役割を切り替えるためのジェスチャでないと判定された場合に（ステップＳ１０７否定）、合成画像生成部１２５は、発表者又は指摘者によるジェスチャの属性を画像に反映した合成画像を生成する（ステップＳ１０８）。また、履歴記録部１２６は、合成画像生成部１２５によって生成された合成画像と、役割の記述と、属性の記述とを含む議事録データを生成する（ステップＳ１０９）。また、投影制御部１２７は、合成画像生成部１２５によって生成された合成画像を投影装置２０に投影させる制御を行なう（ステップＳ１１０）。

[参加者登録シーケンス]
次に、図１１を用いて、参加者登録の処理シーケンスについて説明する。図１１は、参加者登録の例を示す処理シーケンス図である。

図１１に示すように、合成画像生成部１２５は、会議開始前において、識別部１２３からの指示により登録画面である初期画像を生成する（ステップＳ２０１）。そして、合成画像生成部１２５は、投影制御部１２７を介して、生成した初期画像を投影装置２０に投影させる制御を行なう（ステップＳ２０２）。これらにより、スクリーンには、図４に示した登録画面が投影される。

また、操作装置３０〜操作装置６０を用いた各ユーザによる操作により、操作信号受信部１２２を介して、識別部１２３に操作信号が入力される（ステップＳ２０３）。このとき、識別部１２３には、撮像部１２１によって撮像された光の動きも入力される。そして、識別部１２３は、入力された信号（光の動き）を組み立てる（ステップＳ２０４）。その後、識別部１２３は、光の動きに対するジェスチャと操作信号とを役割決定部１２４に出力する（ステップＳ２０５）。なお、信号の組み立ての詳細については後述する。

また、役割決定部１２４は、識別部１２３によって出力されたジェスチャに対応する役割を役割決定記憶部１１１から取得することにより、各操作装置を利用する各ユーザの役割を決定する（ステップＳ２０６）。そして、役割決定部１２４は、決定した各操作装置を利用する各ユーザの役割を識別部１２３に通知する（ステップＳ２０７）。

また、識別部１２３は、役割決定部１２４によって通知された役割と各操作装置ＩＤとを合成画像生成部１２５に通知する(ステップＳ２０８)。これにより、合成画像生成部１２５は、識別部１２３によって通知された役割と各操作装置ＩＤとの登録結果を反映した画像を生成する（ステップＳ２０９）。そして、合成画像生成部１２５は、投影制御部１２７を介して、生成した画像を投影装置２０に投影させる制御を行なう（ステップＳ２１０）。また、識別部１２３は、議事録データの生成で利用するための参加者（進行役、発表者、指摘者Ａ、指摘者Ｂなど）を履歴記録部１２６に通知する（ステップＳ２１１）。

[参加者再登録シーケンス]
次に、図１２を用いて、参加者再登録の処理シーケンスについて説明する。図１２は、参加者再登録の例を示す処理シーケンス図である。なお、図１２に示す参加者再登録の例では、操作装置６０を用いたユーザが発表者として参加の登録をした後にキャンセルし、進行役として参加の再登録を行なう場合を説明する。

図１２に示すように、合成画像生成部１２５は、会議開始前において、識別部１２３からの指示により登録画面である初期画像を生成する（ステップＳ３０１）。そして、合成画像生成部１２５は、投影制御部１２７を介して、生成した初期画像を投影装置２０に投影させる制御を行なう（ステップＳ３０２）。

また、操作装置６０を用いたユーザによる操作により、操作信号受信部１２２を介して、識別部１２３に操作信号が入力される（ステップＳ３０３）。このとき、識別部１２３には、撮像部１２１によって撮像された光の動きに対するジェスチャ「□（発表者）」も入力される。そして、識別部１２３は、入力された信号（光の動き）を組み立てる（ステップＳ３０４）。その後、識別部１２３は、ジェスチャ「□」と操作信号とを役割決定部１２４に出力する（ステップＳ３０５）。

また、役割決定部１２４は、識別部１２３によって出力されたジェスチャ「□」に対応する役割「発表者」を役割決定記憶部１１１から取得することにより、操作装置６０を利用するユーザの役割を決定する（ステップＳ３０６）。そして、役割決定部１２４は、決定した操作装置６０を利用するユーザの役割「発表者」を識別部１２３に通知する（ステップＳ３０７）。

また、識別部１２３は、役割決定部１２４によって通知された役割「発表者」と操作装置６０の操作装置ＩＤ「１００４」とを合成画像生成部１２５に通知する（ステップＳ３０８）。これにより、合成画像生成部１２５は、識別部１２３によって通知された役割「発表者」と操作装置ＩＤ「１００４（操作装置６０）」との登録結果を反映した画像を生成する（ステップＳ３０９）。そして、合成画像生成部１２５は、投影制御部１２７を介して、生成した画像を投影装置２０に投影させる制御を行なう（ステップＳ３１０）。また、識別部１２３は、議事録データを生成するための参加者（発表者）を履歴記録部１２６に通知する（ステップＳ３１１）。

また、操作装置６０を用いたユーザ（発表者として登録したユーザ）による操作により、操作信号受信部１２２を介して、識別部１２３に操作信号が入力される（ステップＳ３１２）。このとき、識別部１２３には、撮像部１２１によって撮像された光の動きに対するジェスチャ「×（キャンセル）」も入力される。そして、識別部１２３は、入力された信号（光の動き）を組み立てる（ステップＳ３１３）。その後、識別部１２３は、ジェスチャ「×」と操作信号とを役割決定部１２４に出力する（ステップＳ３１４）。

また、役割決定部１２４は、識別部１２３によって出力されたジェスチャ「×」に対応する役割「キャンセル」を役割決定記憶部１１１から取得することにより、操作装置６０を利用するユーザの役割を決定する（ステップＳ３１５）。そして、役割決定部１２４は、決定した操作装置６０を利用するユーザの役割「キャンセル」を識別部１２３に通知する（ステップＳ３１６）。

また、識別部１２３は、役割決定部１２４によって通知された役割「キャンセル」と操作装置６０の操作装置ＩＤ「１００４」とを合成画像生成部１２５に通知する（ステップＳ３１７）。これにより、合成画像生成部１２５は、識別部１２３によって通知された役割「キャンセル」と操作装置ＩＤ「１００４（操作装置６０）」との登録結果を反映した画像を生成する（ステップＳ３１８）。ここで生成される画像は、前段で登録されていた操作装置６０の役割が発表者であることを削除し、操作装置６０の役割を「未登録」として表した画像である。そして、合成画像生成部１２５は、投影制御部１２７を介して、生成した画像を投影装置２０に投影させる制御を行なう（ステップＳ３１９）。また、識別部１２３は、議事録データを生成するための参加者（発表者キャンセル）を履歴記録部１２６に通知する（ステップＳ３２０）。

また、操作装置６０を用いたユーザ（発表者をキャンセルしたユーザ）による操作により、操作信号受信部１２２を介して、識別部１２３に操作信号が入力される（ステップＳ３２１）。このとき、識別部１２３には、撮像部１２１によって撮像された光の動きに対するジェスチャ「○（進行役）」も入力される。そして、識別部１２３は、入力された信号（光の動き）を組み立てる（ステップＳ３２２）。その後、識別部１２３は、ジェスチャ「○」と操作信号とを役割決定部１２４に出力する（ステップＳ３２３）。

また、役割決定部１２４は、識別部１２３によって出力されたジェスチャ「○」に対応する役割「進行役」を役割決定記憶部１１１から取得することにより、操作装置６０を利用するユーザの役割を決定する（ステップＳ３２４）。そして、役割決定部１２４は、決定した操作装置６０を利用するユーザの役割「進行役」を識別部１２３に通知する（ステップＳ３２５）。

また、識別部１２３は、役割決定部１２４によって通知された役割「進行役」と操作装置６０の操作装置ＩＤ「１００４」とを合成画像生成部１２５に通知する（ステップＳ３２６）。これにより、合成画像生成部１２５は、識別部１２３によって通知された役割「進行役」と操作装置ＩＤ「１００４（操作装置６０）」との登録結果を反映した画像を生成する（ステップＳ３２７）。そして、合成画像生成部１２５は、投影制御部１２７を介して、生成した画像を投影装置２０に投影させる制御を行なう（ステップＳ３２８）。また、識別部１２３は、議事録データを生成するための参加者（進行役）を履歴記録部１２６に通知する（ステップＳ３２９）。

[会議開始シーケンス]
次に、図１３を用いて、会議開始の処理シーケンスについて説明する。図１３は、会議開始の例を示す処理シーケンス図である。

図１３に示すように、操作装置６０を用いたユーザによる操作により、操作信号受信部１２２を介して、識別部１２３に操作信号が入力される（ステップＳ４０１）。このとき、識別部１２３には、撮像部１２１によって撮像された光の動きに対するジェスチャ「／（開始）」も入力される。そして、識別部１２３は、入力された信号（光の動き）を組み立てる（ステップＳ４０２）。続いて、識別部１２３は、操作信号に含まれる操作装置ＩＤ「１００４」をもとに役割記憶部１１２を参照して、役割「進行役」を取得する（ステップＳ４０３）。また、識別部１２３は、ジェスチャ情報記憶部１１３を参照して、役割「進行役」に対するジェスチャ「／」の属性「開始」を取得する（ステップＳ４０４）。これらにより、識別部１２３は、進行役である操作装置６０のユーザから会議を開始するジェスチャを受け付けたことを識別する。その後、識別部１２３は、会議を開始する旨を合成画像生成部１２５に通知する（ステップＳ４０５）。

また、合成画像生成部１２５は、識別部１２３によって会議開始の通知を受け付けると、ユーザＰＣ等の他の機器や所定の記憶装置等から発表資料を取得する（ステップＳ４０６）。そして、合成画像生成部１２５は、発表資料の画像に、発表中に操作可能なジェスチャと該ジェスチャの属性とを役割ごとに表した画像を合成した合成画像を生成し、投影制御部１２７を介して、生成した合成画像を投影装置２０に投影させる制御を行なう（ステップＳ４０７）。また、識別部１２３は、議事録データの生成を開始させるための要求を履歴記録部１２６に行なう（ステップＳ４０８）。これにより、履歴記録部１２６は、このときのタイムスタンプを取得し（ステップＳ４０９）、議事録データの生成を開始する（ステップＳ４１０）。

[発表中シーケンス]
次に、図１４を用いて、発表中の処理シーケンスについて説明する。図１４は、発表中の例を示す処理シーケンス図である。

図１４に示すように、操作装置５０を用いたユーザによる操作により、操作信号受信部１２２を介して、識別部１２３に操作信号が入力される（ステップＳ５０１）。このとき、識別部１２３には、撮像部１２１によって撮像された光の動きに対するジェスチャ「→（ページ順送り）」も入力される。そして、識別部１２３は、入力された信号（光の動き）を組み立てる（ステップＳ５０２）。続いて、識別部１２３は、操作信号に含まれる操作装置ＩＤ「１００１」をもとに役割記憶部１１２を参照して、役割「発表者」を取得する（ステップＳ５０３）。また、識別部１２３は、ジェスチャ情報記憶部１１３を参照して、役割「発表者」に対するジェスチャ「→」の属性「ページ順送り」を取得する（ステップＳ５０４）。これらにより、識別部１２３は、発表者である操作装置５０のユーザから発表資料のページ順送りを行なうジェスチャを受け付けたことを識別する。その後、識別部１２３は、発表資料のページを順送りする旨を合成画像生成部１２５に通知する（ステップＳ５０５）。

また、合成画像生成部１２５は、識別部１２３によって発表資料のページを順送りする旨の通知を受け付けると、投影中の発表資料のページを順送りして発表資料を変更する（ステップＳ５０６）。詳細には、合成画像生成部１２５は、投影中の発表資料のページを順送りした画像に、発表中に操作可能なジェスチャと該ジェスチャの属性とを役割ごとに表した画像を合成した合成画像を生成する。そして、合成画像生成部１２５は、投影制御部１２７を介して、生成した合成画像を投影装置２０に投影させる制御を行なう（ステップＳ５０７）。また、識別部１２３は、発表者がページを順送りした旨を記録した議事録データの生成要求を履歴記録部１２６に行なう（ステップＳ５０８）。これにより、履歴記録部１２６は、このときのタイムスタンプを取得し（ステップＳ５０９）、議事録データを生成する（ステップＳ５１０）。

また、操作装置５０を用いたユーザによる操作により、操作信号受信部１２２を介して、識別部１２３に操作信号が入力される（ステップＳ５１１）。このとき、識別部１２３には、撮像部１２１によって撮像された光の動きに対するジェスチャ「↑↓（画面拡大）」や拡大対象の位置も入力される。そして、識別部１２３は、入力された信号（光の動き）を組み立てる（ステップＳ５１２）。続いて、識別部１２３は、操作信号に含まれる操作装置ＩＤ「１００１」をもとに役割記憶部１１２を参照して、役割「発表者」を取得する（ステップＳ５１３）。また、識別部１２３は、ジェスチャ情報記憶部１１３を参照して、役割「発表者」に対するジェスチャ「↑↓」の属性「画面拡大」を取得する（ステップＳ５１４）。これらにより、識別部１２３は、発表者である操作装置５０のユーザから発表資料の所定位置の画面拡大を行なうジェスチャを受け付けたことを識別する。その後、識別部１２３は、発表資料の所定位置の画面を拡大する旨を合成画像生成部１２５に通知する（ステップＳ５１５）。

また、合成画像生成部１２５は、識別部１２３によって発表資料の所定位置の画面を拡大する旨の通知を受け付けると、投影中の発表資料の所定位置の画面を拡大して発表資料を変更する（ステップＳ５１６）。詳細には、合成画像生成部１２５は、投影中の発表資料の所定位置の画面を拡大した画像に、発表中に操作可能なジェスチャと該ジェスチャの属性とを役割ごとに表した画像を合成した合成画像を生成する。そして、合成画像生成部１２５は、投影制御部１２７を介して、生成した合成画像を投影装置２０に投影させる制御を行なう（ステップＳ５１７）。また、識別部１２３は、発表者が発表資料の所定位置の画面を拡大した旨を記録した議事録データの生成要求を履歴記録部１２６に行なう（ステップＳ５１８）。これにより、履歴記録部１２６は、このときのタイムスタンプを取得し（ステップＳ５１９）、議事録データを生成する（ステップＳ５２０）。

[ジェスチャ操作切り替えシーケンス]
次に、図１５を用いて、ジェスチャ操作切り替えの処理シーケンスについて説明する。図１５は、ジェスチャ操作切り替えの例を示す処理シーケンス図である。

図１５に示すように、発表者による発表資料の発表中に、操作装置６０を用いたユーザによる操作により、操作信号受信部１２２を介して、識別部１２３に操作信号が入力される（ステップＳ６０１）。このとき、識別部１２３には、撮像部１２１によって撮像された光の動きに対するジェスチャ「３（指摘者に変更）」も入力される。そして、識別部１２３は、入力された信号（光の動き）を組み立てる（ステップＳ６０２）。続いて、識別部１２３は、操作信号に含まれる操作装置ＩＤ「１００４」をもとに役割記憶部１１２を参照して、役割「進行役」を取得する（ステップＳ６０３）。また、識別部１２３は、ジェスチャ情報記憶部１１３を参照して、役割「進行役」に対するジェスチャ「３」の属性「指摘者に変更」を取得する（ステップＳ６０４）。これらにより、識別部１２３は、進行役である操作装置６０のユーザからジェスチャ操作可能なユーザを発表者から指摘者に変更するジェスチャを受け付けたことを識別する。その後、識別部１２３は、ジェスチャ操作可能なユーザが指摘者に変更になったことから、発表者用の画像から、指摘中に操作可能な指摘者用のジェスチャと該ジェスチャの属性とを表した画像に変更する要求を合成画像生成部１２５に行なう（ステップＳ６０５）。

また、合成画像生成部１２５は、識別部１２３によって画像の変更要求を受け付けると、投影中の発表資料の画像に、指摘者用のＵＩ（User Interface）である指摘中に操作可能な指摘者用のジェスチャと該ジェスチャの属性とを表した画像を合成した合成画像を生成する（ステップＳ６０６）。そして、合成画像生成部１２５は、投影制御部１２７を介して、生成した合成画像を投影装置２０に投影させる制御を行なう（ステップＳ６０７）。また、識別部１２３は、指摘者による指摘が開始される旨を記録した議事録データの生成要求を履歴記録部１２６に行なう（ステップＳ６０８）。

指摘者による発表資料に対する指摘中に、操作装置６０を用いたユーザによる操作により、操作信号受信部１２２を介して、識別部１２３に操作信号が入力される（ステップＳ６０９）。このとき、識別部１２３には、撮像部１２１によって撮像された光の動きに対するジェスチャ「２（発表者に変更）」も入力される。そして、識別部１２３は、入力された信号（光の動き）を組み立てる（ステップＳ６１０）。続いて、識別部１２３は、操作信号に含まれる操作装置ＩＤ「１００４」をもとに役割記憶部１１２を参照して、役割「進行役」を取得する（ステップＳ６１１）。また、識別部１２３は、ジェスチャ情報記憶部１１３を参照して、役割「進行役」に対するジェスチャ「２」の属性「発表者に変更」を取得する（ステップＳ６１２）。これらにより、識別部１２３は、進行役である操作装置６０のユーザからジェスチャ操作可能なユーザを指摘者から発表者に変更するジェスチャを受け付けたことを識別する。その後、識別部１２３は、ジェスチャ操作可能なユーザが発表者に変更になったことから、指摘者用の画像から、発表中に操作可能な発表者用のジェスチャと該ジェスチャの属性とを表した画像に変更する要求を合成画像生成部１２５に行なう（ステップＳ６１３）。

また、合成画像生成部１２５は、識別部１２３によって画像の変更要求を受け付けると、投影中の発表資料の画像に、発表者用のＵＩである発表中に操作可能な発表者用のジェスチャと該ジェスチャの属性とを表した画像を合成した合成画像を生成する（ステップＳ６１４）。そして、合成画像生成部１２５は、投影制御部１２７を介して、生成した合成画像を投影装置２０に投影させる制御を行なう（ステップＳ６１５）。また、識別部１２３は、発表者による発表資料の発表が再開される旨を記録した議事録データにの生成要求を履歴記録部１２６に行なう（ステップＳ６１６）。

[指摘中シーケンス]
次に、図１６を用いて、指摘中の処理シーケンスについて説明する。図１６は、指摘中の例を示す処理シーケンス図である。なお、図１６では、「指摘者Ａ」であるユーザが操作装置３０を操作する場合を説明する。

図１６に示すように、指摘者による発表資料に対する指摘中に、操作装置３０を用いたユーザによる操作により、操作信号受信部１２２を介して、識別部１２３に操作信号が入力される（ステップＳ７０１）。このとき、識別部１２３には、撮像部１２１によって撮像された光の動きに対するジェスチャ「○（正しい）」も入力される。そして、識別部１２３は、入力された信号（光の動き）を組み立てる（ステップＳ７０２）。続いて、識別部１２３は、操作信号に含まれる操作装置ＩＤ「１００２」をもとに役割記憶部１１２を参照して、役割「指摘者」を取得する（ステップＳ７０３）。また、識別部１２３は、ジェスチャ情報記憶部１１３を参照して、役割「指摘者」に対するジェスチャ「○」の属性「正しい」とマーキング色「青」とを取得する（ステップＳ７０４）。これらにより、識別部１２３は、指摘者である操作装置３０のユーザから所定箇所の指摘事項「正しい」を表すジェスチャを受け付けたことを識別する。その後、識別部１２３は、所定箇所の指摘事項「正しい」を青色でマーキングした画像に変更する指示を合成画像生成部１２５に行なう（ステップＳ７０５）。

また、合成画像生成部１２５は、識別部１２３によって画像の変更指示を受け付けると、投影中の発表資料の画像に、青色でマーキングした所定箇所と指摘事項「正しい」とを表した画像を合成した合成画像を生成する（ステップＳ７０６）。そして、合成画像生成部１２５は、投影制御部１２７を介して、生成した合成画像を投影装置２０に投影させる制御を行なう（ステップＳ７０７）。また、識別部１２３は、指摘者による発表資料に対する指摘事項を記録した議事録データの生成要求を履歴記録部１２６に行なう（ステップＳ７０８）。これにより、履歴記録部１２６は、このときのタイムスタンプを取得し（ステップＳ７０９）、指摘番号を採番して（ステップＳ７１０）、議事録データを生成する（ステップＳ７１１）。

[信号組立フロー]
次に、図１７を用いて、信号組立処理の流れについて説明する。図１７は、信号組立処理の流れの例を示すフローチャートである。

図１７に示すように、識別部１２３は、操作装置から送信される操作信号とともに、撮像部１２１によって撮像された、該操作装置を用いてスクリーン等に照射された光の動きを受け付ける（ステップＳ８０１）。そして、識別部１２３は、受け付けた信号（光の動き）をメモリに記憶させる（ステップＳ８０２）。また、識別部１２３は、この時点における光の動きを組み立てる（ステップＳ８０３）。

続いて、識別部１２３は、組み立てた光の動きに応じたジェスチャが存在するか否かを判定する（ステップＳ８０４）。組み立てた光の動きに応じたジェスチャが存在するか否かは、操作信号に含まれる操作装置ＩＤに対応する役割を役割記憶部１１２から取得し、取得した役割のジェスチャがジェスチャ情報記憶部１１３に記憶されているか否かにより判定される。このとき、識別部１２３は、組み立てた光の動きに応じたジェスチャが存在すると判定した場合に（ステップＳ８０４肯定）、合成画像生成部１２５と履歴記録部１２６とに対して画像生成、議事録データ生成を指示する（ステップＳ８０７）。

一方、識別部１２３は、組み立てた光の動きに応じたジェスチャが存在しないと判定した場合に（ステップＳ８０４否定）、所定時間が経過したか否かを判定する（ステップＳ８０５）。このとき、識別部１２３は、所定時間が経過したと判定した場合に（ステップＳ８０５肯定）、メモリに記憶させた光の動きをクリア（初期化）する（ステップＳ８０６）。一方、識別部１２３は、所定時間が経過していないと判定した場合に（ステップＳ８０５否定）、ステップＳ８０１の処理を再度実行する。つまり、所定時間内ではユーザによる操作装置の操作が完了していない（ジェスチャの途中である）場合があるため、所定時間が経過したときに対応するジェスチャが存在しなければ、そのときにメモリに記憶させておいた光の動きをクリアする。

［実施の形態１による効果］
上述したように、情報処理装置１００は、会議等の参加者であるユーザによる操作装置の操作に対するジェスチャに応じた属性を、投影装置２０によって投影される画像に反映した合成画像を生成し、合成画像やユーザの会議における役割や属性等を含む議事録データを生成する。この結果、情報処理装置１００は、会議の進行速度を低下させずに、会議の議事録を容易に作成することができる。

また、議事録データにはジェスチャを通して指摘者が意図した指摘をマーキングにより表すようにしたので、議事録データを後で確認するときにも、指摘者による指摘の意図を容易に認識させることができる。また、類似するジェスチャの識別が困難な場合に、ジェスチャの利用頻度を用いて、利用頻度のより高いジェスチャを採用するので、会議の進行を止めることなく、効率良く会議を進めることができる。また、特定の役割に固定された操作装置ではなく、操作装置の役割を動的に決めることができるので、様々な参加者のバリエーションの会議に対応することができる。

（実施の形態２）
上記実施の形態１では、会議中の発表者による発表資料の発表に対して、指摘者が指摘する場合を説明したが、指摘に対して発表者が回答するとともに、適宜コメントを追加することもできる。そこで、実施の形態２では、指摘に対して発表者が回答するとともに、適宜コメントを追加する場合を説明する。

[実施の形態２に係るシステム構成]
図１８を用いて、実施の形態２に係る投影システムの構成を説明する。図１８は、実施の形態２に係る投影システムの構成例を示す図である。

図１８に示すように、投影システム１１では、投影装置２０と、操作装置３０と、操作装置４０と、操作装置５０と、操作装置６０と、ユーザＰＣ７０と、情報処理装置２００とがそれぞれネットワークに接続されている。図１８では、実施の形態１と同様の構成については同一の符号を付し、同様の構成についてはその説明を省略する。実施の形態２では、新たにユーザＰＣ７０が投影システム１１に追加されている。

ユーザＰＣ７０は、書記としての役割を担うユーザが利用し、コメントを入力することができる入力装置である。ユーザＰＣ７０から情報処理装置２００へのコメントの入力では、ジェスチャではなく、ＡＰＩ（Application Programming Interface）やＷｅｂ Ｓｅｒｖｉｃｅといった、一般的に普及している実現手段が用いられる。また、コメントは、発表者による発表中、指摘者による指摘中、後述する発表者による指摘に対する回答中等、あらゆる場面で入力することができ、議事録データにも含めることができる。

[実施の形態２に係る情報処理装置の構成]
次に、図１９を用いて、実施の形態２に係る情報処理装置２００の構成を説明する。図１９は、実施の形態２に係る情報処理装置２００の構成例を示す機能ブロック図である。図１９では、実施の形態１と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。実施の形態２では、以下に示すジェスチャ情報記憶部２１３、合成画像生成部２２５、履歴記録部２２６、文字受付部２２８以外の各部の機能及び構成、処理については実施の形態１と同様である。

図１９に示すように、情報処理装置２００は、役割決定記憶部１１１と、役割記憶部１１２と、ジェスチャ情報記憶部２１３と、撮像部１２１と、操作信号受信部１２２と、識別部１２３と、役割決定部１２４と、合成画像生成部２２５と、履歴記録部２２６と、投影制御部１２７と、文字受付部２２８とを有する。

文字受付部２２８は、役割「書記」のユーザが利用するユーザＰＣ７０からのコメント（文字データ）の入力を受け付ける。ユーザＰＣ７０から入力されるコメントは、発表中、指摘中、回答中などの場面で適宜入力される。また、文字受付部２２８は、受け付けたコメントを合成画像生成部２２５に出力するとともに、履歴記録部２２６に出力する。

合成画像生成部２２５は、文字受付部２２８によって適宜出力されたコメントを投影中の画像に合成することにより合成画像を生成し、生成した合成画像を投影制御部１２７に出力する。履歴記録部２２６は、文字受付部２２８によって適宜出力されたコメントを受け付けて、受け付けたコメントを記録した議事録データを生成する。

また、実施の形態２では、指摘者による指摘に対して発表者が回答する場合を例に挙げる。かかる場合に、ジェスチャ情報記憶部２１３は、実施の形態１に係るジェスチャ情報記憶部１１３とは異なる情報をさらに記憶している。具体的には、ジェスチャ情報記憶部２１３は、指摘中と回答中とにおける発表者の属性、利用頻度、使用者の役割、ジェスチャを対応付けて記憶する。

図２０は、実施の形態２に係るジェスチャ情報記憶部２１３に記憶される情報例を示す図である。なお、図２０では、説明の便宜上、発表者のみに対するジェスチャ情報を図示している。図２０に示すように、ジェスチャ情報記憶部２１３は、会議中でのユーザの役割「発表者」における発表中、指摘中、回答中ごとに、「属性」と、「利用頻度」と、「使用者の役割」と、「ジェスチャ」とを対応付けて記憶する。

例を挙げると、ジェスチャ情報記憶部２１３は、発表者における発表中のジェスチャ情報として、属性「ページ順送り」と、利用頻度「高」と、使用者の役割「発表者」と、ジェスチャ「→」とを対応付けて記憶する。また、ジェスチャ情報記憶部２１３は、発表者における指摘中のジェスチャ情報として、属性「回答開始」と、利用頻度「高」と、使用者の役割「発表者」と、ジェスチャ「○」とを対応付けて記憶する。また、ジェスチャ情報記憶部２１３は、発表者における回答中のジェスチャ情報として、属性「ページ順送り」と、利用頻度「高」と、使用者の役割「発表者」と、ジェスチャ「→」とを対応付けて記憶する。

また、実施の形態２に係る識別部１２３による処理の流れは、実施の形態１に係る識別部１２３による処理の流れと同様ものとなる。ここでは、ジェスチャ情報記憶部１１３とは異なるジェスチャ情報記憶部２１３の情報を利用した識別部１２３による処理のみを説明する。

識別部１２３は、指摘者による指摘中に、発表者によって操作される操作装置５０から、操作信号受信部１２２を介して操作信号を受け付けるとともに、撮像部１２１から、該操作装置５０を用いたジェスチャ「○」を受け付ける。このとき、識別部１２３は、操作信号に含まれる操作装置ＩＤをもとに役割記憶部１１２から役割「発表者」を取得し、役割「発表者」に対するジェスチャ「○」の属性「回答開始」をジェスチャ情報記憶部２１３から取得する。これらにより、識別部１２３は、操作装置５０を使用する発表者によって指摘に対する回答を開始するためのジェスチャが行なわれたことを識別する。

そして、識別部１２３は、指摘に対する回答を開始する旨を合成画像生成部２２５に通知するとともに、発表者によって指摘に対する回答が開始されることを記録した議事録データを生成する旨を履歴記録部２２６に通知する。

識別部１２３から指摘に対する回答を開始する旨の通知を受け付けた合成画像生成部２２５は、投影中の発表資料の画像に、回答中に操作可能な発表者のジェスチャと、該ジェスチャの属性とを表した画像を合成した合成画像を生成し、投影制御部１２７に合成画像の投影を指示する。これにより、投影制御部１２７は、合成画像を投影装置２０に投影させる制御を行なう。一方、識別部１２３から議事録データの生成の旨の通知を受け付けた履歴記録部２２６は、このときのタイムスタンプを取得し、発表者によって指摘に対する回答が開始されることを記録した議事録データを生成する。なお、回答中における識別部１２３による処理の流れも、上記の流れと同様のものとなるためその説明は省略する。

[回答中及び指摘中の画像]
次に、図２１を用いて、実施の形態２に係る指摘中及び回答中にスクリーンに投影される画像について説明する。図２１は、実施の形態２に係る指摘中及び回答中にスクリーン投影される画像の例を示す図である。

図２１に示すように、指摘中にスクリーンに投影される画像には、発表者による発表で説明する発表資料と、指摘者用のジェスチャ、属性及びマーキング色と、進行役用のジェスチャ及び属性と、発表者用のジェスチャ及び属性と、指摘者や回答者によるコメント（コメント欄）とが含まれる。また、指摘中であるため、発表資料には、指摘者によって指摘された指摘事項とともにその箇所にマーキングが付されている。指摘者による指摘を受けて、発表者は、指摘に対する回答を開始するためのジェスチャを行ない、回答中の画像に切り替える。

また、回答中にスクリーンに投影される画像には、発表者による発表で説明する発表資料と、指摘者用のジェスチャ、属性及びマーキング色と、進行役用のジェスチャ及び属性と、発表者用のジェスチャ及び属性と、指摘者や回答者によるコメント（コメント欄）とが含まれる。また、発表資料には、指摘中に指摘者によって指摘された指摘事項とともにその箇所にマーキングが付されている。発表者は、「ページ順送り」や「画面拡大」等のジェスチャを行ないつつ、指摘に対する回答を行なう。

[実施の形態２に係る議事録データ]
次に、図２２を用いて、実施の形態２に係る議事録データについて説明する。図２２は、実施の形態２に係る議事録データの例を示す図である。

図２２に示すように、議事録データには、会議に参加した参加者の役割と、議事の開始時間及び終了時間と、各発表資料に対して指摘事項がマーキングされた画像と、該指摘事項の記述と、指摘に対する回答と、参加者によるコメントとが含まれる。また、回答は、指摘事項と同様に、「回答２−１」等のように回答順に回答番号が採番される。

[回答シーケンス]
次に、図２３を用いて、回答中の処理シーケンスについて説明する。図２３は、回答中の例を示す処理シーケンス図である。

図２３に示すように、操作装置３０を用いたユーザによる操作により、操作信号受信部１２２を介して、識別部１２３に操作信号が入力される（ステップＳ９０１）。このとき、識別部１２３には、撮像部１２１によって撮像された光の動きに対するジェスチャ「＜（説明追加）」も入力される。そして、識別部１２３は、入力された信号を組み立てた後、操作信号に含まれる操作装置ＩＤ「１００２」をもとに役割記憶部１１２を参照して、役割「指摘者」を取得するとともに、ジェスチャ情報記憶部２１３を参照して、役割「指摘者」に対するジェスチャ「＜」の属性「説明追加」及びマーキング色「黄」を取得する。これらにより、識別部１２３は、指摘者である操作装置３０のユーザから所定箇所に対する説明追加のジェスチャを受け付けたことを識別する。その後、識別部１２３は、所定箇所の指摘事項「説明追加」を黄色でマーキングした画像に変更する指示を合成画像生成部２２５に行なう（ステップＳ９０２）。

また、合成画像生成部２２５は、識別部１２３によって画像の変更指示を受け付けると、投影中の発表資料の画像に、黄色でマーキングした所定箇所と指摘事項「説明追加」とを表した画像を合成した合成画像を生成する。そして、合成画像生成部２２５は、投影制御部１２７を介して、生成した合成画像を投影装置２０に投影させる制御を行なう（ステップＳ９０３）。また、識別部１２３は、指摘者による発表資料に対する指摘事項を記録した議事録データの生成要求を履歴記録部２２６に行なう（ステップＳ９０４）。これにより、履歴記録部２２６は、このときのタイムスタンプを取得し、指摘番号を採番して、議事録データを生成する。

また、指摘者による指摘中に、ユーザＰＣ７０を用いたユーザによる操作により、文字受付部２２８を介して、指摘者によるコメントが合成画像生成部２２５に入力される（ステップＳ９０５）。これに応じて、合成画像生成部２２５は、受け付けたコメントを投影中の画像に合成することにより合成画像を生成し、生成した合成画像を、投影制御部１２７を介して投影装置２０に投影させる制御を行なう（ステップＳ９０６）。また、指摘者による指摘中に、ユーザＰＣ７０を用いたユーザによる操作により、文字受付部２２８を介して、指摘者によるコメントが履歴記録部２２６に入力される（ステップＳ９０７）。これに応じて、履歴記録部２２６は、受け付けたコメントを記録した議事録データを生成する。

また、操作装置５０を用いたユーザによる操作により、操作信号受信部１２２を介して、識別部１２３に操作信号が入力される（ステップＳ９０８）。このとき、識別部１２３には、撮像部１２１によって撮像された光の動きに対するジェスチャ「○（回答開始）」も入力される。そして、識別部１２３は、入力された信号を組み立てた後、操作信号に含まれる操作装置ＩＤ「１００１」をもとに役割記憶部１１２を参照して、役割「発表者」を取得するとともに、ジェスチャ情報記憶部２１３を参照して、役割「発表者」に対するジェスチャ「○」の属性「回答開始」を取得する。これらにより、識別部１２３は、指摘に対して発表者が回答を開始するためのジェスチャを受け付けたことを識別する。

また、識別部１２３は、回答開始を識別したときに、指摘中に指摘された指摘事項が存在することを確認する（ステップＳ９０９）。そして、識別部１２３は、指摘に対する回答を開始する旨を合成画像生成部２２５に通知し、合成画像生成部２２５は、投影中の発表資料の画像に、回答中に操作可能な発表者のジェスチャと、該ジェスチャの属性とを表した画像を合成した合成画像を生成し、投影制御部１２７を介して合成画像の投影を制御する。続いて、識別部１２３は、発表者によって指摘に対する回答が開始されることを記録した議事録データを生成する旨を履歴記録部２２６に通知する（ステップＳ９１０）。これに応じて、履歴記録部２２６は、指摘に対する回答が開始される旨を記録した議事録データを生成する。また、識別部１２３は、回答を開始する際に投影されている発表資料のページをメモリに記憶させる（ステップＳ９１１）。

また、発表者による回答中に、操作装置５０を用いたユーザによる操作により、操作信号受信部１２２を介して、識別部１２３に操作信号が入力される（ステップＳ９１２）。このとき、識別部１２３には、撮像部１２１によって撮像された光の動きに対するジェスチャ「→（ページ順送り）」も入力される。そして、識別部１２３は、入力された信号を組み立てた後、操作信号に含まれる操作装置ＩＤ「１００１」をもとに役割記憶部１１２を参照して、役割「発表者」を取得するとともに、ジェスチャ情報記憶部２１３を参照して、役割「発表者」に対するジェスチャ「→」の属性「ページ順送り」を取得する。これらにより、識別部１２３は、発表者である操作装置５０のユーザから、発表資料のページを順送りするためのジェスチャが行なわれたことを識別する。その後、識別部１２３は、発表資料のページを順送りする旨を合成画像生成部２２５に通知する（ステップＳ９１３）。

また、合成画像生成部２２５は、識別部１２３によって発表資料のページを順送りする旨の通知を受け付けると、投影中の発表資料のページを順送りして発表資料を変更する（ステップＳ９１４）。詳細には、合成画像生成部２２５は、投影中の発表資料のページを順送りした画像に、回答中に操作可能なジェスチャと該ジェスチャの属性とを役割ごとに表した画像を合成した合成画像を生成する。そして、合成画像生成部２２５は、投影制御部１２７を介して、生成した合成画像を投影装置２０に投影させる制御を行なう（ステップＳ９１５）。また、識別部１２３は、発表者がページを順送りした旨を記録した議事録データの生成要求を履歴記録部２２６に行ない、これにより、履歴記録部２２６は、このときのタイムスタンプを取得し、議事録データを生成する。

また、発表者による回答中に、ユーザＰＣ７０を用いたユーザによる操作により、文字受付部２２８を介して、発表者によるコメントが合成画像生成部２２５に入力される（ステップＳ９１６）。これに応じて、合成画像生成部２２５は、受け付けたコメントを投影中の画像に合成することにより合成画像を生成し、生成した合成画像を、投影制御部１２７を介して投影装置２０に投影させる制御を行なう（ステップＳ９１７）。また、発表者による回答中に、ユーザＰＣ７０を用いたユーザによる操作により、文字受付部２２８を介して、発表者によるコメントが履歴記録部２２６に入力される（ステップＳ９１８）。これに応じて、履歴記録部２２６は、受け付けたコメントを記録した議事録データを生成する。

また、発表者による回答中に、操作装置５０を用いたユーザによる操作により、操作信号受信部１２２を介して、識別部１２３に操作信号が入力される（ステップＳ９１９）。このとき、識別部１２３には、撮像部１２１によって撮像された光の動きに対するジェスチャ「／／（回答終了）」も入力される。そして、識別部１２３は、入力された信号を組み立てた後、操作信号に含まれる操作装置ＩＤ「１００１」をもとに役割記憶部１１２を参照して、役割「発表者」を取得するとともに、ジェスチャ情報記憶部２１３を参照して、役割「発表者」に対するジェスチャ「／／」の属性「回答終了」を取得する。これらにより、識別部１２３は、発表者が回答を終了するためのジェスチャを受け付けたことを識別する。

また、識別部１２３は、回答終了を識別すると、ステップＳ９１１においてメモリに記憶させた発表資料のページを取得する（ステップＳ９２０）。そして、識別部１２３は、取得した発表資料のページに変更する要求を合成画像生成部２２５に行なう（ステップＳ９２１）。また、合成画像生成部２２５は、受け付けた要求に応じて、指定されたページに発表資料を変更する（ステップＳ９２２）。そして、合成画像生成部２２５は、指定されたページの発表資料の画像に、発表中に操作可能なジェスチャと該ジェスチャの属性とを役割ごとに表した画像を合成した合成画像を生成し、投影制御部１２７を介して、生成した合成画像を投影装置２０に投影させる制御を行なう（ステップＳ９２３）。

[実施の形態２による効果]
上述したように、情報処理装置２００は、指摘事項に対する回答の状況を適宜記録した議事録データを生成するとともに、会議中の議事内容をコメントとして可視化するので、より効率の良い会議を実現するとともに、より精度の高い議事録データを生成することができる。

（実施の形態３）
さて、これまで本発明に係る情報処理装置１００や情報処理装置２００の実施の形態について説明したが、上述した実施の形態以外にも種々の異なる形態にて実施されて良いものである。そこで、（１）構成、（２）プログラム、について異なる実施の形態を説明する。

（１）構成
上記文書中や図面中等で示した処理手順、制御手順、具体的名称、各種のデータやパラメタ等を含む情報は、特記する場合を除いて任意に変更することができる。例えば、ジェスチャ情報記憶部１１３やジェスチャ情報記憶部２１３に記憶される情報は、図示したものに限られるわけではなく、適宜変更することができる。

また、図示した情報処理装置１００や情報処理装置２００の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散又は統合の具体的形態は、図示のものに限られず、その全部又は一部を各種の負担や使用状況等に応じて、任意の単位で機能的又は物理的に分散又は統合することができる。

上記実施の形態では、投影システム１０と投影システム１１とを例に挙げて説明したが、本発明は、これらとは異なるシステム構成であっても実現可能である。図２４及び図２５は、実施の形態３に係る投影システムの構成例を示す図である。

図２４に示すように、投影システム１２では、投影装置２０及び情報処理装置１００を統合した情報処理装置３００と、操作装置３０と、操作装置４０と、操作装置５０と、操作装置６０とがそれぞれネットワークに接続されている。なお、各装置の機能については上述してきた実施の形態で説明したものと同様である。

図２５に示すように、投影システム１３では、投影装置２０と、操作装置３０〜操作装置６０及び情報処理装置１００を統合した情報処理装置４００とがそれぞれネットワークに接続されている。投影システム１３では、情報処理装置４００において、ディスプレイ（タッチパネルディスプレイ）に対してユーザがジェスチャを行なったり、タッチパネルを操作したりすることにより、ジェスチャを識別する構成となる。この他の機能については上述してきた実施の形態で説明したものと同様である。

（２）プログラム
図２６は、履歴データ生成プログラムがコンピュータを用いて実現されることを示す図である。例えば、図２６に示すように、情報処理装置１００としてのコンピュータ１０００は、バス１００９で接続された、ＣＰＵ（Central Processing Unit）１００１等の制御装置と、ＲＯＭ（Read Only Memory）１００２やＲＡＭ（Random Access Memory）１００３等の記憶装置と、ＨＤＤ（Hard Disk Drive）１００４、ディスクドライブ１００５等の外部記憶装置と、ディスプレイ１００６等の表示装置と、キーボード１００７やマウス１００８等の入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。

情報処理装置１００で実行される履歴データ生成プログラムは、一つの様態として、インストール可能な形式又は実行可能な形式ファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。また、情報処理装置１００で実行される履歴データ生成プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、情報処理装置１００で実行される履歴データ生成プログラムをインターネット等のネットワーク経由で提供又は配布するように構成しても良い。また、履歴データ生成プログラムを、ＲＯＭ等に組み込んで提供するように構成しても良い。

情報処理装置１００で実行される履歴データ生成プログラムは、上述した各機能部（識別部１２３、合成画像生成部１２５、履歴記録部１２６）を含むモジュール構成となっており、実際のハードウェアとしてＣＰＵ（プロセッサ）が記憶媒体から履歴データ生成プログラムを読み出して実行することにより、上記各機能部が主記憶装置上にロードされ、識別部１２３、合成画像生成部１２５、履歴記録部１２６が主記憶装置上に生成されるようになっている。

１００ 情報処理装置
１１１ 役割決定記憶部
１１２ 役割記憶部
１１３ ジェスチャ情報記憶部
１２１ 撮像部
１２２ 操作信号受信部
１２３ 識別部
１２４ 役割決定部
１２５ 合成画像生成部
１２６ 履歴記録部
１２７ 投影制御部

特許第３９８２４５１号公報 特許第３１８５５０５号公報

Claims (10)

1. ユーザが保持する操作装置の役割ごとに、光を照射する光源を有する前記操作装置を用いた前記ユーザによる所定動作と、前記所定動作の属性とを対応付けて記憶する動作情報記憶部と、
   前記操作装置から、操作されたことを表す操作信号を受信する操作信号受信部と、
   画像を投影する投影装置の投影面を含む所定範囲を撮像する撮像部と、
   前記撮像部によって撮像された前記所定範囲に前記操作装置から照射された光の動きと、前記操作信号受信部によって受信された前記操作信号とから、前記動作情報記憶部に基づいて、前記光の動きに対する前記所定動作に応じた属性を識別する識別部と、
   前記識別部によって識別された前記所定動作の属性を前記画像に反映した合成画像を生成する合成画像生成部と、
   前記合成画像生成部によって生成された前記合成画像と、前記役割の記述と、前記属性の記述とを含む履歴データを生成する履歴記録部と
   を有することを特徴とする情報処理装置。
2. 前記合成画像生成部によって生成された前記合成画像を前記投影装置に投影させる制御を行なう投影制御部をさらに有することを特徴とする請求項１に記載の情報処理装置。
3. 前記所定動作と前記操作装置の役割とを対応付けて記憶する役割決定記憶部と、
   前記識別部によって識別された前記所定動作に対応する役割を前記役割決定記憶部から取得し、前記ユーザが保持する前記操作装置の役割を決定する役割決定部とをさらに有することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記動作情報記憶部は、前記所定動作の利用頻度をさらに記憶し、
   前記識別部は、前記光の動きに対する前記所定動作の候補が複数存在する場合に、前記動作情報記憶部に基づいて、前記利用頻度のより高い前記所定動作に応じた属性を識別することを特徴とする請求項１又は２に記載の情報処理装置。
5. 前記履歴記録部は、前記合成画像の投影状態に応じて、前記履歴データを生成することを特徴とする請求項２に記載の情報処理装置。
6. 前記合成画像生成部は、前記役割ごとの、前記所定動作と前記所定動作の属性とをさらに含む前記合成画像を生成することを特徴とする請求項１又は２に記載の情報処理装置。
7. 前記合成画像生成部は、前記識別部によって操作可能な前記役割を切り替える前記属性が識別された場合に、切り替えられた前記役割に相当する前記操作装置を用いた前記所定動作に応じた属性のみを前記画像に反映した前記合成画像を生成することを特徴とする請求項１又は２に記載の情報処理装置。
8. 文字データの入力を受け付ける文字受付部をさらに有し、
   前記合成画像生成部は、前記文字受付部によって受け付けられた前記文字データをさらに含む前記合成画像を生成し、
   前記履歴記録部は、前記文字受付部によって受け付けられた前記文字データをさらに含む前記履歴データを生成することを特徴とする請求項１又は２に記載の情報処理装置。
9. コンピュータが、
   ユーザが保持する操作装置の役割ごとに、光を照射する光源を有する前記操作装置を用いた前記ユーザによる所定動作と、前記所定動作の属性とを対応付けて記憶する動作情報記憶部と、
   前記操作装置から、操作されたことを表す操作信号を受信する操作信号受信部と、
   画像を投影する投影装置の投影面を含む所定範囲を撮像する撮像部と
   を有し、
   前記撮像部によって撮像された前記所定範囲に前記操作装置から照射された光の動きと、前記操作信号受信部によって受信された前記操作信号とから、前記動作情報記憶部に基づいて、前記光の動きに対する前記所定動作に応じた属性を識別するステップと、
   識別された前記所定動作の属性を前記画像に反映した合成画像を生成するステップと、
   生成された前記合成画像と、前記役割の記述と、前記属性の記述とを含む履歴データを生成するステップと
   を前記コンピュータに実行させるための履歴データ生成プログラム。
10. 情報処理装置と画像を投影する投影装置とを有する投影システムであって、
    ユーザが保持する操作装置の役割ごとに、光を照射する光源を有する前記操作装置を用いた前記ユーザによる所定動作と、前記所定動作の属性とを対応付けて記憶する動作情報記憶部と、
    前記操作装置から、操作されたことを表す操作信号を受信する操作信号受信部と、
    前記投影装置の投影面を含む所定範囲を撮像する撮像部と、
    前記撮像部によって撮像された前記所定範囲に前記操作装置から照射された光の動きと、前記操作信号受信部によって受信された前記操作信号とから、前記動作情報記憶部に基づいて、前記光の動きに対する前記所定動作に応じた属性を識別する識別部と、
    前記識別部によって識別された前記所定動作の属性を前記画像に反映した合成画像を生成する合成画像生成部と、
    前記合成画像生成部によって生成された前記合成画像と、前記役割の記述と、前記属性の記述とを含む履歴データを生成する履歴記録部と、
    前記合成画像生成部によって生成された前記合成画像を前記投影装置に投影させる制御を行なう投影制御部と、
    前記投影制御部による制御に応じて前記合成画像を前記投影面に投影する投影部と
    を有することを特徴とする投影システム。

Images