Nothing Special   »   [go: up one dir, main page]

JP4794453B2 - インタラクティブ・ビデオ・ディスプレイ・システムを管理する方法及びシステム - Google Patents

インタラクティブ・ビデオ・ディスプレイ・システムを管理する方法及びシステム Download PDF

Info

Publication number
JP4794453B2
JP4794453B2 JP2006536930A JP2006536930A JP4794453B2 JP 4794453 B2 JP4794453 B2 JP 4794453B2 JP 2006536930 A JP2006536930 A JP 2006536930A JP 2006536930 A JP2006536930 A JP 2006536930A JP 4794453 B2 JP4794453 B2 JP 4794453B2
Authority
JP
Japan
Prior art keywords
scheduled content
projected image
interactive video
popularity
content portion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006536930A
Other languages
English (en)
Other versions
JP2007512729A (ja
JP2007512729A5 (ja
Inventor
マシュー ベル、
ラッセル、 エイチ ベルファー、
Original Assignee
インテレクチュアル ベンチャーズ ホールディング 67 エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インテレクチュアル ベンチャーズ ホールディング 67 エルエルシー filed Critical インテレクチュアル ベンチャーズ ホールディング 67 エルエルシー
Publication of JP2007512729A publication Critical patent/JP2007512729A/ja
Publication of JP2007512729A5 publication Critical patent/JP2007512729A5/ja
Application granted granted Critical
Publication of JP4794453B2 publication Critical patent/JP4794453B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866Management of end-user data
    • H04N21/25891Management of end-user data being end-user preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41415Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance involving a public display, viewable by several users in a public space outside their home, e.g. movie theatre, information kiosk
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/812Monomedia components thereof involving advertisement data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Economics (AREA)
  • Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

関連出願の相互参照
本願は、Bellらにより「METHOD AND SYSTEM FOR MANAGING CAPTURED IMAGE INFORMATION IN AN INTERACTIVE VIDEO DISPLAY SYSTEM」と題して2003年10月24日に出願され、本願の譲受人へ譲渡された同時係属米国プロヴィジョナル特許出願第60/514,232号の優先権を主張する。このプロヴィジョナル特許出願は参照により本明細書に組み込まれる。
本発明は視覚電子ディスプレイの分野に関する。具体的には、本発明の実施形態は、自己充足型インタラクティブ・ビデオ・ディスプレイ・システムに関する。
広告は、様々なタイプの情報を視聴者へ伝達するために使用される。広告の効果を最大にするため、広告主は広告の効果に関する情報を収集できることが望ましい。この効果の尺度は、どれくらい多くの人々が広告を見たか、人々が広告に注意を払ったかを含む。一般的に、従来のオフライン広告(例えば、広告板、ポスター、テレビコマーシャル)において、データの収集は、典型的には、どこに広告が配置されているかに関する情報に基づく。例えば、広告板による広告の場合、広告板を通過する自動車の交通量によって効果が測定される。同様に、テレビコマーシャルの場合、効果又は人気は、テレビコマーシャルが放送されたテレビ番組の人気に基づく。こうして、広告の人気に関する情報は、広告配置情報に基づいて推量される。しかし、通常、従来の広告の人気を直接測定することは非常に困難である。これらの広告はインタラクティブでないので、人々が実際に広告に注意を払っているかどうかを知ることは困難である。
最近の技術的進歩は、新しいタイプの広告メディア、即ちインタラクティブ・ビデオ・ディスプレイ・システムを創り出した。インタラクティブ・ビデオ・ディスプレイ・システムは、リアルタイムでビデオディスプレイとの邪魔されないヒューマン・インタラクションを可能にする。ヒューマンユーザによる自然の身体運動がコンピュータ視覚システムによってキャプチャされ、視覚効果を推進するように使用される。コンピュータ視覚システムは、通常、ビデオカメラにより入力としてキャプチャされたイメージを使用し、カメラによって観察されるインタラクティブエリア内の人々及び他の物体に関するリアルタイム情報を収集するソフトウェアプロセスを有する。
インタラクティブ・ビデオ・ディスプレイ・システムの場合、従来のオフライン広告メディアで使用される同じ方法に基づいて、表示されたイメージに関する情報を収集することができる。しかし、リアルタイムでインタラクションを提供することに加えて、インタラクティブ・ビデオ・ディスプレイ・システムが、そのようなリアルタイムインタラクションから引き出された従来のオフライン広告メディアからは得られない情報をキャプチャ及び管理できることが望ましいであろう。
本発明、即ちインタラクティブ・ビデオ・ディスプレイ・システムを管理する方法及びシステムの様々な実施形態が、本明細書で説明される。1つの実施形態において、複数のビデオスポットがインタラクティブ・ビデオ・ディスプレイ・システム上で表示される。
インタラクティブ・ビデオ・ディスプレイ・システムとのインタラクションに基づいて、複数のビデオスポットのうちのビデオスポットに対応するデータが収集される。1つの実施形態において、インタラクションは人物追跡に従って決定される。他の実施形態において、インタラクションは前景/背景分類イメージに従って決定される。1つの実施形態において、データは、インタラクティブ・ビデオ・ディスプレイ・システムによって表示された何れのバーチャルオブジェクトがインタラクションされたかに関する情報を含む。1つの実施形態において、データは、インタラクティブ・ビデオ・ディスプレイ・システムのディスプレイに対するインタラクションのロケーションに関する情報を含む。
データはその後、記憶されてよく、ビデオスポットの呈示の管理に使用されてよい。1つの実施形態において、データはインタラクティブ・ビデオ・ディスプレイ・システムのローカルメモリに記憶される。他の実施形態において、データは外部コンピュータシステムへ送信され、外部コンピュータシステムのメモリに記憶される。
1つの実施形態において、データは、複数のビデオスポットの呈示の管理で使用するために分析される。1つの実施形態において、データを分析することは、データに基づいて、複数のビデオスポットの少なくとも1つのビデオスポットについて人気を決定することを含む。他の実施形態において、データを分析することは、データに基づいて、複数のビデオスポットの少なくとも1つのビデオスポットについて「ファースト・ユーザ・アトラクション・レベル」を決定することを含む。他の実施形態において、データを分析することは、データに基づいて、複数のビデオスポットの少なくとも1つのビデオスポットについてグループ・アピールを決定することを含む。1つの実施形態において、外部データは、データ分析で使用するために収集される。
1つの実施形態において、複数のビデオスポットの表示スケジュールは、データの分析に基づいて調整される。1つの実施形態において、表示スケジュールは分析に基づいて自動的に調整される。他の実施形態において、表示スケジュールは分析に基づいて手作業で調整される。
ここで、本発明、第2の電子装置の近くにある物体の存在をモニタリングする電子装置、の様々な実施形態を詳細に参照する。その実施例は添付の図面に示される。本発明は、これらの実施形態と関連させて説明されるが、本発明をこれらの実施形態へ限定することは意図されないことを理解すべきである。反対に、本発明は、添付の請求項によって定義される本発明の趣旨及び範囲の中に含められる代替、修正、及び均等物をカバーするように意図される。更に、本発明の下記の詳細な説明の中では、本発明の十分な理解を提供するため、具体的な詳細が数多く記述される。しかし、当業者は、本発明がそれらの具体的詳細なしに実施されてよいことを認識するであろう。他の実施例では、本発明の態様を必要もなく不明瞭にすることがないように、周知の方法、手順、コンポーネント、及び回路は詳細には説明されていない。
下記の詳細な説明の幾つかの部分は、コンピュータメモリ上で実行され得る手順、ステップ、論理ブロック、処理、及びデータビット上の動作の他の記号表現として呈示される。これらの説明及び表現は、データ処理技術の当業者によって使用される手段であり、他の当業者へ作業の実体を最も効果的に伝達する。手順、コンピュータ実行ステップ、論理ブロック、プロセスなどが本明細書に記述され、一般的に、所望の結果を導くステップ又は命令の首尾一貫したシーケンスであると考えられる。ステップは、物理量の物理操作を必要とするものである。必ずではないが、通常、それらの物理量はコンピュータシステム内で記憶、転送、結合、比較、又は操作されることのできる電気又は磁気信号の形式を取る。主に共通使用のため、これらの信号をビット、値、要素、記号、文字、項、数などで言及することがときには便利であることは証明済である。
しかし、これら及び類似の用語の全ては、適切な物理量に関連づけられるべきであり、それらの量に適用される便利なラベルに過ぎないことを念頭に置かねばならない。下記の説明から明らかとなるように、特に他の意味を記述しない限り、本発明を通して、「呈示」又は「収集」又は「記憶」又は「送信」又は「分析」又は「決定」又は「調整」又は「管理」などの用語を使用した説明は、電子システム(例えば、図2の200)又は類似の電子計算装置のアクション及びプロセスを意味する。これらの電子システム又は電子計算装置は、電子装置のレジスタ及びメモリ内の物理(電子)量として表現されたデータを操作して、電子装置のメモリ又はレジスタ又は他のそのような情報記憶装置、伝送、又は表示装置内の物理量として同じように表現される他のデータへ変換する。
以下に、1つ又は複数の例示的実施形態の形式をした本発明の様々な実施形態を説明する。1つの実施形態において、インタラクティブ・ビデオ・ディスプレイ・システムは、シーンに関連した情報をキャプチャ及び処理する視覚システムを含む。処理された情報は、或る視覚効果を生成するために使用され、これらの視覚効果はインタラクティブディスプレイ装置を介して見る者へ表示される。人々は、リアルタイムベースで、そのような視覚効果とインタラクションすることができる。
図1Aは、本発明の実施形態に従った投影インタラクティブ・ビデオ・ディスプレイ・システム100を示す。投影インタラクティブ・ビデオ・ディスプレイ・システム100は、カメラシステム105、カメラ105によって観察されている表面102を照射する照明器、イメージ120を表面102のインタラクティブ空間115に投影するプロジェクタ110、及びカメラ105のイメージを入力として取り、ビデオイメージをプロジェクタ110へ出力するローカルコンピュータ(図示されず)を使用する。
ローカルコンピュータはカメラ105の入力を処理して、表面102の前方にあるボリューム内の人々(又は、移動している物体)の位置及び移動に関する情報を識別する。1つの実施形態において、ローカルコンピュータはカメラ105の入力を処理して、表面102の前方にあるボリューム(例えば、インタラクティブ空間115)のどの部分が人々(又は、移動している物体)によって占拠されているか、及び、表面102のどの部分が背景であるかをピクセル単位ベースで識別する。ローカルコンピュータは、背景がどのように見えると想定されるかについて幾つかの発展するモデルを開発し、カメラ105が現在撮像しているものと背景コンセプトとを比較することによって、これを達成する。カメラ105の入力を処理するローカルコンピュータのコンポーネントは、全体として視覚システムとして知られる。投影インタラクティブ・ビデオ・ディスプレイ・システム100の様々な実施形態及び視覚システムは、Bellにより「INTERACTIVE VIDEO DISPLAY SYSTEM」と題して2002年5月28日に出願され、本願の譲受人へ譲渡された同時係属米国特許出願第10/160,217号、及びBellにより「METHOD AND SYSTEM FOR PROCESSING CAPTURED IMAGE INFORMATION IN AN INTERACTIVE VIDEO SYSTEM」と題して2003年10月24日に出願され、本願の譲受人へ譲渡された同時係属米国プロヴィジョナル特許出願第60/514,024号で説明されている。これらの同時係属特許出願は、参照により本明細書に組み込まれる。
1つの実施形態において、投影インタラクティブ・ビデオ・ディスプレイ・システム100は、リモートコンピュータシステム130へ結合される。1つの実施形態において、リモートコンピュータシステム130は、投影インタラクティブ・ビデオ・ディスプレイ・システム100によって収集されたデータを集めるリモートサーバである。1つの実施形態において、リモートコンピュータシステム130は、物理的に別個のロケーションに置かれた複数の投影インタラクティブ・ビデオ・ディスプレイ・システム100によって収集されたデータを収集するように構成される。リモートコンピュータシステム130は、投影インタラクティブ・ビデオ・ディスプレイ・システム100とは異なった物理ロケーションに置かれてよいことを理解すべきである。
図1Bは、本発明の実施形態に従った自己充足型インタラクティブ・ビデオ・ディスプレイ・システム150を示す。自己充足型インタラクティブ・ビデオ・ディスプレイ・システム150は、イメージをディスプレイスクリーン155上に表示し、カメラ(図示されず)を使用してインタラクティブ空間160内の人々及び物体を検出する。イメージシステムとも呼ばれるローカルコンピュータ(図示されず)は、カメラのイメージを入力として取り、ビデオイメージをディスプレイスクリーン155へ出力する。
自己充足型インタラクティブ・ビデオ・ディスプレイ・システム150の様々な実施形態は、Bellらにより「SELF−CONTAINED INTERACTIVE VIDEO DISPLAY SYSTEM」と題して2004年9月20日に出願され、本願の譲受人へ譲渡された同時係属米国特許出願第10/946,263号、Bellにより「SELF−CONTAINED INTERACTIVE VIDEO DISPLAY SYSTEM」と題して2004年9月20日に出願され、本願の譲受人へ譲渡された同時係属米国特許出願第10/946,084号、及びBellにより「INTERACTIVE VIDEO WINDOW DISPLAY SYSTEM」と題して2004年9月20日に出願され、本願の譲受人へ譲渡された同時係属米国特許出願第 TBD 号で説明されている。これらの同時係属特許出願の全ては、参照により本明細書に組み込まれる。更に、視覚システムの様々な実施形態は、Bellにより「INTERACTIVE VIDEO DISPLAY SYSTEM」と題して2002年5月28日に出願され、本願の譲受人へ譲渡された同時係属米国特許出願第10/160,217号、及びBellにより「METHOD AND SYSTEM FOR PROCESSING CAPTURED IMAGE INFORMATION IN AN INTERACTIVE VIDEO SYSTEM」と題して2003年10月24日に出願され、本願の譲受人へ譲渡された同時係属米国プロヴィジョナル特許出願第60/514,024号で説明されている。これら同時係属特許出願の双方は、参照により本明細書に組み込まれる。
1つの実施形態において、自己充足型インタラクティブ・ディスプレイ・システム150は、リモートコンピュータシステム170へ結合される。1つの実施形態において、リモートコンピュータシステム170は、自己充足型インタラクティブ・ビデオ・ディスプレイ・システム150によって収集されたデータを集めるリモートサーバである。1つの実施形態において、リモートコンピュータシステム170は、物理的に別個のロケーションに置かれた複数の自己充足型インタラクティブ・ビデオ・ディスプレイ・システム150及び/又は投影インタラクティブ・ビデオ・ディスプレイ・システム100(図1A)によって収集されたデータを集めるように構成される。リモートコンピュータシステム170は、自己充足型インタラクティブ・ビデオ・ディスプレイ・システム150とは異なった物理ロケーションに置かれてよいことを理解すべきである。インタラクティブ・ビデオ・ディスプレイ・システムの多くの他の形式が存在する。これらのシステムは、様々な種類のディスプレイメディア、及び様々な感知装置を使用してよい。しかし、この特許で説明される手法は、これらの他のシステムへ十分に応用可能である。
図2は、本発明の実施形態に従ったインタラクティブ・ビデオ・ディスプレイ・システムを管理するシステム200を示す。システム200は、インタラクティブ・ビデオ・ディスプレイ・システム210(例えば、図1Aの投影インタラクティブ・ビデオ・ディスプレイ・システム100又は図1Bの自己充足型インタラクティブ・ビデオ・ディスプレイ・システム150)、及びリモートコンピュータシステム230(例えば、図1Aのリモートコンピュータシステム130又は図1Bのリモートコンピュータシステム170)を含む。インタラクティブ・ビデオ・ディスプレイ・システム210は、ディスプレイ212、視覚システム214、ビデオスポット記憶装置216、及びデータ収集モジュール218を含む。1つの実施形態において、ディスプレイ212、視覚システム214、ビデオスポット記憶装置216、及びデータ収集モジュール218は、インタラクティブ・ビデオ・ディスプレイ・システム210のコンピュータシステムのコンポーネントである。リモートコンピュータシステム230は、データ記憶装置232、データ分析モジュール234、及びビデオスポットスケジュール236を含む。本発明の様々な実施形態において、リモートコンピュータシステム230のコンポーネント及び機能のいずれか又は全てはローカルであってよく、インタラクティブ・ビデオ・ディスプレイ・システム210に含まれてよいことを理解すべきである。
データの収集
例示的態様において、インタラクティブ・ビデオ・ディスプレイ・システム210は、インタラクティブディスプレイとのインタラクション及び使用に関するデータを収集する豊富な機会を与える。このデータは、データ収集モジュール218で収集され、多くの種類のインタラクティブコンテンツ及びアプリケーションに有用である。1つの例示的実施形態において、データは広告コンテンツをデザインするのに有用である。なぜなら、どこで及びいつ広告が最も人気を博するかを広告主が分析することを可能にし、それに従って広告主が広告及び/又はスケジュールを調整することを可能にするからである。
データは、視覚システム214を操作する同じコンピュータによって、ローカルで分析されてよい。代替として、インタラクティブ・ビデオ・ディスプレイ・システム210がネットワーク化され、1つ又は複数のシステムのデータが、リモートコンピュータシステム230から分析されてよい。複数のシステムからのデータをプールして、データの総量を増加させたり、ロケーション間の差を識別してもよい。
人物追跡プロセスを使用することによって、視覚システム214のカメラ又は別個のカメラによって観察される人々の現在及び過去の位置に関するリアルタイム情報を決定することができる。この情報を使用して、追加の情報を引き出すことができる。追加の情報の中には、例えば、ディスプレイ212上又は近くに居る人々の数、各人がディスプレイ212(例えば、図1Aのインタラクティブエリア115)へ入る時間と出る時間、及び、人々が移動して、表示されたイメージとインタラクションしているかどうか、が含まれる。インタラクティブ・ビデオ・ディスプレイ・システム210、例えばフロア又は壁投影インタラクティブディスプレイの1つの実施形態において、ディスプレイスクリーンの境界は既知である。したがって、人々のそれぞれの位置に基づいて、ディスプレイ212内の人々に関する追加情報を引き出すことができる。例えば、インタラクティブ・ビデオ・ディスプレイ・システム210とインタラクションしている人々の数及び単なる傍観者である人々の数に基づいて、具体的な情報を決定することができる。更に、顔面認識システムを使用して、性別のようなデモグラフィックスデータを収集することもできる。人物追跡システムは、身体の全部ではなく頭がカウント及び追跡される顔面追跡システムの形式を取ってよいことを理解すべきである。様々な人物追跡プロセスが存在する。これらのプロセスは、多様なシステム及び手法の中の1つ又は複数を使用してよい。それらのシステム及び手法の中には、非限定的に、ステレオカメラ、タイムオブフライトカメラ、奥行きセグメンテーション、カラーセグメンテーション、特徴追跡、顔面検出、テンプレートマッチング、適応型テンプレートマッチング、及びブロブ追跡が含まれる。
視覚システム214によって生成され得る前景/背景分類イメージから、類似のデータを収集することができる。前景として分類されるイメージの部分は、カメラによって観察される人々の数の大まかな近似である。もしカメラによって観察されるスクリーンの幅及び高さ、及びカメラ視点からの典型的人物の近似断面サイズが知られるならば、ただ1人の人物によって前景へ回されるスクリーンの近似部分を計算することができる。その結果、前景部分から人々の数へ変換を行うことができる。代替として、カメラの前方で人物と幾つかの実験を行うことによって、所与の設置について1人だけの人物に対応する前景の近似部分を決定することができる。この「前景部分」データを使用して、所与の時間にディスプレイの人気がどの程度であるか、及び人々がディスプレイへ入っているのか出ているのかを大まかに推定することができる。インタラクティブ・ビデオ・ディスプレイ・システム210の物理境界は、カメラ視野の一部分を取るだけであるから、前景/背景分類イメージは、異なった領域、例えば「ディスプレイ上」、「ディスプレイの境界の1フィート内」、「ディスプレイの外で、その4フィート内」へ分割可能であり、各々の領域の前景部分を別個に記録することができる。視覚前景・背景分類イメージの小さいサムネイル又はフルサイズコピーも、後に分析するため直接ログ可能である。
人物追跡情報及び/又は前景部分からのデータは視覚データと呼ばれ、定期ベースで(例えば、1秒に1回)ログファイルへ書き込み(例えば、記憶)可能である。1つの実施形態において、ログファイルはデータ記憶装置232に記憶される。後に、このログファイルは、データ分析モジュール234によってローカル又は中央で分析可能である。更に、ログエントリはタイムスタンプされてよく、その時点で、どのコンテンツが走っていたかの情報を含んでよい。
視覚データに加えて、ディスプレイ上で起こった具体的インタラクションに関するデータを収集することができる。例えば、インタラクティブ・ビデオ・ディスプレイ・システム210が、調査を表示していると仮定する。この調査は、ユーザに質問し、ユーザにバーチャルボタンへ触れさせて、ユーザの応答を取る。バーチャル調査への投票を視覚データと一緒にログ内に記録することができる。ビデオゲームコンテンツの場合、プレーヤの得点及びアクションをログファイルに付加することができる。インタラクティブ情報コンテンツ、例えば、バーチャルショッピングカタログの場合、観察されている製品又はアイテムの各々のインスタンスをログファイルに記録することができる。一般的に、スクリーン上のバーチャルオブジェクトと人間とのインタラクティブインスタンスに関する情報を、後の分析のためにログすることができる。広告主、ゲーム設計者、及びコンテンツクリエータは、これを価値あるフィードバックツールとして使用することができる。
モニタリングのためのデータの使用
多くの場合、インタラクティブ・ビデオ・ディスプレイ・システム210のディスプレイ又はスクリーンは、メンテナンス及びクリーニングを必要とする。公共の設置において、このメンテナンス及びクリーニングは、一般的に、ディスプレイがオフにされた数時間の後に行われる。メンテナンス及びクリーニングが定期的に行われていることを検証するため、数時間の後の活動についてデータログをチェックすることができる。
コンテンツの人気の分析
他の状況において、インタラクティブ・ビデオ・ディスプレイ・システム210は、「スポット」又は「ビデオスポット」と呼ばれる複数の異なったコンテンツ部分を、それぞれ或る長さの時間だけ順次に表示する。スポットはビデオスポット記憶装置216に記憶される。この一連のスポットは、概念的に、一連のテレビコマーシャルと比較され得る。スポットの数、スポットが上映される時間の長さ、及びスポットが上映される順序には融通性がある。1つの実施形態において、ビデオスポットスケジューラ236はスポットのスケジューリングをコントロールする。その場合、ビデオスポットスケジューラ236は、前述したようにローカル又はリモートに置かれてよい。
データ分析モジュール234は、収集されてデータ記憶装置232に記憶されたデータに対してデータ分析を実行するように動作する。1つの実施形態において、前述したように、ログされたデータに基づいて各々のスポットの人気を決定することができる。例えば、スポットが上映されていた時間の間、前景部分又はスクリーン上の人々の数についてログされた値の平均を取ることによって、スポットの人気を測定することができる。しかし、前述したアプローチに関しては、考慮されるべき様々な問題がある。第1に、スポットが上映を開始した時のスクリーン上の人々の数は、先行スポットの人気によって決定される。例えば、不人気スポットに続くスポットは、そうでない場合よりも低い活動レベルを有する傾向がある。第2に、スポットとインタラクションしている人々の数は、ディスプレイの近くに居る人々の数に依存する。即ち、もしインタラクティブシステムが設置されている現場に居る人が非常に少なければ、システムとインタラクションする人は比較的少ないであろう。前述した問題を取り扱う方法は、更に下記で説明する。
先行スポットの人気の影響をコントロールする
先行スポットの人気が、評価されているスポットへ及ぼす影響を、低減又は除去する幾つかの方法がある。1つの実施形態において、スポットを上映する順序をランダムにし、各々のスポットが等しい確率で他のスポットへ続くようにする。あまりに短い時間の間に、同じスポットが2回上映されないように、真のランダム性からは幾らか逸脱するかも知れない。こうして、現在のスポットの人気に対する先行スポットの効果は、全てのスポットについて平均化され、スポットの真の人気が幾分良好に感知されるであろう。
他の実施形態において、スポットが上映される時間の長さを増大させ、先行スポットの効果を制限することができる。
更に、先行スポットの人気に対して敏感度が少なくなるように人気の様々な局面を測定する他の方法がある。下記は幾つかの実施例である。スポットの各々の上映をどうするかを説明する実施例の場合、収集された統計値は上映数にわたって平均されるものと仮定する。これらの手法のほとんどの全ては、人物追跡データ及び前景部分データの双方に働く。前に説明された手法は、前景部分データを人々の数の大まかな推定へ変換する方法を説明する。これらの手法は、カメラの全体イメージからのデータ又は指定された領域、例えばインタラクティブディスプレイの中のエリア又はインタラクティブディスプレイの近くのエリアからのデータに対して、等しく良好に応用することができる。
1つの実施形態において、スポットの各々の上映について、人々の平均数又は前景部分を計算するとき、上映の最後の数秒のデータのみが分析される。この平均は、「平均人気」と呼ばれる。他の実施形態では、スポットの各々の上映について、その上映の平均人気と先行スポット時の平均人気との差が計算される。これは、現在のスポットが、スクリーン上で人々の数の増加を生じたかどうかを示す。
上記の2つのアプローチを組み合わせることができる。即ち、他の実施形態において、上映の平均人気と先行スポット時の平均人気との差が計算される。しかし、平均を計算するとき、現在のスポット及び先行スポットの上映の最後の数秒だけが使用される。
他の実施形態において、スポットの各々の上映について、上映の始まりにおける人々の数(又は前景部分)と上映の終わりにおける人々の数(又は前景部分)との差が計算される。始まりと終わりは、瞬間的であるか、それぞれ最初の数秒及び最後の数秒の平均であってよい。
人気を決定する前記のアプローチは、特定のスポットの結果として、どれくらいの人々がディスプレイとインタラクションしていたかを測定しようとするものであることを理解すべきである。しかし、インタラクティブディスプレイと人とのインタラクションに関して収集することのできる他のタイプの統計値がある。次の幾つかの段落において、そのような他の測定法を説明する。
更なる実施形態において、スポットの各々の上映について、ディスプレイへ入った人々の数、及び上映の間にディスプレイから出た人々の数がカウントされる。もちろん、人気のあるスポットでは、入る人々が多く、出る人々が少ない。しかし幾つかの場合には、入る人々も多く、出る人々も多く、できるだけ多くの人々がコンテンツを見ることが望まれるであろう。入ったり出たりする人々の数の情報は、人物追跡データから直接引き出されるか、前景部分データの急激な上昇及び降下(特定の最小サイズで)を探すことによって前景部分データから推定されることができる。
他の実施形態において、スポットの各々の上映について、スポットとプレイしている人々がディスプレイに滞在していた平均時間の長さが記録される。インタラクティブコンテンツによって伝えられるメッセージの種類に依存して、システムをコントロールする人は、滞在の長さを短くするか長くすることを欲するかもしれない。
他の実施形態において、スポットの上映時に起こる移動の量が記録される。移動の量はディスプレイ上の人々の平均速度として引き出され、平均速度は人物追跡データの位置情報を検査することによって獲得可能である。移動量の代替の測定値は、前景/背景イメージから計算可能である。そのような計算は、非常に短い時間の間隔を置いて2つのそのようなイメージの間を前景から背景へ又はその逆へ切り換えられるピクセル部分を計算することによって行われる。平均移動量を計算するため、このイメージの差は、理想的には、スポットの各々の上映の間に数回計算される。これによって、システムをコントロールする人は、活発な行動を促進するスポットと、落ち着いた雰囲気を作り出すが人気のあるスポットとを区別することができる。
他の実施例では、各々のスポットについて、始まりでは誰もディスプレイとインタラクションしなかった(又は、誰も先行スポットとインタラクションしなかった)が、終わりでは少なくとも1人がインタラクションした上映の数が決定される。これは、スポットの「ファースト・ユーザ・アトラクション・レベル」、例えば、現在ではディスプレイとインタラクションする者が1人も居ないとき、どれほど良好にスポットが人を引きつけてディスプレイとインタラクションさせるか、を測定する。類似の方法において、上映の始まりで1人の人がスポットとプレイしており、上映の終わりで複数の人々がスポットとプレイしていた回数によって、スポットの「グループ・アピール」を特徴づけることができる。
全体的交通レベルをコントロールする
本発明の実施形態は、インタラクティブ・ビデオ・ディスプレイ・システム210が設置されている現場における人々の数を説明する方法を提供する。これを行う1つの方法は、現場から出席データを単純に取得することであろう。即ち、多くの現場は、一日ごと及び一時間ごとでも、そのようなデータを有する。代替として、出席している人々の数を調査又はスポット・チェックすることによって、又は広角カメラを使用してカメライメージを分析し、出席している人々の数を決定することによって、出席データを取得することができる。こうして、インタラクティブ・ディスプレイ・システムを見た人々の全体数に対する各々のスポットの人気を決定することができる。所与のスポットの人気は、非常に異なったレベルの出席を有する現場と公平に比較可能である。
代替として、もし異なったスポットの相対的人気を比較したいならば、全体的交通レベルの差が全スポットへ均等に影響するように、同じ日数の間、同じ現場で一日の中の同じ普通の時間に全てのスポットを走らせることができる。
人気に影響する外部要因
所与のスポットの人気は、多様な他の条件又は要因に依存して大きく変化する。これらの外部要因240は、非限定的に、一日の中の時刻、一週の中の曜日、季節、天候、設置の物理的ロケーション(地勢)、インタラクション設置のタイプ(壁投影、床投影など)、性別、年齢、設置現場を訪れる人々の収入デモグラフィックス、及びスポットが上映される頻度など、を含む。
1つの条件のセットのもとで人気のあるスポットは、他の条件のセットのもとでは人気がないかも知れない。1つの実施形態において、データ分析モジュール234は、そのデータ分析で外部データ240を受け取るように動作する。このデータは、スポットログ内に記録されるか、スポットログとマッチング可能であるから(時間及びロケーションに基づいて)、これらの条件の幾つか又は全部が与えられるならば、スポットの人気について統計値を決定することができる。
人気情報の使用
もし目的が、所与のインタラクティブ・ビデオ・ディスプレイについて、ディスプレイの全体的人気を最適化するスポットのセットをスケジュールすることであれば、1つ又は複数のインタラクティブ・ビデオ・ディスプレイからの過去の人気データを分析し、どのようなスポットを選択するかを決定することができる。
特に、インタラクティブ・ビデオ・ディスプレイの複数の設置が存在する場合、人気ログ情報を、関連した外部要因と一緒に、中央のサーチ可能データベースフォーマット、例えばMySQLの中に置くことが有用である。
スポットのスケジュールを決定する責任を有する人々は、これらのスポットについてデータベースから人気データをクエリーすることによって、このデータベースを使用することができる。それらの人々は、最も正確な判断を行うことができるように、このデータを類似の外部要因へ限定するオプションを有する(例えば、ニューイングランドのモール設置で平日の10:00PM〜12:00AMまで上映されているスポットの人気を調べる)。そうすれば、データベースは、それらの条件が与えられた場合の最も人気のあるスポットのリストを生成することができる。スケジューラが欲するものに基づいて、人気を計算する異なった方法、例えば前述した方法を使用してよい。
自動スケジューリング
ビデオスポットスケジューラ236で、マイクロレベル及びマクロレベルの自動スケジューリングを可能にするため、スポット人気データを使用することができる。マイクロレベルでは、インタラクティブ・ビデオ・ディスプレイ・システムは、ディスプレイに誰も居ないとき、ログ処理を通して高い「ファースト・ユーザ・アトラクション・レベル」(前に定義したような)を有することを発見されたスポットを上映することができ、現時点でディスプレイに1人の人が居るとき、高い「グループ・アピール」(前に定義したような)を有するスポットを上映することができる。更に、システムは、最後の数分又は数時間にわたってそれ自身のスポット人気データを見ることができ、スケジュールを変更して、人気スポットの上映頻度を多くするか不人気スポットの上映を停止することができる。システムは、更に、ユーザからのフィードバックを直接要請することもできる。例えば、もしユーザがそのスポットを好んで、そのようなスポットをもっと見たいと欲するならば、システムは、ボタンに触れることをユーザに求めるインタラクティブボタンを表示することができる。
マクロレベルでは、多様な機械学習プロセスを使用することができる。それらのプロセスには、非限定的に、ニューラルネットワーク、隠れマルコフモデル、混合ガウスモデル、及び主要コンポーネント分析が含まれ、各々のスポットの各々の上映の人気と、上映が行われた条件のセットとの関係モデルが構築される。これらの機械学習プロセスは、どのようなスポットのセットが、所与の時点及び場所で最良の成果を挙げるかを自動的に予測し、スポットを自動的に再スケジュールして、スポットの人気を最適化することができる。
1つの実施形態において、図3で示されるように、本発明は、本明細書で説明されたインタラクティブ・ビデオ・ディスプレイ・システムを管理するプロセス300を提供する。1つの実施形態において、プロセス300は、コンピュータ読み取り可能及びコンピュータ実行可能命令の制御のもとで、プロセッサ及び電気コンポーネント(例えば、インタラクティブ・ビデオ・ディスプレイ・システム)、例えば図2のインタラクティブ・ビデオ・ディスプレイ・システム210によって実行される。特定のステップがプロセス300で開示されるが、そのようなステップは実施例である。即ち、本発明の実施形態は、様々な他のステップ又は図3で列挙されるステップの変形を実行するのに十分適している。
プロセス300のステップ310において、複数のビデオスポットがインタラクティブ・ビデオ・ディスプレイ・システム上に表示される。1つの実施形態において、複数のビデオスポットが疑似ランダムな順序で表示される。1つの実施形態において、特定のビデオスポットが表示される時間の長さは調整される。
ステップ320では、インタラクティブ・ビデオ・ディスプレイ・システムとのインタラクションに基づいて、前記複数のビデオスポットの中のビデオスポットに対応するデータが収集される。1つの実施形態において、インタラクションは人物追跡に従って決定される。他の実施形態において、インタラクションは前景/背景分類イメージに従って決定される。
ステップ330では、前記データが記憶され、ここで、データはビデオスポットの呈示の管理に使用するためのものである。1つの実施形態において、データはインタラクティブ・ビデオ・ディスプレイ・システムのローカルメモリに記憶される。他の実施形態において、データは外部コンピュータシステムへ転送され、外部コンピュータシステムのメモリに記憶される。
ステップ340において、1つの実施形態によれば、複数のビデオスポットの呈示の管理に使用するため前記データが分析される。1つの実施形態において、データの分析は、データに基づいて、複数のビデオスポットの少なくとも1つのビデオスポットについて人気を決定することを含む。他の実施形態において、データの分析は、データに基づいて、複数のビデオスポットの少なくとも1つのビデオスポットについてファースト・ユーザ・アトラクション・レベルを決定することを含む。他の実施形態において、データの分析は、データに基づいて、複数のビデオスポットの少なくとも1つのビデオスポットについてグループ・アピールを決定することを含む。1つの実施形態において、データの分析に使用するため外部データが収集される。
ステップ350では、1つの実施形態において、複数のビデオスポットの表示スケジュールがデータの分析に基づいて調整される。1つの実施形態において、表示スケジュールは分析に基づいて自動的に調整される。他の実施形態において、表示スケジュールは分析に基づいて手作業で調整される。1つの実施形態において、表示スケジュールは、ビデオスポットを表示するためプロセス300のステップ310へ送られる。
例示的実施において、本発明は、統合様式又はモジュール様式で、制御論理形式のソフトウェアを使用して実施される。代替として、ハードウェア又はソフトウェアとハードウェアとの組み合わせを使用して本発明を実施することができる。本明細書で提供された開示及び教示に基づいて、当業者は本発明を実施する他の様式及び/又は方法を知ることができよう。
本明細書で説明された実施例及び実施形態は単に例証を目的とすること、またそれら実施例及び実施形態を考慮した様々な修正又は変更が、当業者に暗示されて、本願の範囲及び添付の請求項の範囲に含まれることが理解される。本明細書で引用された全ての刊行物、特許、及び特許出願は、全ての目的のために参照により全体が本明細書に組み込まれる。
本発明、即ち、インタラクティブ・ビデオ・ディスプレイ・システムを管理する方法及びシステムの様々な実施形態が説明された。本発明は特定の実施形態として説明されたが、本発明は、そのような実施形態によって限定されるものと解釈されてはならず、下記の請求項に従って解釈されるべきである。
本明細書に組み込まれ、その一部分を成す添付の図面は、本発明の実施形態を例示し、説明と共に本発明の原理を明らかにすることに役立つ。
図1Aは、本発明の実施形態に従った投影インタラクティブ・ビデオ・ディスプレイ・システムを示す。 図1Bは、本発明の実施形態に従った自己充足型インタラクティブ・ビデオ・ディスプレイ・システムを示す。 図2は、本発明の実施形態に従ってインタラクティブ・ビデオ・ディスプレイ・システムを管理するシステムを示す。 図3は、本発明の実施形態に従ってインタラクティブ・ビデオ・ディスプレイ・システムを管理するプロセスを示す。

Claims (20)

  1. ビデオ・ディスプレイ・システムと、第一コンピューティング装置と、第二コンピューティング装置と、を備えたインタラクティブ・ビデオ・システムであって、
    前記ビデオ・ディスプレイ・システムは、
    ディスプレイ領域上にイメージを投影する手段と、
    投影されたイメージとのインタラクションのイメージをキャプチャする手段と、を備え、前記投影されたイメージは第一及び第二のスケジュールされたコンテンツ部分を含んでおり、
    前記第一コンピューティング装置は、
    前記投影されたイメージとのインタラクションのイメージを分析し、前記投影されたイメージ及び前記第一及び第二のスケジュールされたコンテンツ部分とインタラクトする人や物体の位置及び移動に関する情報を決定するように構成されており、
    前記第二コンピューティング装置は、
    前記投影されたイメージ及び前記第一及び第二のスケジュールされたコンテンツ部分とインタラクトする人や物体の位置及び移動に関する情報に基づいて前記第一のスケジュールされたコンテンツ部分の人気を決定する、
    インタラクティブ・ビデオ・システム。
  2. 前記第二コンピューティング装置は、前記第一のスケジュールされたコンテンツ部分の人気に基づいて前記第一のスケジュールされたコンテンツ部分のこの先のスケジュールを決定するように構成されている、請求項1に記載のインタラクティブ・ビデオ・システム。
  3. 前記投影手段は、前記決定されたこの先のスケジュールにしたがって前記第一のスケジュールされたコンテンツ部分を含むイメージを投影する、請求項2に記載のインタラクティブ・ビデオ・システム。
  4. 前記第一コンピューティング装置は、さらに、前記投影されたイメージ外でかつ前記ディスプレイ領域内の人や物体の位置及び移動に関する情報を決定するように構成されており、前記投影されたイメージ外でかつ前記ディスプレイ領域内の人や物体の位置及び移動に関する情報は、前記第一のスケジュールされたコンテンツ部分の人気を決定するために、前記第二コンピューティング装置によって分析される、請求項1に記載のインタラクティブ・ビデオ・システム。
  5. 前記第一のスケジュールされたコンテンツ部分の人気の決定は、前記第一のスケジュールされたコンテンツ部分とのインタラクションの数を、前記第二のスケジュールされたコンテンツ部分とのインタラクションの数と比較することを含む、請求項1に記載のインタラクティブ・ビデオ・システム。
  6. 前記第二のスケジュールされたコンテンツ部分は、前記第一のスケジュールされたコンテンツ部分の直前にディスプレイされる、請求項5に記載のインタラクティブ・ビデオ・システム。
  7. 前記第一のスケジュールされたコンテンツ部分とのインタラクションの数と、前記第二のスケジュールされたコンテンツ部分とのインタラクションの数は、特定の期間に限定される、請求項5に記載のインタラクティブ・ビデオ・システム。
  8. 前記第一のスケジュールされたコンテンツ部分の人気の決定は、前記第一のスケジュールされたコンテンツ部分の第一部分とのインタラクションの数を、前記第一のスケジュールされたコンテンツ部分の第二部分とのインタラクションの数と比較することを含む、請求項1に記載のインタラクティブ・ビデオ・システム。
  9. 前記投影されたイメージ及び前記第一及び第二のスケジュールされたコンテンツ部分とインタラクトする人や物体の位置及び移動に関する情報の決定は、前記第一及び第二のスケジュールされたコンテンツ部分と人あるいは物体とのインタラクションの時間の長さを決定することを含む、請求項1に記載のインタラクティブ・ビデオ・システム。
  10. 前記投影されたイメージ及び前記第一及び第二のスケジュールされたコンテンツ部分とインタラクトする人や物体の位置及び移動に関する情報の決定は、前記第一及び第二のスケジュールされたコンテンツ部分における人や物体とインタラクトする特定の物体を特定することを含む、請求項1に記載のインタラクティブ・ビデオ・システム。
  11. 前記投影されたイメージ及び前記第一及び第二のスケジュールされたコンテンツ部分とインタラクトする人や物体の位置及び移動に関する情報の決定は、前記第一及び第二のスケジュールされたコンテンツ部分の特定のセグメントとのインタラクションの数を決定することを含む、請求項1に記載のインタラクティブ・ビデオ・システム。
  12. 前記第一のスケジュールされたコンテンツ部分の人気の決定は、前記第二コンピューティング装置が、一日の中の時刻、一週の中の曜日、季節、及び天候からなる群から選択された少なくとも一つの外部要因を分析し、該外部要因の分析結果と、前記投影されたイメージ及び前記第一及び第二のスケジュールされたコンテンツ部分とインタラクトする人や物体の位置及び移動に関する情報とに基づいて前記第一のスケジュールされたコンテンツ部分の人気を決定することを含む、請求項1に記載のインタラクティブ・ビデオ・システム。
  13. 前記第一のスケジュールされたコンテンツ部分の人気の決定は、さらに、前記第二コンピューティング装置が、前記ビデオ・ディスプレイ・システムにおいて前記第一のスケジュールされたコンテンツ部分がディスプレイされる際の外部要因を示す外部データを分析し、該外部要因の分析結果と、前記投影されたイメージ及び前記第一及び第二のスケジュールされたコンテンツ部分とインタラクトする人や物体の位置及び移動に関する情報とに基づいて前記第一のスケジュールされたコンテンツ部分の人気を決定することを含む、請求項1に記載のインタラクティブ・ビデオ・システム。
  14. 前記投影されたイメージ及び前記第一及び第二のスケジュールされたコンテンツ部分とインタラクトする人や物体の位置及び移動に関する情報の決定は、前記第一及び第二のスケジュールされたコンテンツ部分とインタラクトする人や物体の移動の量を決定することを含む、請求項1に記載のインタラクティブ・ビデオ・システム。
  15. 自己充足型インタラクティブ・ディスプレイ装置において、
    ディスプレイ領域上にイメージを投影する手段と、
    投影されたイメージとのインタラクションのイメージをキャプチャする手段であって、前記投影されたイメージは第一及び第二のスケジュールされたコンテンツ部分を含んでいる、キャプチャ手段と、
    前記投影されたイメージとのインタラクションのイメージを分析して、前記投影されたイメージ及び前記第一及び第二のスケジュールされたコンテンツ部分とインタラクトする人や物体の位置及び移動に関する情報を決定し、前記投影されたイメージ及び前記第一及び第二のスケジュールされたコンテンツ部分とインタラクトする人や物体の位置及び移動の情報を分析する分析手段であって、前記情報の分析は、前記投影されたイメージ及び前記第一及び第二のスケジュールされたコンテンツ部分とインタラクトする人や物体の位置及び移動の情報に基づく、前記第一のスケジュールされたコンテンツ部分の人気に関する決定を含んでいる、分析手段と、
    を備えた装置。
  16. 請求項15に記載のインタラクティブ・ディスプレイ装置は、さらに、前記第一のスケジュールされたコンテンツ部分の人気に基づいて前記第一のスケジュールされたコンテンツ部分のこの先のディスプレイスケジュールをスケジューリングする手段を備えている、装置。
  17. 前記投影手段は、前記この先のディスプレイスケジュールにしたがって前記第一のスケジュールされたコンテンツ部分を含むイメージを投影する、請求項16に記載の装置。
  18. プロジェクタを用いてディスプレイ領域上にイメージを投影し、
    カメラを用いて投影されたイメージとインタラクションするイメージを検出し、前記投影されたイメージは第一及び第二のスケジュールされたコンテンツ部分を含んでおり、
    コンピューティング装置において、投影されたイメージとのインタラクションのイメージを分析し、前記分析は、前記投影されたイメージ及び前記第一及び第二のスケジュールされたコンテンツ部分とインタラクトする人や物体の位置及び移動に関する情報を決定し、かつ、前記分析は、前記投影されたイメージ及び前記第一及び第二のスケジュールされたコンテンツ部分とインタラクトする人や物体の位置及び移動の情報に基づく、前記第一のスケジュールされたコンテンツ部分の人気に関する決定を含む、
    ディスプレイとのインタラクションを追跡する方法。
  19. 前記コンピューティングデバイスにおいて、前記第一のスケジュールされたコンテンツ部分のこの先のディスプレイスケジュールを調整することを含み、前記この先のディスプレイスケジュールは前記第一のスケジュールされたコンテンツ部分の人気に基づくものである、請求項18に記載の方法。
  20. さらに、プロジェクタを用いて前記第一のスケジュールされたコンテンツ部分を含むイメージを投影することを含み、前記投影は前記この先のディスプレイスケジュールに応答して生成される、請求項19に記載の方法。
JP2006536930A 2003-10-24 2004-10-25 インタラクティブ・ビデオ・ディスプレイ・システムを管理する方法及びシステム Expired - Fee Related JP4794453B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US51423203P 2003-10-24 2003-10-24
US60/514,232 2003-10-24
PCT/US2004/035477 WO2005041578A2 (en) 2003-10-24 2004-10-25 Method and system for managing an interactive video display system

Publications (3)

Publication Number Publication Date
JP2007512729A JP2007512729A (ja) 2007-05-17
JP2007512729A5 JP2007512729A5 (ja) 2007-12-13
JP4794453B2 true JP4794453B2 (ja) 2011-10-19

Family

ID=34520185

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006536930A Expired - Fee Related JP4794453B2 (ja) 2003-10-24 2004-10-25 インタラクティブ・ビデオ・ディスプレイ・システムを管理する方法及びシステム

Country Status (6)

Country Link
US (2) US20050088407A1 (ja)
EP (1) EP1676442A2 (ja)
JP (1) JP4794453B2 (ja)
KR (1) KR101094119B1 (ja)
CN (2) CN1902930B (ja)
WO (1) WO2005041578A2 (ja)

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8300042B2 (en) 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
WO2004055776A1 (en) 2002-12-13 2004-07-01 Reactrix Systems Interactive directed light/sound system
WO2005041579A2 (en) * 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
EP1676442A2 (en) * 2003-10-24 2006-07-05 Reactrix Systems, Inc. Method and system for managing an interactive video display system
EP1743277A4 (en) * 2004-04-15 2011-07-06 Gesturetek Inc MONITORING OF BI-MANUAL MOVEMENTS
US8560972B2 (en) * 2004-08-10 2013-10-15 Microsoft Corporation Surface UI for gesture-based interaction
EP1856470B1 (en) * 2005-01-07 2013-02-27 Qualcomm Incorporated Detecting and tracking objects in images
CN101147188B (zh) * 2005-01-21 2010-09-29 格斯图尔泰克股份有限公司 图像处理中基于运动的跟踪的方法和系统
US20060218618A1 (en) * 2005-03-22 2006-09-28 Lorkovic Joseph E Dual display interactive video
US9128519B1 (en) 2005-04-15 2015-09-08 Intellectual Ventures Holding 67 Llc Method and system for state-based control of objects
US8081822B1 (en) 2005-05-31 2011-12-20 Intellectual Ventures Holding 67 Llc System and method for sensing a feature of an object in an interactive video display
US8098277B1 (en) 2005-12-02 2012-01-17 Intellectual Ventures Holding 67 Llc Systems and methods for communication between a reactive video system and a mobile communication device
CN103778635B (zh) * 2006-05-11 2016-09-28 苹果公司 用于处理数据的方法和装置
US8559676B2 (en) 2006-12-29 2013-10-15 Qualcomm Incorporated Manipulation of virtual objects using enhanced interactive system
US20080252596A1 (en) * 2007-04-10 2008-10-16 Matthew Bell Display Using a Three-Dimensional vision System
KR101141087B1 (ko) 2007-09-14 2012-07-12 인텔렉츄얼 벤처스 홀딩 67 엘엘씨 제스처-기반 사용자 상호작용의 프로세싱
US8159682B2 (en) 2007-11-12 2012-04-17 Intellectual Ventures Holding 67 Llc Lens system
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US8166421B2 (en) * 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
US8259163B2 (en) 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
US8595218B2 (en) * 2008-06-12 2013-11-26 Intellectual Ventures Holding 67 Llc Interactive display management systems and methods
US8736751B2 (en) * 2008-08-26 2014-05-27 Empire Technology Development Llc Digital presenter for displaying image captured by camera with illumination system
US8645205B2 (en) * 2008-09-30 2014-02-04 Yahoo! Inc. System for optimizing ad performance at campaign running time
US8624962B2 (en) 2009-02-02 2014-01-07 Ydreams—Informatica, S.A. Ydreams Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
US20100235786A1 (en) * 2009-03-13 2010-09-16 Primesense Ltd. Enhanced 3d interfacing for remote devices
US8565479B2 (en) * 2009-08-13 2013-10-22 Primesense Ltd. Extraction of skeletons from 3D maps
US20110164032A1 (en) * 2010-01-07 2011-07-07 Prime Sense Ltd. Three-Dimensional User Interface
US8787663B2 (en) * 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US8594425B2 (en) 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
WO2012011044A1 (en) 2010-07-20 2012-01-26 Primesense Ltd. Interactive reality augmentation for natural interaction
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
US8582867B2 (en) 2010-09-16 2013-11-12 Primesense Ltd Learning-based pose estimation from depth maps
US8959013B2 (en) 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
CN106125921B (zh) 2011-02-09 2019-01-15 苹果公司 3d映射环境中的凝视检测
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US9002099B2 (en) 2011-09-11 2015-04-07 Apple Inc. Learning-based estimation of hand and finger pose
US20130138499A1 (en) * 2011-11-30 2013-05-30 General Electric Company Usage measurent techniques and systems for interactive advertising
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
US9377863B2 (en) 2012-03-26 2016-06-28 Apple Inc. Gaze-enhanced virtual touchscreen
GB2511668A (en) * 2012-04-12 2014-09-10 Supercell Oy System and method for controlling technical processes
US20180316941A1 (en) * 2012-04-24 2018-11-01 Skreens Entertainment Technologies, Inc. Systems and methods for video processing and display of a combination of heterogeneous sources and advertising content
US11284137B2 (en) 2012-04-24 2022-03-22 Skreens Entertainment Technologies, Inc. Video processing systems and methods for display, selection and navigation of a combination of heterogeneous sources
US9047507B2 (en) 2012-05-02 2015-06-02 Apple Inc. Upper-body skeleton extraction from depth maps
US10248868B2 (en) 2012-09-28 2019-04-02 Nec Corporation Information processing apparatus, information processing method, and information processing program
US9019267B2 (en) 2012-10-30 2015-04-28 Apple Inc. Depth mapping with enhanced resolution
DE102012110460A1 (de) * 2012-10-31 2014-04-30 Audi Ag Verfahren zum Eingeben eines Steuerbefehls für eine Komponente eines Kraftwagens
US9749431B1 (en) 2013-11-21 2017-08-29 Mashable, Inc. Finding a potentially viral first media content and transmitting a second media content that is selected based on the first media content and based on the determination that the first media content exceeds a velocity threshold
US9894414B2 (en) * 2014-09-30 2018-02-13 Rovi Guides, Inc. Methods and systems for presenting content to a user based on the movement of the user
US9438936B1 (en) * 2015-04-03 2016-09-06 Mirriad Limited Producing video data
US9892421B2 (en) * 2015-05-04 2018-02-13 International Business Machines Corporation Measuring display effectiveness with interactive asynchronous applications
US9584753B2 (en) 2015-05-18 2017-02-28 Target Brands, Inc. Interactive display fixture
US10043279B1 (en) 2015-12-07 2018-08-07 Apple Inc. Robust detection and classification of body parts in a depth map
CN105828159A (zh) * 2016-03-22 2016-08-03 乐视网信息技术(北京)股份有限公司 一种电视运营角标的配置方法和装置
US10366278B2 (en) 2016-09-20 2019-07-30 Apple Inc. Curvature-based face detector
CN109905753B (zh) * 2017-12-08 2021-05-25 腾讯科技(深圳)有限公司 角标的显示方法和装置、存储介质、电子装置
RU2018133712A (ru) * 2018-09-25 2020-03-25 Алексей Викторович Шторм Способы подтверждения транзакций в распределенной сети наружной рекламы
US10911811B1 (en) * 2019-10-10 2021-02-02 Recentive Analytics Systems and methods for automatically and dynamically generating a network map

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000105583A (ja) * 1998-07-27 2000-04-11 Ricoh Co Ltd インタラクティブ表示装置
JP2000209578A (ja) * 1999-01-20 2000-07-28 Nri & Ncc Co Ltd 広告メディア評価装置および広告メディア評価方法
WO2002001537A2 (en) * 2000-06-27 2002-01-03 Koninklijke Philips Electronics N.V. Method and apparatus for tuning content of information presented to an audience
JP2002014997A (ja) * 2000-04-27 2002-01-18 Ntt Comware Corp 広告情報配信方法及び広告情報配信システム
JP2002092023A (ja) * 2000-09-14 2002-03-29 Nippon Telegr & Teleph Corp <Ntt> 情報提供装置および方法と情報提供プログラムを記録した記録媒体
JP2002171507A (ja) * 2000-11-30 2002-06-14 Yokogawa Electric Corp コンテンツ配信方法およびコンテンツ配信システム
JP2003517642A (ja) * 1999-12-17 2003-05-27 プロモ・ヴィユー 対話型販売促進情報通信システム
JP2003196655A (ja) * 2001-12-25 2003-07-11 Toyota Motor Corp 目画像検出装置
JP2003271084A (ja) * 2002-03-15 2003-09-25 Omron Corp 情報提供装置および情報提供方法

Family Cites Families (241)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2917980A (en) 1955-12-30 1959-12-22 Mergenthaler Linotype Gmbh Lenslet assembly for photocomposing machines
US3068754A (en) 1958-07-30 1962-12-18 Corning Giass Works Prismatic light transmitting panel
US3763468A (en) 1971-10-01 1973-10-02 Energy Conversion Devices Inc Light emitting display array with non-volatile memory
JPS5189419A (ja) 1975-02-03 1976-08-05
US4275395A (en) 1977-10-31 1981-06-23 International Business Machines Corporation Interactive projection display system
DE3176016D1 (en) 1980-12-30 1987-04-23 Ibm System for remotely displaying and sensing information using shadow parallax
JPS59182688A (ja) 1983-03-31 1984-10-17 Toshiba Corp ステレオ視処理装置
GB8421783D0 (en) 1984-08-29 1984-10-03 Atomic Energy Authority Uk Stereo camera
US5001558A (en) 1985-06-11 1991-03-19 General Motors Corporation Night vision system with color video camera
US4791572A (en) 1985-11-20 1988-12-13 Mets, Inc. Method for accurately displaying positional information on a map
US4843568A (en) * 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4769697A (en) * 1986-12-17 1988-09-06 R. D. Percy & Company Passive television audience measuring systems
US4887898A (en) 1988-04-13 1989-12-19 Rowe Furniture Corporation Fabric projection system
US4948371A (en) 1989-04-25 1990-08-14 The United States Of America As Represented By The United States Department Of Energy System for training and evaluation of security personnel in use of firearms
CA2030139C (en) 1989-11-20 2002-04-23 David M. Durlach 3-d amusement and display device
CA2040273C (en) 1990-04-13 1995-07-18 Kazu Horiuchi Image displaying system
US5138304A (en) 1990-08-02 1992-08-11 Hewlett-Packard Company Projected image light pen
US6732929B2 (en) 1990-09-10 2004-05-11 Metrologic Instruments, Inc. Led-based planar light illumination beam generation module employing a focal lens for reducing the image size of the light emmiting surface of the led prior to beam collimation and planarization
US5239373A (en) 1990-12-26 1993-08-24 Xerox Corporation Video computational shared drawing space
US5151718A (en) 1990-12-31 1992-09-29 Texas Instruments Incorporated System and method for solid state illumination for dmd devices
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5325473A (en) 1991-10-11 1994-06-28 The Walt Disney Company Apparatus and method for projection upon a three-dimensional object
US5861881A (en) * 1991-11-25 1999-01-19 Actv, Inc. Interactive computer system for providing an interactive presentation with personalized video, audio and graphics responses for multiple viewers
US5444462A (en) 1991-12-16 1995-08-22 Wambach; Mark L. Computer mouse glove with remote communication
DE59306619D1 (de) 1992-01-29 1997-07-10 Thomson Brandt Gmbh Videokamera, wahlweise als Projektor betreibbar
US5497269A (en) 1992-06-25 1996-03-05 Lockheed Missiles And Space Company, Inc. Dispersive microlens
US7084859B1 (en) 1992-09-18 2006-08-01 Pryor Timothy R Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
US6008800A (en) 1992-09-18 1999-12-28 Pryor; Timothy R. Man machine interfaces for entering data into a computer
US5982352A (en) 1992-09-18 1999-11-09 Pryor; Timothy R. Method for providing human input to a computer
US5442252A (en) 1992-11-16 1995-08-15 General Electric Company Lenticulated lens with improved light distribution
US5319496A (en) 1992-11-18 1994-06-07 Photonics Research Incorporated Optical beam delivery system
US5550928A (en) * 1992-12-15 1996-08-27 A.C. Nielsen Company Audience measurement system and method
US5526182A (en) 1993-02-17 1996-06-11 Vixel Corporation Multiple beam optical memory system
US5436639A (en) 1993-03-16 1995-07-25 Hitachi, Ltd. Information processing system
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
JPH07135623A (ja) 1993-10-27 1995-05-23 Kinseki Ltd 網膜直接表示装置
US5510828A (en) * 1994-03-01 1996-04-23 Lutterbach; R. Steven Interactive video display system
US5426474A (en) 1994-03-22 1995-06-20 Innersense, Inc. Light projection system using randomized fiber optic bundle
US5528263A (en) 1994-06-15 1996-06-18 Daniel M. Platzker Interactive projected video image display system
US5846086A (en) 1994-07-01 1998-12-08 Massachusetts Institute Of Technology System for human trajectory learning in virtual environments
US5808784A (en) 1994-09-06 1998-09-15 Dai Nippon Printing Co., Ltd. Lens array sheet surface light source, and transmission type display device
US5682468A (en) 1995-01-23 1997-10-28 Intergraph Corporation OLE for design and modeling
US5548694A (en) 1995-01-31 1996-08-20 Mitsubishi Electric Information Technology Center America, Inc. Collision avoidance system for voxel-based object representation
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
JP3539788B2 (ja) 1995-04-21 2004-07-07 パナソニック モバイルコミュニケーションズ株式会社 画像間対応付け方法
EP0823683B1 (en) 1995-04-28 2005-07-06 Matsushita Electric Industrial Co., Ltd. Interface device
US5633691A (en) 1995-06-07 1997-05-27 Nview Corporation Stylus position sensing and digital camera with a digital micromirror device
US5882204A (en) 1995-07-13 1999-03-16 Dennis J. Lannazzo Football interactive simulation trainer
US5591972A (en) 1995-08-03 1997-01-07 Illumination Technologies, Inc. Apparatus for reading optical information
US5574511A (en) 1995-10-18 1996-11-12 Polaroid Corporation Background replacement for an image
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US6278418B1 (en) 1995-12-29 2001-08-21 Kabushiki Kaisha Sega Enterprises Three-dimensional imaging system, game device, method for same and recording medium
US5828485A (en) 1996-02-07 1998-10-27 Light & Sound Design Ltd. Programmable light beam shape altering device using programmable micromirrors
US6084979A (en) 1996-06-20 2000-07-04 Carnegie Mellon University Method for creating virtual reality
ES2229387T3 (es) 1996-09-11 2005-04-16 Sega Corporation Simulador de esqui.
US6400374B2 (en) 1996-09-18 2002-06-04 Eyematic Interfaces, Inc. Video superposition system and method
US5923475A (en) 1996-11-27 1999-07-13 Eastman Kodak Company Laser printer using a fly's eye integrator
US5969754A (en) 1996-12-09 1999-10-19 Zeman; Herbert D. Contrast enhancing illuminator
JP3298437B2 (ja) 1996-12-18 2002-07-02 セイコーエプソン株式会社 光学素子、偏光照明装置および投写型表示装置
DE19708240C2 (de) 1997-02-28 1999-10-14 Siemens Ag Anordnung und Verfahren zur Detektion eines Objekts in einem von Wellen im nichtsichtbaren Spektralbereich angestrahlten Bereich
US6118888A (en) * 1997-02-28 2000-09-12 Kabushiki Kaisha Toshiba Multi-modal interface apparatus and method
US6088612A (en) 1997-04-04 2000-07-11 Medtech Research Corporation Method and apparatus for reflective glare removal in digital photography useful in cervical cancer detection
US6058397A (en) 1997-04-08 2000-05-02 Mitsubishi Electric Information Technology Center America, Inc. 3D virtual environment creation management and delivery system
JPH10334270A (ja) 1997-05-28 1998-12-18 Mitsubishi Electric Corp 動作認識装置及び動作認識プログラムを記録した記録媒体
JP3183632B2 (ja) 1997-06-13 2001-07-09 株式会社ナムコ 情報記憶媒体及び画像生成装置
JP3145059B2 (ja) 1997-06-13 2001-03-12 株式会社ナムコ 情報記憶媒体及び画像生成装置
US6075895A (en) 1997-06-20 2000-06-13 Holoplex Methods and apparatus for gesture recognition based on templates
JP3968477B2 (ja) 1997-07-07 2007-08-29 ソニー株式会社 情報入力装置及び情報入力方法
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6522312B2 (en) 1997-09-01 2003-02-18 Canon Kabushiki Kaisha Apparatus for presenting mixed reality shared among operators
JP3795647B2 (ja) 1997-10-29 2006-07-12 株式会社竹中工務店 ハンドポインティング装置
JP3794180B2 (ja) 1997-11-11 2006-07-05 セイコーエプソン株式会社 座標入力システム及び座標入力装置
US6166744A (en) 1997-11-26 2000-12-26 Pathfinder Systems, Inc. System for combining virtual images with real-world scenes
US6611241B1 (en) 1997-12-02 2003-08-26 Sarnoff Corporation Modular display system
JPH11175750A (ja) 1997-12-05 1999-07-02 Namco Ltd 画像生成装置及び情報記憶媒体
US6388657B1 (en) 1997-12-31 2002-05-14 Anthony James Francis Natoli Virtual reality keyboard system and method
EP0933924B1 (en) 1998-01-28 2004-03-24 Konica Corporation Image processing apparatus
US6349301B1 (en) 1998-02-24 2002-02-19 Microsoft Corporation Virtual environment bystander updating in client server architecture
US6266053B1 (en) 1998-04-03 2001-07-24 Synapix, Inc. Time inheritance scene graph for representation of media content
DE69910757T2 (de) 1998-04-13 2004-06-17 Eyematic Interfaces, Inc., Santa Monica Wavelet-basierte gesichtsbewegungserfassung für avataranimation
US5966696A (en) * 1998-04-14 1999-10-12 Infovation System for tracking consumer exposure and for exposing consumers to different advertisements
JP3745117B2 (ja) 1998-05-08 2006-02-15 キヤノン株式会社 画像処理装置及び画像処理方法
US6263339B1 (en) 1998-08-25 2001-07-17 Informix Software, Inc. Dynamic object visualization and code generation
US6228538B1 (en) 1998-08-28 2001-05-08 Micron Technology, Inc. Mask forming methods and field emission display emitter mask forming methods
US6122014A (en) 1998-09-17 2000-09-19 Motorola, Inc. Modified chroma keyed technique for simple shape coding for digital video
JP2000163196A (ja) 1998-09-25 2000-06-16 Sanyo Electric Co Ltd ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置
DE19845030A1 (de) 1998-09-30 2000-04-20 Siemens Ag Bildsystem
US6501515B1 (en) 1998-10-13 2002-12-31 Sony Corporation Remote control system
US6106119A (en) * 1998-10-16 2000-08-22 The Board Of Trustees Of The Leland Stanford Junior University Method for presenting high level interpretations of eye tracking data correlated to saved display images
WO2000034919A1 (en) 1998-12-04 2000-06-15 Interval Research Corporation Background estimation and segmentation based on range and color
GB9902235D0 (en) 1999-02-01 1999-03-24 Emuse Corp Interactive system
US6552760B1 (en) 1999-02-18 2003-04-22 Fujitsu Limited Luminaire with improved light utilization efficiency
US6333735B1 (en) 1999-03-16 2001-12-25 International Business Machines Corporation Method and apparatus for mouse positioning device based on infrared light sources and detectors
JP3644295B2 (ja) 1999-03-17 2005-04-27 セイコーエプソン株式会社 投写型表示装置
US6292171B1 (en) 1999-03-31 2001-09-18 Seiko Epson Corporation Method and apparatus for calibrating a computer-generated projected image
US6614422B1 (en) 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
JP2000350865A (ja) 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体
US6545706B1 (en) 1999-07-30 2003-04-08 Electric Planet, Inc. System, method and article of manufacture for tracking a head of a camera-generated image of a person
WO2001015086A1 (fr) 1999-08-19 2001-03-01 Sony Corporation Processeur d'images, procede de traitement d'images et support enregistre
JP4691754B2 (ja) 1999-09-07 2011-06-01 株式会社セガ ゲーム装置
JP3905670B2 (ja) 1999-09-10 2007-04-18 株式会社リコー 座標入力検出装置、情報記憶媒体及び座標入力検出方法
US6407870B1 (en) 1999-10-28 2002-06-18 Ihar Hurevich Optical beam shaper and method for spatial redistribution of inhomogeneous beam
US6826727B1 (en) 1999-11-24 2004-11-30 Bitstream Inc. Apparatus, methods, programming for automatically laying out documents
US20030065563A1 (en) * 1999-12-01 2003-04-03 Efunds Corporation Method and apparatus for atm-based cross-selling of products and services
JP3760068B2 (ja) 1999-12-02 2006-03-29 本田技研工業株式会社 画像認識装置
GB2356996A (en) 1999-12-03 2001-06-06 Hewlett Packard Co Improvements to digital cameras
US6666567B1 (en) 1999-12-28 2003-12-23 Honeywell International Inc. Methods and apparatus for a light source with a raised LED structure
JP4332964B2 (ja) 1999-12-21 2009-09-16 ソニー株式会社 情報入出力システム及び情報入出力方法
US20050195598A1 (en) 2003-02-07 2005-09-08 Dancs Imre J. Projecting light and images from a device
JP4549468B2 (ja) 1999-12-28 2010-09-22 株式会社トプコン レンズメータ
JP3363861B2 (ja) 2000-01-13 2003-01-08 キヤノン株式会社 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体
JP3312018B2 (ja) 2000-01-14 2002-08-05 コナミ株式会社 ゲームシステムおよびコンピュータ読み取り可能な記憶媒体
AU2001234601A1 (en) 2000-01-26 2001-08-07 New York University Method and system for facilitating wireless, full-body, real-time user interaction with digitally generated text data
US20020140633A1 (en) 2000-02-03 2002-10-03 Canesta, Inc. Method and system to present immersion virtual simulations using three-dimensional measurement
US6491396B2 (en) 2000-02-15 2002-12-10 Seiko Epson Corporation Projector modulating a plurality of partial luminous fluxes according to imaging information by means of an electro-optical device
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
AU2001249994A1 (en) * 2000-02-25 2001-09-03 Interval Research Corporation Method and system for selecting advertisements
SE0000850D0 (sv) 2000-03-13 2000-03-13 Pink Solution Ab Recognition arrangement
JP3842515B2 (ja) 2000-03-24 2006-11-08 セイコーエプソン株式会社 多重解像度画像解析による指示位置検出
US20020046100A1 (en) * 2000-04-18 2002-04-18 Naoto Kinjo Image display method
US7859519B2 (en) 2000-05-01 2010-12-28 Tulbert David J Human-machine interface
JP4402262B2 (ja) 2000-06-07 2010-01-20 オリンパス株式会社 プリンタ装置及び電子カメラ
US6752720B1 (en) 2000-06-15 2004-06-22 Intel Corporation Mobile remote control video gaming system
US7149262B1 (en) 2000-07-06 2006-12-12 The Trustees Of Columbia University In The City Of New York Method and apparatus for enhancing data resolution
CN1333489A (zh) * 2000-07-12 2002-01-30 张正国 一键通电视上网系统
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
JP4666808B2 (ja) 2000-07-27 2011-04-06 キヤノン株式会社 画像表示システム、画像表示方法、及び記憶媒体、プログラム
US6754370B1 (en) 2000-08-14 2004-06-22 The Board Of Trustees Of The Leland Stanford Junior University Real-time structured light range scanning of moving scenes
US6707444B1 (en) 2000-08-18 2004-03-16 International Business Machines Corporation Projector and camera arrangement with shared optics and optical marker for use with whiteboard systems
US7103838B1 (en) 2000-08-18 2006-09-05 Firstrain, Inc. Method and apparatus for extracting relevant data
US6654734B1 (en) 2000-08-30 2003-11-25 International Business Machines Corporation System and method for query processing and optimization for XML repositories
US7363643B2 (en) * 2000-08-31 2008-04-22 Eddie Drake Real-time audience monitoring, content rating, and content enhancing
US6965684B2 (en) 2000-09-15 2005-11-15 Canon Kabushiki Kaisha Image processing methods and apparatus for detecting human eyes, human face, and other objects in an image
US7000200B1 (en) 2000-09-15 2006-02-14 Intel Corporation Gesture recognition system recognizing gestures within a specified timing
JP4432246B2 (ja) * 2000-09-29 2010-03-17 ソニー株式会社 観客状況判定装置、再生出力制御システム、観客状況判定方法、再生出力制御方法、記録媒体
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
JP4518661B2 (ja) 2000-11-29 2010-08-04 京セラ株式会社 画像表示装置の製造方法
JP3467017B2 (ja) 2000-11-30 2003-11-17 キヤノン株式会社 位置姿勢の決定方法及び装置並びに記憶媒体
US6431711B1 (en) 2000-12-06 2002-08-13 International Business Machines Corporation Multiple-surface display projector with interactive input capability
JP2002222424A (ja) 2001-01-29 2002-08-09 Nec Corp 指紋照合システム
US8085293B2 (en) 2001-03-14 2011-12-27 Koninklijke Philips Electronics N.V. Self adjusting stereo camera system
US6621483B2 (en) 2001-03-16 2003-09-16 Agilent Technologies, Inc. Optical screen pointing device with inertial properties
US20020178440A1 (en) * 2001-03-28 2002-11-28 Philips Electronics North America Corp. Method and apparatus for automatically selecting an alternate item based on user behavior
US20020140682A1 (en) 2001-03-29 2002-10-03 Brown Frank T. Optical drawing tablet
US6912313B2 (en) 2001-05-31 2005-06-28 Sharp Laboratories Of America, Inc. Image background replacement method
EP1689172B1 (en) 2001-06-05 2016-03-09 Microsoft Technology Licensing, LLC Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8300042B2 (en) 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
JP2003004905A (ja) 2001-06-18 2003-01-08 Toppan Printing Co Ltd 両面レンズシートとそれを用いたリア型プロジェクションスクリーンおよび表示装置
JP2003016804A (ja) 2001-06-27 2003-01-17 Nichia Chem Ind Ltd Led表示灯
WO2003009579A2 (en) 2001-07-17 2003-01-30 Amnis Corporation Computational methods for the segmentation of images of objects from background in a flow imaging instrument
US7274800B2 (en) 2001-07-18 2007-09-25 Intel Corporation Dynamic gesture recognition from stereo sequences
US7068274B2 (en) 2001-08-15 2006-06-27 Mitsubishi Electric Research Laboratories, Inc. System and method for animating real objects with projected images
JP2003173237A (ja) 2001-09-28 2003-06-20 Ricoh Co Ltd 情報入出力システム、プログラム及び記憶媒体
US8561095B2 (en) * 2001-11-13 2013-10-15 Koninklijke Philips N.V. Affective television monitoring and control in response to physiological data
US7006055B2 (en) * 2001-11-29 2006-02-28 Hewlett-Packard Development Company, L.P. Wireless multi-user multi-projector presentation system
CA2468869A1 (en) 2001-12-03 2003-06-12 Tsutomu Yoshida Lens array sheet, transparent screen, and rear-projection display
TWI222029B (en) 2001-12-04 2004-10-11 Desun Technology Co Ltd Two-in-one image display/image capture apparatus and the method thereof and identification system using the same
US7307636B2 (en) * 2001-12-26 2007-12-11 Eastman Kodak Company Image format including affective information
US20030128389A1 (en) * 2001-12-26 2003-07-10 Eastman Kodak Company Method for creating and using affective information in a digital imaging system cross reference to related applications
US20030126013A1 (en) * 2001-12-28 2003-07-03 Shand Mark Alexander Viewer-targeted display system and method
KR20030058894A (ko) 2002-01-02 2003-07-07 조영탁 가상 골프 시뮬레이터
EP1573770B1 (en) 2002-02-20 2013-06-26 University of Washington Analytical instruments using a pseudorandom array of sources, such as a micro-machined mass spectrometer
JP4027118B2 (ja) 2002-02-25 2007-12-26 富士通株式会社 本人認証方法、プログラム及び装置
US6607275B1 (en) 2002-03-20 2003-08-19 The Neiman Marcus Group, Inc. Merchandise display case and system
US6707054B2 (en) 2002-03-21 2004-03-16 Eastman Kodak Company Scannerless range imaging system having high dynamic range
US6831664B2 (en) 2002-03-22 2004-12-14 Koninklijke Philips Electronics N.V. Low cost interactive program control system and method
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US20050122308A1 (en) 2002-05-28 2005-06-09 Matthew Bell Self-contained interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7171404B2 (en) 2002-06-13 2007-01-30 Mark Logic Corporation Parent-child query indexing for XML databases
US7574652B2 (en) 2002-06-20 2009-08-11 Canon Kabushiki Kaisha Methods for interactively defining transforms and for generating queries by manipulating existing query data
US20040091110A1 (en) 2002-11-08 2004-05-13 Anthony Christian Barkans Copy protected display screen
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
WO2004055776A1 (en) 2002-12-13 2004-07-01 Reactrix Systems Interactive directed light/sound system
WO2004068182A2 (en) 2003-01-24 2004-08-12 Digital Optics International Corporation High density illumination system
US6999600B2 (en) 2003-01-30 2006-02-14 Objectvideo, Inc. Video scene background maintenance using change detection and classification
US6877882B1 (en) 2003-03-12 2005-04-12 Delta Electronics, Inc. Illumination system for a projection system
US7665041B2 (en) 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
WO2004093013A1 (ja) 2003-04-15 2004-10-28 Fujitsu Limited 画像照合装置、画像照合方法、及び画像照合プログラム
WO2004097741A1 (ja) 2003-04-25 2004-11-11 Fujitsu Limited 指紋照合装置、指紋照合方法および指紋照合プログラム
US7193608B2 (en) * 2003-05-27 2007-03-20 York University Collaborative pointing devices
JP2005049795A (ja) 2003-07-31 2005-02-24 Dainippon Printing Co Ltd スクリーン用レンズシート
WO2005013092A2 (en) 2003-08-01 2005-02-10 Dollars.Com Llc A system and a method for determining advertising effectiveness
WO2005015362A2 (en) 2003-08-06 2005-02-17 Innovida, Inc. System and method for delivering and optimizing media programming in public spaces
WO2005038629A2 (en) 2003-10-17 2005-04-28 Park Media, Llc Digital media presentation system
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
EP1676442A2 (en) 2003-10-24 2006-07-05 Reactrix Systems, Inc. Method and system for managing an interactive video display system
US7268950B2 (en) 2003-11-18 2007-09-11 Merlin Technology Limited Liability Company Variable optical arrays and variable manufacturing methods
US7619824B2 (en) 2003-11-18 2009-11-17 Merlin Technology Limited Liability Company Variable optical arrays and variable manufacturing methods
US20050104506A1 (en) 2003-11-18 2005-05-19 Youh Meng-Jey Triode Field Emission Cold Cathode Devices with Random Distribution and Method
US7681114B2 (en) 2003-11-21 2010-03-16 Bridgeborn, Llc Method of authoring, deploying and using interactive, data-driven two or more dimensional content
KR100970253B1 (ko) 2003-12-19 2010-07-16 삼성전자주식회사 발광소자의 제조 방법
KR100588042B1 (ko) 2004-01-14 2006-06-09 한국과학기술연구원 인터액티브 프레젠테이션 시스템
WO2005091651A2 (en) 2004-03-18 2005-09-29 Reactrix Systems, Inc. Interactive video display system
EP1743277A4 (en) 2004-04-15 2011-07-06 Gesturetek Inc MONITORING OF BI-MANUAL MOVEMENTS
US7382897B2 (en) 2004-04-27 2008-06-03 Microsoft Corporation Multi-image feature matching using multi-scale oriented patches
US7394459B2 (en) 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
WO2005119576A2 (en) 2004-06-01 2005-12-15 Ultra-Scan Corporation Fingerprint image database and method of matching fingerprint sample to fingerprint images
US7432917B2 (en) 2004-06-16 2008-10-07 Microsoft Corporation Calibration of an interactive display system
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US8114172B2 (en) 2004-07-30 2012-02-14 Extreme Reality Ltd. System and method for 3D space-dimension based image processing
US7728821B2 (en) 2004-08-06 2010-06-01 Touchtable, Inc. Touch detecting interactive display
JP2006068315A (ja) 2004-09-02 2006-03-16 Sega Corp ポーズ検出プログラム、ビデオゲーム装置、ポーズ検出方法、および、プログラムを記録したコンピュータ読み取り可能な記録媒体
US7330584B2 (en) 2004-10-14 2008-02-12 Sony Corporation Image processing apparatus and method
KR100729280B1 (ko) 2005-01-08 2007-06-15 아이리텍 잉크 스테레오 카메라를 장착한 이동단말기를 이용한 홍채인식시스템 및 그 방법
US7818666B2 (en) 2005-01-27 2010-10-19 Symyx Solutions, Inc. Parsing, evaluating leaf, and branch nodes, and navigating the nodes based on the evaluation
EP1851750A4 (en) 2005-02-08 2010-08-25 Oblong Ind Inc SYSTEM AND METHOD FOR CONTROL SYSTEM BASED ON GESTURES
US20060184993A1 (en) 2005-02-15 2006-08-17 Goldthwaite Flora P Method and system for collecting and using data
US7570249B2 (en) 2005-03-30 2009-08-04 Microsoft Corporation Responding to change of state of control on device disposed on an interactive display surface
US20060258397A1 (en) 2005-05-10 2006-11-16 Kaplan Mark M Integrated mobile application server and communication gateway
US7428542B1 (en) 2005-05-31 2008-09-23 Reactrix Systems, Inc. Method and system for combining nodes into a mega-node
US8081822B1 (en) 2005-05-31 2011-12-20 Intellectual Ventures Holding 67 Llc System and method for sensing a feature of an object in an interactive video display
US7431253B2 (en) 2005-06-03 2008-10-07 Kye Systems Corp. Support device for computer peripheral equipment
JP2007004488A (ja) 2005-06-23 2007-01-11 Sony Corp 電子広告システム及びその表示制御方法
US7970870B2 (en) 2005-06-24 2011-06-28 Microsoft Corporation Extending digital artifacts through an interactive surface
US7576766B2 (en) 2005-06-30 2009-08-18 Microsoft Corporation Normalized images for cameras
US7680301B2 (en) 2005-06-30 2010-03-16 Sportvision, Inc. Measurements using a single image
US8098277B1 (en) 2005-12-02 2012-01-17 Intellectual Ventures Holding 67 Llc Systems and methods for communication between a reactive video system and a mobile communication device
US20080040692A1 (en) 2006-06-29 2008-02-14 Microsoft Corporation Gesture input
US8589824B2 (en) 2006-07-13 2013-11-19 Northrop Grumman Systems Corporation Gesture recognition interface system
US8395658B2 (en) 2006-09-07 2013-03-12 Sony Computer Entertainment Inc. Touch screen-like user interface that does not require actual touching
US7737636B2 (en) 2006-11-09 2010-06-15 Intematix Corporation LED assembly with an LED and adjacent lens and method of making same
DE502006007337D1 (de) 2006-12-11 2010-08-12 Brainlab Ag Mehrbandtracking- und Kalibrier-System
JP4662071B2 (ja) 2006-12-27 2011-03-30 富士フイルム株式会社 画像再生方法
US7961906B2 (en) 2007-01-03 2011-06-14 Science Applications International Corporation Human detection with imaging sensors
US7971156B2 (en) 2007-01-12 2011-06-28 International Business Machines Corporation Controlling resource access based on user gesturing in a 3D captured image stream of the user
US7745771B2 (en) 2007-04-03 2010-06-29 Delphi Technologies, Inc. Synchronous imaging using segmented illumination
US20080252596A1 (en) 2007-04-10 2008-10-16 Matthew Bell Display Using a Three-Dimensional vision System
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
KR101141087B1 (ko) 2007-09-14 2012-07-12 인텔렉츄얼 벤처스 홀딩 67 엘엘씨 제스처-기반 사용자 상호작용의 프로세싱
WO2009042579A1 (en) 2007-09-24 2009-04-02 Gesturetek, Inc. Enhanced interface for voice and video communications
JP5228439B2 (ja) 2007-10-22 2013-07-03 三菱電機株式会社 操作入力装置
US8159682B2 (en) 2007-11-12 2012-04-17 Intellectual Ventures Holding 67 Llc Lens system
US20090172606A1 (en) 2007-12-31 2009-07-02 Motorola, Inc. Method and apparatus for two-handed computer user interface with gesture recognition
US20100039500A1 (en) 2008-02-15 2010-02-18 Matthew Bell Self-Contained 3D Vision System Utilizing Stereo Camera and Patterned Illuminator
US8259163B2 (en) 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
US8595218B2 (en) 2008-06-12 2013-11-26 Intellectual Ventures Holding 67 Llc Interactive display management systems and methods

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000105583A (ja) * 1998-07-27 2000-04-11 Ricoh Co Ltd インタラクティブ表示装置
JP2000209578A (ja) * 1999-01-20 2000-07-28 Nri & Ncc Co Ltd 広告メディア評価装置および広告メディア評価方法
JP2003517642A (ja) * 1999-12-17 2003-05-27 プロモ・ヴィユー 対話型販売促進情報通信システム
JP2002014997A (ja) * 2000-04-27 2002-01-18 Ntt Comware Corp 広告情報配信方法及び広告情報配信システム
WO2002001537A2 (en) * 2000-06-27 2002-01-03 Koninklijke Philips Electronics N.V. Method and apparatus for tuning content of information presented to an audience
JP2002092023A (ja) * 2000-09-14 2002-03-29 Nippon Telegr & Teleph Corp <Ntt> 情報提供装置および方法と情報提供プログラムを記録した記録媒体
JP2002171507A (ja) * 2000-11-30 2002-06-14 Yokogawa Electric Corp コンテンツ配信方法およびコンテンツ配信システム
JP2003196655A (ja) * 2001-12-25 2003-07-11 Toyota Motor Corp 目画像検出装置
JP2003271084A (ja) * 2002-03-15 2003-09-25 Omron Corp 情報提供装置および情報提供方法

Also Published As

Publication number Publication date
KR20070006671A (ko) 2007-01-11
US20050088407A1 (en) 2005-04-28
KR101094119B1 (ko) 2011-12-15
CN1902930B (zh) 2010-12-15
WO2005041578A3 (en) 2006-02-02
JP2007512729A (ja) 2007-05-17
WO2005041578A2 (en) 2005-05-06
EP1676442A2 (en) 2006-07-05
US8487866B2 (en) 2013-07-16
CN102034197A (zh) 2011-04-27
CN1902930A (zh) 2007-01-24
US20090235295A1 (en) 2009-09-17

Similar Documents

Publication Publication Date Title
JP4794453B2 (ja) インタラクティブ・ビデオ・ディスプレイ・システムを管理する方法及びシステム
US12124509B2 (en) Automated media analysis for sponsor valuation
US7020336B2 (en) Identification and evaluation of audience exposure to logos in a broadcast event
US6873710B1 (en) Method and apparatus for tuning content of information presented to an audience
JP4702877B2 (ja) 表示装置
US20080059994A1 (en) Method for Measuring and Selecting Advertisements Based Preferences
US20100313214A1 (en) Display system, system for measuring display effect, display method, method for measuring display effect, and recording medium
JP4603975B2 (ja) コンテンツ注目評価装置及び評価方法
JP2006254274A (ja) 視聴層分析装置、販売戦略支援システム、広告支援システム及びtv装置
CN117035877A (zh) 一种基于姿态识别的广告投放系统及方法
KR20220039871A (ko) 공공 디스플레이를 이용한 잠재 고객 분석 장치
CN115486085A (zh) 用于实时分析视频的系统和方法
KR20220039872A (ko) 스마트 양방향 광고 제공 장치
US20230418538A1 (en) Information processing device, content display system, and content display method
JP2024014867A (ja) コンテンツ処理装置、コンテンツ処理システム及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071024

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100712

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20101007

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20101007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110708

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110726

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140805

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees