Nothing Special   »   [go: up one dir, main page]

JP5621897B2 - 処理方法、コンピュータプログラム及び処理装置 - Google Patents

処理方法、コンピュータプログラム及び処理装置 Download PDF

Info

Publication number
JP5621897B2
JP5621897B2 JP2013222652A JP2013222652A JP5621897B2 JP 5621897 B2 JP5621897 B2 JP 5621897B2 JP 2013222652 A JP2013222652 A JP 2013222652A JP 2013222652 A JP2013222652 A JP 2013222652A JP 5621897 B2 JP5621897 B2 JP 5621897B2
Authority
JP
Japan
Prior art keywords
image
information
recognition
unit
mmr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013222652A
Other languages
English (en)
Other versions
JP2014053029A (ja
Inventor
グラハム ジェイミー
グラハム ジェイミー
ジョナサン　ジェー　ハル
ジェー ハル ジョナサン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JP2014053029A publication Critical patent/JP2014053029A/ja
Application granted granted Critical
Publication of JP5621897B2 publication Critical patent/JP5621897B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0255—Targeted advertisements based on user history
    • G06Q30/0256—User search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24575—Query processing with adaptation to user needs using context
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3325—Reformulation based on results of preceding query
    • G06F16/3326—Reformulation based on results of preceding query using relevance feedback from the user, e.g. relevance feedback on documents, documents sets, document terms or passages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G06F16/437—Administration of user profiles, e.g. generation, initialisation, adaptation, distribution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19113—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1916—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1918—Fusion techniques, i.e. combining data from various sources, e.g. sensor fusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Library & Information Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、印刷媒体と電子媒体とを併用し、ミックストメディア文書を抽出するミックストメディアリアリティ（ＭＭＲ: Mixed Media Reality）システムに関連する。さらに本発明は、ＭＭＲシステムや、紙文書に関するユーザのコンテキスト、履歴及びやりとりのパターン等を使用して、ターゲット情報を移動装置に与える方法に関連する。本願において、ＭＭＲは、例えば、第１媒体としての印刷された用紙及び第２媒体としてのディジタルコンテンツ及び/又はウェブリンクの少なくとも２種類のメディアを含む媒体を指す。
文書の印刷及び複写の技術は長年にわたって様々な状況で使用されてきた。例えば、プリンタやコピー機は、業務用事務環境において、パーソナルコンピュータを備えた家庭環境において、文書の印刷及び発行サービス環境等において使用されている。しかしながら、印刷及び複写の技術は、静的な印刷媒体（すなわち、紙の文書）と双方向性のある「仮想世界（virtual world）」との間のギャップを埋める手段として、かつては考えられておらず、その手段は、ディジタル通信、ネットワーキング、情報提供、宣伝広告、娯楽及び電子商取引へのリンクを含む。
何世紀のもの間、印刷媒体は、新聞や広告情報等のように情報を伝える一次資料であった。パーソナルディジタルアシスタント（PDA）装置及びセルラ電話機（例えば、カメラ付き携帯電話）のようなパーソナル電子機器及びパーソナルコンピュータの出現及び普及は、ここ数年の間に印刷媒体の概念を拡張し、その拡張は、印刷媒体を電子的に読取可能にして検索可能な形式にすること、及び従来の紙媒体では類のない双方向のマルチメディア能力を導入することによってなされている。
不都合なことに、電子的にアクセス可能な電子マルチメディアの世界と印刷媒体の物理的な世界との間には、ギャップ又は隔たりがある。例えば、先進国のほとんどの人は印刷媒体や電子情報に毎日のようにアクセスしているが、印刷媒体のユーザや電子装置のユーザは、両者の間にリンクを形成する（すなわち、混合メディア文書を促す）のに必要なツールや技術を持っていない。
さらに、通常の印刷媒体には、手触りの感じがあること、電力を要しないこと、構成及び保存の永続性等のような特に優れた性質があり、これらの性質は仮想的な又はディジタルメディアにはない。逆に、通常のディジタルメディアには、携帯の容易性（例えば、セルラ電話やラップトップに保存して持ち運べること）及び送付の容易性（例えば、電子メール）等のような優れた性質がある。
特に問題なことの１つは、コンテンツの印刷バージョンを使って発行者がコンテンツの電子バージョンにアクセスできないことである。例えば、新聞の出版の場合、印刷された新聞を毎日受け取るユーザが、その新聞の画像を利用して、そのオンライン電子コンテンツだけでなく補足的なコンテンツにもアクセスできるようにする手段は、一切無い。さらに、発行者は一般に印刷の前に日々の新聞内容を電子形式で所有しているが、その内容を補足的な内容を伴う電子形式に移す簡易な手段は今のところ無い。
従来技術の第２の問題は、移動通信装置（例えば、セルラ電話）の一部分として広く普及している一般的な画像捕捉装置は、低品質の画像を生成することである。この低品質画像を元の印刷文書バージョンと比較しようとすると、（不可能ではないにしても）認識は非常に困難になる。したがって、印刷された新聞の低品質画像を認識する方法が望まれている。
従来技術の第３の問題は、入力された問い合わせ画像から元の文書のページ及び場所を正確に認識する際、画像認識プロセスは演算負担の観点から非常に高価であり、何分もかかるわけではないが何秒間も必要とするおそれがあることである。これは、大きなデータ群、例えば多数のページの文書の場合、特に問題になる。したがって、認識を実行するスピードを改善する手段が望まれている。
従来技術の第４の問題は、低品質画像をデータベースの元の画像と比較すると、一致する候補を多数生成してしまうことである。さらに、低品質画像を問い合わせ画像として使用する場合、何らかの一致を発見するために複数の異なる認識アルゴリズムが必要とされるかもしれない。目下の従来技術には、それら複数の認識結果を、ユーザに提示可能な１つの結果に統合する手段が無い。
従来技術の第５の問題は、多くのセルラ電話及び他のスマートフォンが非常に限られた機能しか備えていないことである。多くのセルラ電話は一般に音声通信に使用され、さらに、データ通信機能（簡易な電子メール）や画像捕捉の機能を備えている。セルラ電話は、音声チャネルを使用し、WiFi又は3Gの場合、データ通信にデータチャネルを使用するが、製造者が用意したもの以外の機能については非常に限られている。セルラ電話産業は驚異的な速度で成長しつつあり、従来よりも多くの人々が彼らのセルラ電話を使ってオンラインコンテンツにアクセスしようとしているが、セルラ電話の限られた画面サイズや他の機能は、コンテンツや広告をさらに提供する際に問題になってしまう。その結果、広告主（スポンサー）は、それらのユーザにたどりつく方法を求めており、その方法は、通常のセルラ電話の利用の邪魔にならず、セルラ電話ユーザの負担を最小限にするものである。セルラ電話でウェブを閲覧する際のウェブページに広告を埋め込む技法がある。しかしながらこれらの広告は従来の広告方法に基づいており、キーワードに関するウェブセッションの簡易なコンテンツ（内容）を用いた関連広告を生成することしかできない。サーチエンジン会社の課題は、セルラ電話画面の小さな形状因子（form factor）にしたがいつつ、目障りでない方法で目的の広告をユーザに提示する方法を見出すことである。
このような理由により、マスメディア印刷発行の技術分野においてミックストメディアリアリティを使用可能にする技法、方法及びシステムが望まれている。
実施の形態による処理方法は、
ターゲット情報を生成するためにコンピュータが処理する処理方法であって、
ユーザ装置から入力画像を受信するステップと、
前記入力画像を用いて画像検索を実行し、認識されたテキストを生成するステップと、
ユーザ装置を利用した先行する画像検索の中から、認識され生成されたテキストの履歴を受信するステップと、
認識されたテキスト及び認識され生成されたテキストの履歴に基づいて、関連情報を生成するステップと、
前記関連情報に基づいて、ターゲット情報を生成するステップと
を有する処理方法である。
ロケーション検索及び画像登録を行う本発明の一実施例による第１形態のミックストメディアリアリティ（ＭＭＲ）システムのブロック図。 本発明に係る、移動装置、ネットワーク及びＭＭＲゲートウェイの第１実施形態を示すブロック図。 本発明に係る、移動装置、ネットワーク及びＭＭＲゲートウェイの第２実施形態を示すブロック図。 本発明に係る、移動装置、プラグイン、ＭＭＲゲートウェイ及びＭＭＲ照合部に関する他の実施形態を示すブロック図。 本発明に係る、移動装置、プラグイン、ＭＭＲゲートウェイ及びＭＭＲ照合部に関する他の実施形態を示すブロック図。 本発明に係る、移動装置、プラグイン、ＭＭＲゲートウェイ及びＭＭＲ照合部に関する他の実施形態を示すブロック図。 本発明に係る、移動装置、プラグイン、ＭＭＲゲートウェイ及びＭＭＲ照合部に関する他の実施形態を示すブロック図。 本発明に係る、移動装置、プラグイン、ＭＭＲゲートウェイ及びＭＭＲ照合部に関する他の実施形態を示すブロック図。 本発明に係る、移動装置、プラグイン、ＭＭＲゲートウェイ及びＭＭＲ照合部に関する他の実施形態を示すブロック図。 本発明によるＭＭＲゲートウェイの一形態を示すブロック図。 本発明の第１形態によるＭＭＲ照合部のブロック図。 本発明の第２形態によるＭＭＲ照合部のブロック図。 本発明の一形態によるディスパッチ部のブロック図。 本発明の第１形態による画像検索部のブロック図。 本発明の第２形態による画像検索部のブロック図。 本発明の一形態による登録部のブロック図。 本発明の一形態によるＭＭＲ発行部のブロック図。 入力画像から文書及びロケーションを検索する本発明の一形態による方法を示すフローチャート。 本発明の一実施例により画像をＭＭＲ照合部に登録する方法を示すフローチャート。 本発明の一実施例により動的に負荷バランスをとる方法を示すフローチャート。 画像特徴に基づく順序づけを行う本発明の一実施例による方法を示すフローチャート。 不鮮明な画像及び対応するインデックスを生成する本発明の一実施例による方法を示すフローチャート。 トレーニング用の不鮮明な画像を生成する本発明の一実施例による方法を示すフローチャート。 不鮮明画像に関する分類子を初期化及び生成する本発明による方法の第一実施形態を示すフローチャート。 不鮮明画像に関する分類子を初期化及び生成する本発明による方法の第二実施形態を示すフローチャート。 最良の画像を認識する分類子を発見する本発明の一形態による方法のフローチャート。 認識されていない画像に対して分類子を修正及び検査する本発明の一形態による方法のフローチャート。 本発明の一形態による品質予測器のブロック図。 本発明の一形態によるベクトル計算器のブロック図。 ロバストネス特性を出力する本発明の一形態による方法のプロセス図。 予測スコア（品質予測スコア）を生成する本発明の一形態による方法のプロセス図。 予測器を用いて複数の結果を結合する本発明の第１形態によるフローチャート。 予測器を用いて複数の結果を結合する本発明の第２形態によるフローチャート。 複数の結果を結合する本発明の一形態によるフローチャート。 ＭＭＲシステムにおいてターゲット情報を動的に提供する本発明によるシステム実施形態のフローを示すブロック図。 ターゲット情報を動的に提示する本発明による一形態のインターフェースを示す移動装置及び文書を示す図。 第１広告を動的に提示する本発明による一形態のインターフェースを示す移動装置及び文書を示す図。 第２広告を動的に提示する本発明による一形態のインターフェースを示す移動装置及び文書を示す図。 第３広告を動的に提示する本発明による一形態のインターフェースを示す移動装置及び文書を示す図。 近接性インジケータ及び広告マーカーを動的に提示する本発明による一形態のインターフェースを示す移動装置及び文書を示す図。 近接性インジケータ及び広告マーカーを動的に提示する本発明による一形態のインターフェースを示す移動装置及び文書を示す図。 本発明によるワードの関連性を判定するのに使用される近接性を示す文書を示す図。 本発明によるワードの関連性を判定するのに使用される近接性を示す文書を示す図。
本発明は、ターゲット情報を動的に提示するＭＭＲシステムにより、従来の欠点を克服する。一実施例では、コンテキスト認識ターゲット情報提供システムは、移動装置、ＭＭＲ照合部、ユーザプロフィールに関する複数のデータベース、ユーザのコンテキスト及び広告情報、複数の比較エンジン及び複数のウェイト調整部を有する。移動装置は、画像パッチをＭＭＲ照合部に与えるように結合され、ＭＭＲ照合部は認識処理を行って認識されたテキストを生成する。認識されたテキストは第１及び第２比較エンジンに与えられ、第１エンジンは認識されたテキスト及びユーザプロフィール情報を受信し、関連トピックス（relevant topics）を生成し、第２比較エンジンは、認識されたテキストと広告主データベースからの情報とを受信し、関連する広告を生成する。第１及び第２比較エンジンはそれぞれウェイト調整部に結合される。各々のウェイト調整部はユーザコンテキストデータベースから情報を受信し、そのデータベースは、場所、日付、時間等のような情報や、ユーザプロフィールからの他の情報に加えて、対応する比較エンジンの出力も含む。ウェイト調整部各々は、関連するトピックス及び関連する広告のウェイトをそれぞれ修正し、ウェイトが修正された関連トピックス及び関連広告を第３比較エンジンに提供する。第３比較エンジンは、重み付けされた関連トピックス及び関連広告を比較し、ユーザにとって関心のあるトピックスに最も関連する最終的な一群の広告を提供する。これらの最終的な広告は、移動装置102におけるディスプレイに与えられる。本発明は様々な方法も包含し、その方法は、コンテキストを意識したターゲット情報を提供する方法、広告及びトピックスを重み付けする方法、そして類似性に基づいてワードの関連性を決定及び調整する方法等を含む。
本願で説明される特徴及び利点は網羅的なものではなく、多くの追加的な特徴及び利点が、本明細書及び図面により当業者に明らかになるであろう。さらに、本明細書で使用されている言葉は原則として読みやすさや説明を意図して選択されており、本発明の対象範囲を限定するものではない。
以下、添付図面と共に非限定的な実施例により本発明が説明される。図中、同様な番号は同様な要素を指す。
問い合わせ画像を受信し、文書のページ及び場所に加えて受信画像、ホットスポット及び他のデータを返し、そのような情報をＭＭＲシステムに追加できるミックストメディアリアリティ（ＭＭＲ）システム１００のアーキテクチャが開示される。説明を目的とする以下の詳細な説明では、本発明の実施例の十分な理解を図るため、様々な具体的な詳細が述べられる。しかしながら、本発明はそのような具体的詳細によらず実施されてもよいことは明白であろう。それ以外には、本発明を不必要に曖昧にするかもしれないことを避けるため、構造や装置はブロック図形式で示される。例えば、通常のマスメディア発行者（特に、新聞発行者）による利用例の観点から、本発明が説明される。しかしながら、本発明は、電子媒体及び印刷媒体を含む複数のメディア形式が使用されている如何なるタイプのコンピュータシステムやデータ処理に適用されてもよい。
本明細書における「一実施例」又は「形態」は、その実施例に関して説明される特定の特質、構造又は特徴が、本発明の少なくとも１つの実施例に含まれることを意味する。本明細書の様々な場所で「一実施例」なる用語が使用されているが、それらが全て同じ実施例を必ずしも指しているわけではない。特に、本発明は２つの異なるアーキテクチャに関して説明され、ある要素は双方のアーキテクチャで使用可能であるが、他の要素はそうではない。
以下の詳細な説明の一部は、コンピュータメモリ内のデータビットを処理するアルゴリズム及び記号表現で与えられる。これらのアルゴリズムの説明及び表現は、データ処理技術分野の当業者が他の当業者に彼らの仕事内容を最も効率的に伝えるのに使用される手段である。ここで、アルゴリズムは一般に所望の結果に導く首尾一貫した一連のステップと考えられる。そのステップは物理量の物理的処理を必要とするものである。必須ではないが、通常それらの物理量は、格納、転送、結合、比較その他の処理を施すことの可能な電気的な又は磁気的な信号の形態をとる。原則的な一般的な用法の観点から、ビット、値、エレメント、シンボル、キャラクタ、期間、数等としてそれらの信号に言及することが折に触れて便利なことが分かる。
しかしながら、これらの及び類似の用語の全ては、適切な物理量に関連しており且つそれらの量に付された便宜的なラベルにすぎないことに留意を要する。特に断りのない限り、以下の説明から明らかなように、本説明を通じて、「処理」、「演算」、「計算」、「決定」又は「表示」等のような用語を用いる説明は、コンピュータシステム又は同様な電子コンピュータ装置の動作や処理に関連し、その動作や処理は、コンピュータシステムのレジスタ及びメモリの中で物理的な（電子的な）量として表現されるデータを、コンピュータシステムメモリやレジスタその他の情報ストレージ、伝送又は表示装置の中で物理量として同様に表現される他のデータに変換及び処理することが、理解されるであろう。
本発明はここで説明される処理を実行する装置にも関連している。その装置は、必要な目的に応じて特別に構築されてもよいし、コンピュータに格納されているコンピュータプログラムによって選択的にアクティブにされる又は再構成される汎用コンピュータで構築されてもよい。そのようなコンピュータプログラムはコンピュータ読取可能な記憶媒体に格納されてもよく、その記憶媒体は、限定ではないが、フロッピディスク、光ディスク、ＣＤ−ＲＯＭ、磁気光ディスク、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気又は光カード等の如何なるタイプのディスクを含んでもよいし、或いは電子的な命令を格納するのに指摘した如何なるタイプの媒体を含んでもよいし、ディスクも媒体もそれぞれコンピュータシステムバスに結合される。
そして、ここで説明されるアルゴリズム及び表示は、特定のコンピュータその他の装置のどれにも固有に関連するものではない。様々な汎用システムがここで教示するものによるプログラムと共に使用されてよく、或いは、必要な方法ステップを実行するように、よりいっそう特化した装置を構築することが便利なことが分かるかもしれない。これら様々なシステムに必要な構造は以下の説明から明らかになるであろう。さらに、本発明は特定のプログラミング言語のどれにも依存しない。ここで説明される本発明の教示内容を実現するのに様々なプログラミング言語が使用されてよいことが分かるであろう。

システム概要
図１は、本発明の一実施例によるＭＭＲシステム例１００を示す。ＭＭＲシステム１００は、複数の移動装置１０２ａ−１０２ｎ、ＭＭＲゲートウェイ１０４、ＭＭＲ照合部１０６、ＭＭＲ発行部１０８及びコンピュータ１１０を有する。本発明は、新聞発行に使用するＭＭＲシステム１００を提供する。新聞発行用のＭＭＲシステムは、画像及びコンテンツをＭＭＲシステム１００に登録する自動手段を新聞発行者に提供できる点で、新聞発行用のＭＭＲシステム１００は特に有利である。新聞発行用のＭＭＲは、印刷された新聞の画像部分又はページを含む問い合わせ画像に応答するよう構築された特有のアーキテクチャを有する点でも、新聞発行用のＭＭＲシステム１００は特に有利である。
移動装置１０２ａ−１０２ｎは、信号線１３２ａ−１３２ｎによりそれぞれＭＭＲゲートウェイ１０４に通信可能に結合され、「検索リクエスト」を送信する。検索リクエストは、１つ以上の「問い合わせ画像（image query）」、他のコンテキスト情報（状況を示す情報）及びメタデータを含む。一実施例では、問い合わせ画像は如何なるフォーマットでよいし、或いは画像の１つ以上の特徴でもよい。問い合わせ画像の具体例は、静止画、ビデオフレーム及び一連のビデオフレーム等を含む。移動装置１０２ａ−１０２ｎは、画像を捕捉するカメラを有する移動電話である。ＭＭＲシステム１００は、毎日の新聞のような従来の刊行物を受信する何百人或いは何千人ものユーザにより使用されることが、理解されるべきである。したがって、２つの移動装置１０２ａ、１０２ｎしか示されていないが、ＭＭＲゲートウェイ１０４は、多数の移動装置１０２ａ−１０２ｎからの検索リクエストを受信及び応答するように同時に結合されてよいことを、当業者は認識するであろう。移動装置１０２ａ−１０２ｎの代替例は、図２Ａ及び２Ｂを参照しながら詳細に説明される。
上述したように、ＭＭＲゲートウェイ１０４は、何百万台ではないにしても何百台もの移動通信装置１０２ａ−１０２ｎと接続し、それらの検索リクエストに応じるサービスを提供できる。ＭＭＲゲートウェイ１０４は、信号線１３０を介してコンピュータ１１０に通信可能に結合し、コンピュータ１１０は、ＭＭＲゲートウェイ１０４の保守及び管理を行い、業務用アプリケーションを実行する。一実施例では、ＭＭＲゲートウェイ１０４はウェブのポータルを作成及び提示し、業務用アプリケーションを走らせることに加えてＭＭＲシステム１００のユーザの履歴にアクセスするコンピュータ１１０によるアクセスに備える。コンピュータ１１０は、パーソナルコンピュータのような通常の任意のコンピュータ装置とすることができる。ＭＭＲゲートウェイ１０４の主な機能は、移動装置１０２ａ−１０２ｎからの検索リクエストを処理すること、及び認識結果を移動装置１０２ａ−１０２ｎに返すことである。一実施例では、その認識結果は１つ以上のブール値（真／偽）を含み、真の場合、ページＩＤ及びページ上の位置の情報を含む。他の実施例の場合、認識結果は、アクション（処理）、認識が成功した（又は失敗した）ことの応答メッセージ、及び判定に起因する処理等を含む群の中の１つ以上を含み、その処理は、例えば、電子メールメッセージ、文書、ポータル文書ファイルで規定されたアクション（処理）、ＵＲＬのようなアドレス、ビデオのような二値データ、移動装置１０２において提示可能な情報、追加的なアクションのメニュー、ラスタ画像、画像特徴等を送ることである。ＭＭＲゲートウェイ１０４は、ユーザの認証、財務処理、分析及び他の通信を行うことで、受信した検索リクエストを処理する。ＭＭＲゲートウェイ１０４は、検索リクエストから問い合わせ画像及び認識パラメータを生成し、それらを信号線１３４を介してＭＭＲ照合部に渡す。ＭＭＲゲートウェイ１０４の例及び動作は、図３を参照しながら詳細に説明される。
ＭＭＲ照合部１０６は、ＭＭＲゲートウェイ１０４から信号線１３４を介して問い合わせ画像を受信し、（認識）結果を得るためにそれを１つ以上の認識部に送信し、その結果は、問い合わせ画像に対応する文書、ページ及びページ中の場所を含み、このようなプロセスは本願において一般的に「検索プロセス（retrieval process）」と言及される。結果は、信号線１３４を介して、ＭＭＲ照合部１０６からＭＭＲゲートウェイ１０４へ返される。その結果に加えて、ＭＭＲ照合部１０６は、ホットスポットデータのような関連する他の情報を返してもよい。ＭＭＲ照合部１０６は、新たなコンテンツを受信し、検索プロセスで使用されるインデックステーブルを更新及び再編成する要素を含む。新たなコンテンツをＭＭＲ照合部１０６に加えるプロセスは、本願では一般的に「登録プロセス（registration process）」と言及される。一実施例では、ＭＭＲ照合部１０６は信号線１３８、１４０を介してＭＭＲ発行部１０８の出力に結合され、ＭＭＲ照合部１０６のインデックステーブルを更新するのに使用される新たなコンテンツを得る。代替実施例では、ＭＭＲ発行部１０８は信号線１３８を介してＭＭＲゲートウェイ１０４に結合され、ＭＭＲゲートウェイ１０４は信号線１３６によりＭＭＲ照合部１０６に結合される。この代替実施例の場合、ＭＭＲゲートウェイ１０４は、ホットスポット情報のような補足的データを抽出し、それを保存し、画像、参照ページ及び他の情報をＭＭＲ照合部１０６に渡し、インデックステーブルの更新に備える。ＭＭＲ照合部１０６及びその構成要素に関する様々な形態は、図４Ａないし７を参照しながら以下でさらに説明される。
ＭＭＲ発行部１０８は、新聞その他の形式の定期刊行物を作成するのに使用される従来の出版用システム（パブリッシャーシステム）を含む。一実施例では、ＭＭＲ発行部１０８は、印刷文書の画像をＭＭＲシステム１００に登録するのに必要な追加的な情報を生成する要素を含む。ＭＭＲ発行部１０８がＭＭＲ照合部１０６に与える情報は、画像ファイル、境界枠（バウンディングボックス）データ、ホットスポットデータ、及びページ固有の識別番号等を含む。或るシステム例の場合、これは、カリフォルニア州サンノゼのアドビコーポレーションによるポータブルドキュメントフォーマットの文書及び境界枠情報である。ＭＭＲ発行部１０８の例は、図８を参照しながら以下でさらに説明される。

移動装置１０２
図２Ａ及び２Ｂを参照しながら、移動装置１０２の第１及び第２形態を説明する。
図２Ａは、移動装置１０２及びＭＭＲゲートウェイ１０４間の第１の接続形態を示す。この例では、移動装置１０２は、カメラを含む任意の移動電話である（又は、通信能力を有する他の携帯用コンピュータ装置である。）。例えば、移動装置１０２は、リサーチインモーション社がブラックベリー（Blackberry）（登録商標）として製造販売するようなスマートフォンでもよい。移動装置１０２は、通信チャネル２３０によりネットワーク２０２と無線通信するのに適している。ネットワーク２０２は、無線キャリアにより維持されるセルラネットワークのような通常のタイプのものであり、サーバを含む。この例の場合、移動装置１０２は、画像を取得し、その画像を通信チャネル２３０を介して（例えば、マルチメディアメッセージングサービス（ＭＭＳ）を使って）ネットワークに送る。ネットワーク２０２も通信チャネル２３０を使って例えばＭＭＳにより又はショートメッセージサービス（ＳＭＳ）により結果を返す。図示されているように、ネットワーク２０２は信号線２３２を介してＭＭＲゲートウェイ１０４に結合されている。信号線２３２は、ＭＭＳやＳＭＳメッセージを送信するためのチャネルを表すことに加えて、ハイパーテキストトランスファプロトコル（ＨＴＴＰ）リクエストを受信してＨＴＴＰレスポンスを送信するチャネルを表わす。当業者は、これが、移動装置１０２及びＭＭＲゲートウェイ１０４間を結合する一例に過ぎないことを認識するであろう。代替実施例では、移動装置１０２及びＭＭＲゲートウェイ１０４間を結合する通信の一部分として、ブルートゥース（登録商標）、ＷｉＦｉ又は適切な他の任意の無線通信プロトコルが使用されてもよい。移動装置１０２がＭＭＲゲートウェイ１０４に画像を送信することができ、かつＭＭＲゲートウェイ１０４が文書識別子、ページ数及びロケーション情報を送信することで応答できる限り、移動装置１０２及びＭＭＲゲートウェイ１０４は、当業者に既知の他の如何なる方法で結合されてもよい（例えば、直接的なデータ接続、ＳＭＳ、ＷＡＰ、電子メール等が使用されてもよい。）。
図２Ｂを参照するに、第２形態の移動装置１０２が示されている。第２形態では、移動装置１０２は、カリフォルニア州クパチーノのアップルコンピュータ社がアイフォン（ｉＰｈｏｎｅ）（登録商標）として製造販売するようなスマートフォンである。第２形態は第１形態と同様な多くの要素を有するので、同一の又は類似する機能を備えた同様な要素を参照する際、同様な参照番号が使用される。第１形態及び第２形態間の主な相違は、移動装置１０２にインストールされている品質予測プラグイン２０４が含まれていること、及びウェブサーバ２０６が信号線２３４によりネットワーク２０２に結合されていること等である。品質予測プラグイン２０４は、移動装置１０２が取得した画像を分析する。品質予測プラグイン２０４は、その分析に基づいて生成される追加的な情報を用意し、ＭＭＲゲートウェイ１０４に送信される検索要求の一部としてその情報を含め、検索の精度を高める。代替実施例では、品質予測プラグイン２０４の出力は、移動装置１０２からＭＭＲゲートウェイ１０４へ送信される画像を選択するのに使用される。例えば、所定の閾値を超える予測品質を有する画像だけが（例えば、認識可能な画像だけが）、移動装置１０２からＭＭＲゲートウェイ１０４に送信される。画像の伝送はかなりの帯域幅を要し、移動装置１０２及びネットワーク２０２間の通信チャネル２３０は限られた帯域幅しかないので、品質予測プラグイン２０４を使って送信画像を選択することは、特に有利である。図２Ｂに示される第２形態は、ＭＭＲゲートウェイ１０４から返された結果又は品質予測プラグイン２０４により用意された他の情報を、移動装置１０２のユーザが、ウェブサーバ２０６で利用可能な捕捉情報又はホットスポットにアクセスする際、どのように使用できるかをも示している。そのような場合、ＭＭＲゲートウェイ１０４からの結果又は品質予測プラグイン２０４による出力は、ウェブサーバ２０６にアクセスするのに使用可能な情報を含んでおり、そのアクセスは、例えば、通常のＨＴＴＰリクエストと共に移動装置１０２のアクセス機能を用いてなされる。
移動装置１０２について第１形態又は第２形態の何れが使用されるかによらず、移動装置１０２は、問い合わせ画像、ユーザ又は装置のＩＤ、コマンド及び他のコンタクト情報を含む検索リクエストを生成し、他のコンタクト情報は、例えば、装置タイプ、ソフトウエア、プラグイン、居場所（例えば、移動装置がＧＰＳ機能を有する場合）、装置及びステータスの情報（例えば、装置モデル、マクロレンズのオン／オフ状態、自動焦点のオン／オフ、バイブレーションのオン／オフ、チルト角等の情報）、コンテキスト関連情報（電話機が位置する場所の天候、時間、日付、電話機で現在動作しているアプリケーション等の情報）、ユーザ関連情報（例えば、ｉｄ番号、好み、ユーザの予約［user subscriptions］、ユーザグループ及び社会的組織、アクション及びアクションに関するメタデータ［例えば、電子メールを送信するアクション、送信する電子メールを待機するアクション等］）等である。
図２Ｃないし２Ｈを参照するに、移動装置１０２のプラグイン（クライアント２５０）、ＭＭＲゲートウェイ１０４及びＭＭＲ照合部１０６に関する様々な形態が示されており、ＭＭＲゲートウェイ１０４及びＭＭＲ照合部１０６は、本発明において可能性のある様々な構成を有するサーバ２５２を含むものとして概略的に表現されている。特に、図２Ｃないし２Ｈは、プラグイン又はクライアント２５０の構成要素が様々な機能レベルをどのように備えることができるか、及びサーバ２５２がクライアントの機能に合わせて様々な機能レベルをどのように備えることができるかを示す。図２Ｃないし２Ｈの様々な例において、クライアント２５０又はサーバ２５２は以下の要素を含む：ＭＭＲデータベース２５４、画像又はビデオを捕捉する捕捉モジュール２６０、より良い認識を行うため特徴抽出の前に品質予測のような画像処理を行う予備処理モジュール２６２、画像特徴を抽出する特徴抽出モジュール２６４、その特徴を利用して、ＭＭＲデータベース２５４中の情報を検索する検索モジュール２６６、サーバ２５２からクライアント２５０へメッセージを送信するメッセージ送信モジュール２６８、処理を実行するアクションモジュール２７０、特徴抽出に先立って画像を処理する予備処理及び予測モジュール２７２、ユーザに情報を提示し、入力を受信するフィードバックモジュール２７４、クライアント２５０からサーバ２５２へ情報を送る送信モジュール２７６、及びクライアント２５０からサーバ２５２へビデオをストリーミング送信するストリーミングモジュール２７８が含まれる。
図２Ｃは、クライアント２５０及びサーバ２５２の一例を示し、クライアント２５０は、画像又はビデオ及び／又はメタデータを、処理を行うサーバ２５２に送信する。この例の場合、クライアント２５０は捕捉モジュール２６０を含む。サーバ２５２は、ＭＭＲデータベース２５４、予備処理モジュール２６２、特徴抽出モジュール２６４、検索モジュール２６６、メッセージ送信モジュール２６８及びアクションモジュール２７０を含む。一実施例では、クライアント２５０は、移動装置１０２が本来備えているアプリケーションを使用して画像を捕捉し、問い合わせ画像を含むメッセージを例えばマルチメディアメッセージングサービス（ＭＭＳ）フォーマット等で生成及び送信する。そのような例は、移動装置１０２に追加的なソフトウエアを一切ロードする必要がない点で特に有利である。さらに、メッセージは追加的な情報を含み、例えば、１）電子メールアドレス、ユーザ識別子ids、及び好み（プレファレンス）、２）GPS情報、装置の設定（すなわち、マクロのオン／オフ）等、３）問い合わせ画像の位置や文書名等のような問い合わせ画像に関するメタデータ、及び４）認識結果について行われた処理に関する情報（例えば、「電子メールの送信」或いは「マイスペース（MySpace）に追加」）等である。メッセージは上記に示された情報全てを必ずしも含む必要はなく、実行される処理に応じてサーバ２５２とやり取りするのに必要な情報を含んでいればよいことを、当業者は認識するであろう。クライアント２５０は、画像、ビデオ及び/又はメタデータを含むメッセージをサーバ２５２に送信する。サーバ２５２は、受信したメッセージを分析し、クライアント２５０が送信した追加情報及び画像を取得する。一実施例では、その追加情報及び画像は、処理モジュール２６２、特徴抽出モジュール２６４及び検索モジュール２６８により使用され、画像を認識し、関連する電子文書をＭＭＲデータベース２５４の中で特定する。これらの処理は図４ないし７を参照しながらさらに後述される。認識結果及び（もしあれば）追加的な情報は、その後、処理を行うサーバ２５２により使用される。一実施例では、サーバ２５２が行う処理は、応答確認メッセージをクライアント２５０に送ることを含み、そのメッセージは、１）特定された文書、ページ及び場所、２）特定された文書のサムネイル、３）特定された文書そのもの、４）特定された文書のビデオ概要、５）実行される処理に関するメッセージ、例えば、「xxx@yy.comに電子メールを送信する」、６）画像が抽出されなかった場合、画像を取得することに関するさらなる指示（例えば、ａ）画像が不鮮明すぎます。マクロモードを選択し、静止したままカメラを構え、やり直して下さい。ｂ）文書がカメラから離れすぎています。やり直して下さい。又はｃ）画像が暗すぎます／影が多すぎます。やり直して下さい。）等を含む。
図２Ｄは、クライアント２５０及びサーバ２５２の別の例を示し、クライアント２５０は、画像又はビデオを取得し、品質予測を行い、その画像又はビデオ及び／又はメタデータを、処理を行うサーバ２５２に送信する。この例の場合、クライアント２５０は、捕捉モジュール２６０、予備処理及び予測モジュール２７２、フィードバックモジュール２７４及び送信モジュール２７６を含む。サーバ２５２は、ＭＭＲデータベース２５４、予備処理モジュール２６２、特徴抽出モジュール２６４、検索モジュール２６６、メッセージ送信モジュール２６８及びアクションモジュール２７０を含む。この例の場合、サーバ２５２に送信される画像は、捕捉されたままの画像と異なってもよいことに留意すべきである。例えば、送信される画像は、ディジタル的に強調されたり、整形されてもよいし、或いは単なるバイナリデータでもよい。
図２Ｅは、クライアント２５０及びサーバ２５２の別の例を示し、クライアント２５０は、画像又はビデオを取得し、特徴抽出を行い、その画像特徴を、処理を行うサーバ２５２に送信する。この例の場合、クライアント２５０は、捕捉モジュール２６０、特徴抽出モジュール２６４、予備処理及び予測モジュール２７２、フィードバックモジュール２７４及び送信モジュール２７６を含む。サーバ２５２は、ＭＭＲデータベース２５４、検索モジュール２６６、メッセージ送信モジュール２６８及びアクションモジュール２７０を含む。この例の場合、特徴抽出は予備処理を含んでいることに留意を要する。特徴が抽出された後、それらの特徴について予備処理及び予測モジュール２７２が処理を行い、特徴の品質が満足できないものであった場合、別の画像を取得するようにユーザは求められる。
図２Ｆは、クライアント２５０及びサーバ２５２の別の例を示し、検索プロセス全体がクライアント２５０で行われる。この例の場合、クライアント２５０は、捕捉モジュール２６０、特徴抽出モジュール２６４、予備処理及び予測モジュール２７２、フィードバックモジュール２７４、送信モジュール２７６、ＭＭＲデータベース２５４及び検索モジュール２６６を含む。サーバ２５２は、アクションモジュール２７０を備えることだけを要する。この例の変形例として、ある認識アルゴリズムの検索全体が移動装置１０２のクライアント２５０で行われ、その問い合わせが失敗した場合、図２Ｃに関して上述したように、捕捉画像がサーバ２５２に送られ、サーバ２５２がさらに複雑な検索アルゴリズムで捕捉画像を処理する。
図２Ｇは、クライアント２５０及びサーバ２５２の別の例を示し、クライアント２５０は、ビデオをサーバ２５２に流す。この例の場合、クライアント２５０は、捕捉モジュール２６０、ストリーミングモジュール２７８を含む。サーバ２５２は、ＭＭＲデータベース２５４、予備処理モジュール２６２、特徴抽出モジュール２６４、検索モジュール２６６、メッセージ送信モジュール２６８及びアクションモジュール２７０を含む。図示されてはいないが、クライアント２５０は、捕捉したビデオストリームについて予測器を走らせ、カメラが指す場所をユーザにフィードバックしてもよいし、或いは検索により良いビデオを如何にして取得するかをユーザにフィードバックしてもよい。この例の変形例では、サーバ２５２は、捕捉されたビデオに関する情報をストリームで戻し、クライアント２５０はその情報をビデオのプレビュー画面に重ねて表示する。
図２Ｈは、クライアント２５０及びサーバ２５２の別の例を示し、クライアント２５０は認識部を動作させ、サーバ２５２は、第１の認識結果に基づいて、ＭＭＲデータベース情報をクライアント２５０のローカルデータベースに流す。この例は、図２Ｆを参照しながら説明したものに似ている。例えば、ある認識アルゴリズムについて、全体的な検索プロセスがクライアント２５０で行われる。認識アルゴリズムが良い結果をもたらさなかった場合、問い合わせ画像は、さらに複雑な検索プロセスを行うサーバ２５２の処理に委ねられる。この例の場合、クライアント２５０は、捕捉モジュール２６０、特徴抽出モジュール２６４、予備処理及び予測モジュール２７２、フィードバックモジュール２７４、送信モジュール２７６、ＭＭＲデータベース２５４（ローカルバージョン）及び検索モジュール２６６を含む。サーバ２５２は、別の検索モジュール２６６、アクションモジュール２７０及びＭＭＲデータベース２５４（完全な及びより複雑なバージョン）を含む。一実施例では、問い合わせ画像がローカルなＭＭＲデータベース２５４では認識できなかった場合、クライアント２５０は、検索用の画像をサーバ２５２に送り、ローカルなＭＭＲデータベース２５４の更新を開始する。或いは、クライアント２５０は或る認識部について更新されたバージョンのデータベースを有するが、問い合わせ画像がそのローカルＭＭＲデータベース２５４の中で発見できなかった場合、別の検索アルゴリズム用のデータベースが、ローカルＭＭＲデータベース２５４にストリーミングされてもよい。

ＭＭＲゲートウェイ１０４
図３を参照するに、ＭＭＲゲートウェイ１０４の一形態が示されている。この例のＭＭＲゲートウェイ１０４は、サーバ３０２、ウェブサーバ３０４、データ格納部３０６、ポータルモジュール３０８、履歴（ログ）３１０、１つ以上のアプリケーション３１２、認証モジュール３１４、経理モジュール３１６、メールモジュール３１８及び分析モジュール３２０を有する。
上述したように、ＭＭＲゲートウェイ１０４の主な機能の１つは、多数の移動装置１０２と通信し、検索要求を受信し、応答を送信することであり、その応答は、ステータスインジケータ（真＝認識された場合／偽＝認識されなかった場合）、ページ識別番号、ページ中の場所、及びホットスポットデータのような他の情報を含む。１つのＭＭＲゲートウェイ１０４が、何百或いは何百万もの検索リクエストに応答できる。図示及び説明の便宜上、図１及び図３には１つのＭＭＲゲートウェイ１０４しか示されていないが、当業者は、別の実施例の場合に任意の数のＭＭＲゲートウェイ１０４が、多数の移動装置１０２のニーズに応じてサービスするよう使用されてよいことを認識するであろう。特に、ＭＭＲゲートウェイ１０４のサーバ３０２は、様々な移動装置１０２と通信するために信号線１３２ａ−１３２ｎに結合されている。サーバ３０２は、信号線１３２ａ−１３２ｎを介して移動装置１０２からの検索リクエストを受信し、同じ信号線１３２ａ−１３２ｎを用いて移動装置１０２に応答を送信する。一実施例では、検索リクエストは、コマンド、ユーザの識別番号、画像及び他のコンテキスト情報を含む。例えば、他のコンテキスト情報は、移動装置１０２の型、モデル又は製造者のような装置情報、移動装置の一部であるＧＰＳシステムにより又は三角測量により得られた位置情報、日時、温度、天候状態、光、影等のような環境情報、オブジェクト情報、距離、場所、チルト及びジッタのような配置情報等である。
サーバ３０２は、コンピュータ１１０と通信するために信号線１３０にも結合されている。再び、図示及び説明の便宜上、図１及び図３には１つのコンピュータ１１０及び１つの信号線１３０しか示されていないが、当業者は、任意の数のコンピュータ装置がサーバ３０２との通信に使用されてよい。サーバ３０２は、ポータルモジュール３０８、ログモジュール３１０及びアプリケーション３１２と、コンピュータ１１０との間の通信を促す。サーバ３０２は、ポータルモジュール３０８、ログモジュール３１０及びアプリケーション３１２と信号線３３０により結合されている。以下において詳細に説明するように、これらのモジュールはサーバ３０２と協同してウェブポータルを提供し、ユーザが情報をやり取りできるようにする。ウェブポータル３０８は、システムの監視、保守及び管理に使用可能である。
サーバ３０２は、検索リクエストを処理し、問い合わせ画像及び認識パラメータを生成し、問い合わせ画像及び認識パラメータは、認識を行うＭＭＲ照合部１０６へ信号線１３４を介して伝送される。また、サーバ３０２は、信号線１３４を介してＭＭＲ照合部１０６からの認識結果（応答）を受信する。サーバ３０２は、検索リクエストを処理し、その情報を、ＭＭＲゲートウェイ１０４の他の要素へ信号線３３０を介して送信し、これについては後述される。サーバ３０２は、信号線１３８によりＭＭＲ発行部１０８と、及び信号線１３６によりＭＭＲ照合部１０６と通信することに適合している。信号線１３８は、ホットスポットのウェブコンテンツをウェブサーバ３０４に送信する経路及び他の情報をサーバ３０２に提供する経路をＭＭＲ発行部１０８に提供する。一実施例では、サーバ３０２は、ＭＭＲ発行部１０８から情報を受信し、その情報を信号線１３６を介してＭＭＲ照合部１０６に登録するために送信する。
ウェブサーバ３０４は、通常のタイプのものであり、クライアントからの要求（リクエスト）を受け付けること及びデータコンテンツと共に応答（レスポンス）を送信することの責務を有し、データコンテンツは、例えば、ウェブページ、文書及びリンクされたオブジェクト（画像等）である。ウェブサーバ３０４は、通常のデータベースのようなデータ格納部３０６に結合される。ウェブサーバ３０４は、信号線２３４を介して通信を行い、インターネットのようなネットワークを介して何らかの通信装置からのＨＴＴＰリクエストを受信する。ウェブサーバ３０４は信号線１３８にも結合され、上述したように、ホットスポットに関するウェブページを受信し、データ格納部３０６に格納し、ＨＴＴＰリクエストに応じて検索及び送信を後に行うことに備える。ウェブサーバ３０４及びデータ格納部３０６をＭＭＲゲートウェイ１０４の一部分に含めることは、単なる一例に過ぎず、ウェブサーバ３０４がインターネットを介して移動装置１０２及びコンピュータ１１０にとってアクセス可能である限り、ウェブサーバ３０４及びデータ格納部３０６は如何なる代替的な場所又は形態で使用されてもよいことを、当業者は理解するであろう。
一実施例では、ポータルモジュール３０８は、サーバ３０２において動作するソフトウエア又はルーチンであり、ウェブポータルの作成及び提示を行うためのものである。ポータルモジュール３０８は、サーバ３０２と通信するために信号線３３０と結合される。一実施例では、ウェブポータルは、ＭＭＲゲートウェイ１０４の他の要素の管理及び保守を含む機能に関するアクセスポイントを提供する。他の実施例では、ウェブポータルは、ＭＭＲ文書に関する経験による情報をユーザ達が共有できるエリア（場所）を提供する。さらに別の実施例では、ウェブポータルは、業務用アプリケーションや利用履歴３１０をユーザ達が共有できるエリアを提供する。
履歴（ログ）３１０はメモリ又はストレージ領域であり、そのメモリ又はストレージ領域は、サーバ３０２が移動装置３０２から受信した検索リクエスト、及びサーバ３０２が移動装置に送った対応するレスポンス総てのリストを保存する。別の実施例では、履歴３１０は、生成後にＭＭＲ照合部１０６に送信された問い合わせ画像、及びＭＭＲ照合部１０６から受信した認識応答結果のリストも保存する。履歴３１０は、サーバ３０２によるアクセスに備えて信号線３３０に結合される。
１つ以上の業務アプリケーション３１２は、ＭＭＲ文書を処理することに関する機能を提供するソフトウエア及びルーチンである。一実施例では、１つ以上の業務アプリケーション３１２は、サーバ３０２上で実行可能である。業務アプリケーション３１２は、検索要求の処理及び認識応答の配布に関する情報を使用することに適した様々なタイプの業務アプリケーションの内の何れでも良く、例えば、経理、グループウェア（groupware）、顧客関係の管理、人材、アウトソーシング、融資取組（loan origination）、顧客対応、サービス関係等に関するアプリケーションであるがこれらに限定されない。
認証モジュール３１４は、権限のあるユーザのリストを管理し及びＭＭＲシステム１００に対するアクセスを許可するためのソフトウエア及びルーチンである。一実施例では、認証モジュール３１４は、ある人に対応するユーザＩＤ及びパスワードのリストを維持し、その人は、システム１００にアカウントを作成しており、それ故に、ＭＭＲゲートウェイ１０４及びＭＭＲ照合部１０６を使用して検索リクエストを処理することが、その人に認められている。認証モジュール３１４は、信号線３３０によりサーバ３０２に通信可能に結合されている。しかしながら、サーバ３０２が検索リクエストを受信した際、関連する問い合わせ画像を生成して信号線１３４により送信する前に、検索リクエストを処理して認証モジュール３１４中の情報と比較することができる。一実施例では、移動装置１０２が認証されなかった場合、移動装置がアカウントを設定していなかった場合、移動装置１０２のアカウントが不正使用又は未払い等の理由に起因して凍結されていた等の場合に、移動装置１０２に返すサーバ３０２のメッセージを、認証モジュール３１４が生成する。
経理モジュール３１６は、ユーザのアカウント及びＭＭＲシステム１００の利用に関する財務処理を行うソフトウエア及びルーチンである。一実施例では、検索サービスが多種多様なビジネスモデル（経済モデル）の下で提供され、例えば、予約のモデル、検索リクエスト毎に課金するモデル又は他の様々な課金モデルの下でＭＭＲシステム１００を利用することを含むが、これらに限定されない。一実施例では、ＭＭＲシステム１００は、多種多様な課金モデルを提供し、セルラ電話やデータネットワークについて現在提供されているものと同様である。経理モジュール３１６は、信号線３３０によりサーバ３０２に結合され、サーバ３０２が受信した何らかの検索リクエストの指示を受ける。一実施例では、経理モジュール３１６は、サーバ３０２により処理された取引記録（検索リクエスト／認識レスポンスの記録）を移動装置１０２各々について維持する。図示されてはいないが、経理モジュール３１６は、電子的な又は紙の請求書を発行する通常の課金システムに結合されていてもよい。
メールモジュール３１８は、電子メール及び他の種類の通信を行うためのソフトウエア及びルーチンである。メールモジュール３１８は信号線３３０によりサーバ３０２に結合される。一実施例では、移動装置１０２は、あるコマンドを含む検索リクエストを発することができ、そのコマンドは、電子メール、ファクシミリ又は他の通常の電子通信手段を介して、文書、文書の一部分又は他の情報を配ることを指示する。メールモジュール３１８は、そのような情報を生成し、ＭＭＲゲートウェイ１０４から、ユーザが指定するアドレスへ送信する。一実施例では、各ユーザプロフィールは関連するアドレスを有し、それらのアドレスは、検索された情報を受け取る可能性のある受け手である。
分析モジュール３２０は、ＭＭＲシステム１００のユーザの動作を分析するソフトウエア及びルーチンである。分析モジュール３２０は、ＭＭＲ照合部１０６によって行われた特徴抽出及び認識の有効性や精度を測るソフトウエア及びルーチンでもある。分析モジュール３２０は、以下のようなＭＭＲシステム１００の利用性を評価し、例えば、どの画像が検索リクエストの一部として最も頻繁に含まれているか、どのホットスポットデータが最も頻繁にアクセスされたか、画像が検索された順序、検索プロセスにおける最初の画像、ＭＭＲ動作を改善するのに使用される他の重要な実効性指標（パフォーマンスインジケータ）、及び／又はマーケティングキャンペーンの視聴者の反応等を評価する。一実施例では、分析モジュール３２０は、ＭＭＲシステム１００のメトリックを測定し、ホットスポット及び／又はホットスポットデータの有効性を測るのに使用されるメトリックを分析する。分析モジュール３２０は、サーバ３０２、認証モジュール３１４及び経理モジュール３１６に信号線３３０を介して結合される。分析モジュール３２０は、サーバ３０２を介して信号線１３４にもつながっており、ＭＭＲ照合部１０６の要素にアクセスし、認識パラメータ、画像特徴、品質認識スコア、及びＭＭＲ照合部１０６により生成又は使用される任意の他の情報を検索することができる。分析モジュール３２０は、ユーザのパラメータや好み、移動装置１０２、ページＩＤ、ロケーション等に基づいて、様々なデータの検索や区分け（セグメンテーション）を実行することもできる。
一実施例では、ＭＭＲゲートウェイ１０４はホットスポットデータベース４０４も含む。図３ではホットスポットデータベース４０４が破線で示されているが、これは、ホットスポットデータベースをＭＭＲゲートウェイ１０４に含めることが代替例であることを反映している。ホットスポットデータベース４０４は、信号線１３４を介して認識応答を受信するように、信号線４３６により結合される。ホットスポットデータベース４０４は、これらの認識応答を使ってデータベースに問い合わせを行い、その認識応答に対応するホットスポットコンテンツを信号線４３２を介して出力する。ホットスポットコンテンツはサーバ３０２に送られ、ホットスポットコンテンツが、認識応答に包含されるようにし、かつ要求を行っている移動装置１０２に送信されるようにする。

ＭＭＲ照合部１０６
図４Ａ及び４Ｂを参照しながら、ＭＭＲ照合部１０６に関する２つの例を説明する。ＭＭＲ照合部１０６の基本的な機能は、問い合わせ画像を受信すること、認識（検索）用の問い合わせ画像を送信すること、問い合わせ画像中の画像を認識すること、ホットスポット情報を検索すること、認識結果をホットスポット情報に結び付けること、及びそれをＭＭＲゲートウェイ１０４に返すことである。
図４Ａは第１形態のＭＭＲ照合部１０６を示す。第１形態のＭＭＲ照合部１０６は、ディスパッチ部４０２、ホットスポットデータベース４０４、取得部４０６、画像登録部４０８及び負荷バランサ４１８を有する。取得部４０６は、複数の認識部４１０ａ−４１０ｎ及び複数のインデックステーブル４１２ａ−４１２ｎをさらに有する。画像登録部４０８は、インデックス部４１４及びマスターインデックステーブル４１６をさらに有する。
ディスパッチ部４０２は信号線１３４に結合され、ＭＭＲゲートウェイ１０４から問い合わせ画像を受信し、ＭＭＲゲートウェイ１０４に認識結果を送信する。ディスパッチ部４０２は、認識部４１０ａ−４１０ｎ各々に対する問い合わせ画像の割当及び送付を行う責務を有する。一実施例では、ディスパッチ部４０２は、問い合わせ画像を受信し、認識部の識別番号を生成し、その認識部の識別番号及び問い合わせ画像を取得部４０６に送信し、さらなる処理に備える。ディスパッチ部４０２は信号線４３０に結合され、認識部の識別番号及び問い合わせ画像を認識部４１０ａ−４１０ｎに送る。ディスパッチ部４０２は、信号線４３０を介して認識部４０６から認識結果も受信する。ディスパッチ部４０２の一例は、図５を参照しながらさらに説明される。
図３を参照しながらホットスポットデータベース４０４の代替例が説明され、そこではホットスポットデータベースがＭＭＲゲートウェイ１０４の一部分であった。しかしながら、好適実施例のホットスポットデータベース４０４は、図４Ａに示されるようにＭＭＲ照合部１０６の一部分である。実施形態によらず、ホットスポットデータベース４０４は同様な機能を有する。ホットスポットデータベース４０４はホットスポット情報を格納するのに使用される。問い合わせ画像が認識され、認識結果が生成されると、これらの認識結果は、ホットスポットデータベース４０４の問い合わせ（クエリ）の一部分として使用され、その問い合わせは、認識結果に関連するホットスポット情報を検索するためのものである。検索されたホットスポット情報は信号線１３４によりＭＭＲゲートウェイ１０４に出力され、パッケージ化及び移動装置１０２への配布に備える。図４Ａに示されるように、ホットスポットデータベース４０４は、信号線４３６によりディスパッチ部４０２に結合され、認識結果を含む問い合わせを受信する。ホットスポットデータベース４０４は、問い合わせ結果を配布するために、信号線４３２及び信号線１３４を介してＭＭＲゲートウェイ１０４にも結合される。ホットスポットデータベース４０４は、信号線１３６にも結合され、保存する新たなホットスポット情報をＭＭＲ発行部１０８から受信する。
取得部４０６は、複数の認識部４１０ａ−４１０ｎ及び複数のインデックステーブル４１２ａ−４１２ｎを有する。認識部４１０ａ−４１０ｎの各々は、対応するインデックステーブル４１２ａ−４１２ｎを有し、それに結合されている。一実施例では、認識部４１０／インデックステーブル４１２のペア（対又は組）が、同じサーバ上にある。ディスパッチ部４０２は、問い合わせ画像を１つ以上の認識部４１０ａ−４１０ｎに送信する。冗長性を有する実施例の場合、問い合わせ画像は、認識及び検索用にディスパッチ部４０２から複数の認識部４１０へ送信され、インデックステーブル４１２ａ−４１２ｎは同じデータを索引付ける。順次的な実施例の場合、問い合わせ画像はディスパッチ部４０２から第１の認識部４１０ａに送信される。第１の認識部４１０ａにおいて認識が成功しなかった場合、その問い合わせ画像は第２の認識部４１０ｂに送信され、以下同様に処理される。さらに別の実施例の場合、ディスパッチ部４０２は、問い合わせ画像について何らかの予備的な分析を行い、その問い合わせ画像を認識するのに最適な最も成功しやすい認識部４１０ａ−４１０ｎを選択する。複数の認識部４１０ａ−４１０ｎ及び複数のインデックステーブル４１２ａ−４１２ｎについて様々な構成例が存在することを、当業者は理解するであろう。取得部４０６の具体例は、図６Ａ及び６Ｂを参照しながらさらに後述される。マスターインデックステーブル４１６からの破線によって示されているように、インデックステーブル４１２ａ−４１２ｎは、様々な時点で更新されてもよい。
画像登録部４０８は、インデックス部４１４及びマスターインデックステーブル４１６を有する。画像登録部４０８は、ＭＭＲ発行部１０８からの更新情報を受信するために信号線１３６に結合された入力と、負荷バランサ４１８からの更新情報を受信するために信号線４３８に結合された入力とを有する。画像登録部４０８は、マスターインデックステーブル４１６を維持すること、及びマスターインデックステーブル４１６の全部又は一部を取得部４０６のインデックステーブル４１２ａ−４１２ｎに移すことを行う責務を有する。一実施例では、インデックス部４１４は、画像、固有のページＩＤ及び他の情報を受信し、それらを、マスターインデックステーブルで保存するインデックステーブル情報に変換する。インデックス部４１４は、ＭＭＲ発行部１０８と協同し、ＭＭＲ発行部１０８により生成された画像ページにわたって一貫した固有のページ識別番号体系、マスターインデックステーブル４１６に保存されている画像ページ、及びホットスポットデータベース４０４の参照データに使用されるページ番号を管理する。
画像登録部４０８の一例は、図７を参照しながらさらに詳細に図示及び説明される。
負荷バランサ４１８は信号線４３０に結合され、ディスパッチ部４０２からの問い合わせ画像と、認識部４０６からの対応する認識結果とを受信する。負荷バランサ４１８の出力は、信号線４３８により、画像登録部４０８の入力に結合される。負荷バランサ４１８は、画像登録部４０８に対する入力を提供し、その入力は、取得部４０６のインデックステーブル４１２ａ−４１２ｎを動的に調整するために使用される。特に、負荷バランサ４１８は、問い合わせ画像を監視及び評価し、その問い合わせ画像は、ディスパッチ部４０２から取得部４０６へ所与の期間の間に送信されたものである。利用度に基づいて、負荷バランサ４１８は、インデックステーブル４１２ａ−４１２ｎを調整するための入力を提供する。例えば、負荷バランサ４１８は一日の問い合わせ画像を測定する。その日の測定された利用度に基づいて、インデックステーブルは、負荷バランサ４１８により測定された利用度に合うように、取得部４０６内で修正及び構築される。負荷バランサ４１８は、図１１を参照しながら後述される方法を使用する。
図４Ｂは第２形態のＭＭＲ照合部１０６を示す。第２形態では、ＭＭＲ照合部１０６の多くの要素が、第１形態の対応する要素と同一又は類似する機能を有する。したがって、同一の又は同様の機能を備えた要素を指すために、同様な参照番号が使用されている。第２形態のＭＭＲ照合部１０６は、ディスパッチ部４０２、ホットスポットデータベース４０４及び負荷バランサ４１８を、第１形態のＭＭＲ照合部１０６と同様に含む。しかしながら、取得部４０６及び画像登録部４０８は、図４Ａを参照しながら説明したものと異なる。特に、取得部４０６及び画像登録部４０８は、インデックステーブル及びマスターインデックステーブルについて共有ＳＱＬデータベースを利用する。より具体的には、マスターインデックステーブル４１６と、ローカルインデックステーブル４１２ａ−ｎを含むミラーデータベース（mirrored database）とがある。さらに、ＳＱＬデータベース複製の通常の機能を使用して、認識に使用するインデックステーブル４１２ａ−ｎに保存されているマスターインデックステーブル４１６のミラー画像を生成する。新たな画像がマスターインデックステーブル４１６に追加された場合、それらが総ての認識部４１０で速やかに利用可能になるように、画像認識部４０８は構築される。これは、大規模なＲＡＭ（図示せず）及びデータベースのミラーリング技術を利用して、総てのローカルインデックステーブル４１２ａ−ｎにわたってマスターインデックステーブル４１６をミラーリングすることによってなされる。

ディスパッチ部４０２
図５を参照するに一形態によるディスパッチ部４０２が示されている。ディスパッチ部４０２は、品質予測器５０２、画像特徴オーダ部５０４及び分配部５０６を有する。品質予測器５０２、画像特徴オーダ部５０４及び分配部５０６は、信号線５３２に結合され、ＭＭＲゲートウェイ１０４から問い合わせ画像を受信する。分配部５０６は、品質予測器５０２及び画像特徴オーダ部５０４の出力を受けるようにも結合されている。分配部５０６はＦＩＦＯキュー５０８及びコントローラ５１０を含む。分配部５０６は信号線５３４上で出力を生成し、その出力は、問い合わせ画像及び認識部の識別番号（ＲＵＩＤ）を含む。ＲＵＩＤ以外の様々な手段を用いて、問い合わせ画像がどの特定の認識部に仕向けられてもよいことを、当業者は理解するであろう。問い合わせ画像が信号線５３２により受信されると、分配部５０６はその問い合わせ画像を受信し、それらが受信された順序でそれらをＦＩＦＯキュー５０８に入れる。コントローラ５１０は、各問い合わせ画像についての認識スコア（recognizability score）を品質予測器５０２から受信し、さらにオーダ信号を画像特徴オーダ部５０４から受信する。品質予測器５０２及び画像特徴オーダ部５０４からのこれらの情報を使用することで、コントローラ５１０は、ＦＩＦＯキュー５０８から問い合わせ画像を選択し、それらを特定の認識部４１０に割り当て、その問い合わせ画像を割り当てられた認識部４１０に送信して処理に備える。コントローラ５１０は、確認識部４１０に割り当てられた問い合わせ画像と、各画像について完了に予測される時間（画像特徴オーダ部５０４により予測されるような時間）とのリストを保持する。各認識部４１０についてキューを空にするのに予測される総時間は、認識部に割り当てられた画像について予測された時間の総和である。コントローラ５１０は、いくつものキュー管理法を実行できる。最も簡易な割当法の場合、問い合わせ画像は、それらが到来した順序でＦＩＦＯキュー５０８から削除され、最初の利用可能な認識部４１０に割り当てられる。バランス応答法（balanced response strategy）の場合、各問い合わせについて予測される総応答時間が均一な水準に維持され、問い合わせ画像をそれらが到来した順序でＦＩＦＯキュー５０８から削除し且つ認識部のＦＩＦＯキュー５０８に割り当てる際、予測される総応答時間が他の認識部とできるだけ近くなるようにする。イージーファースト法（easy-fast strategy）の場合、画像は、それらの予測される完了時間によって決まる順序でＦＩＦＯキュー５０８から削除され、予測される最短の完了時間しか要しない画像が、最初の利用可能な認識部に割り当てられる。このように、ユーザが認識に容易な画像を提示した場合、ユーザは速やかな応答時間の恩恵を受ける。このことは、ユーザが提示する画像をユーザが注意深く選択することを促す。他のキュー管理法も可能である。ディスパッチ部４０２は、信号線５３０を介して認識部４１０から認識結果を受信する。認識結果は、ブール値（真／偽）、真の場合はページＩＤ及びページ中の場所の情報を含む。一実施例の場合、ディスパッチ部４０２はデータを単に受信し、データをＭＭＲゲートウェイ１０４に再送信する。
品質予測器５０２は、問い合わせ画像を受信し、ディスパッチ部４０２により使用される認識スコアを生成し、その問い合わせ画像を複数の認識部４１０の内の何れかにルーティングする。一実施例では、品質予測器５０２は、コンテキスト情報及び装置パラメータを入力として受信する。品質予測器５０２の動作は、図１８ないし２１を参照しながら後にさらに説明される。一実施例の場合、認識スコアは、有効な認識結果をもたらす最も確からしい認識アルゴリズムのタイプを指定する情報を含む。
画像特徴オーダ部５０４は、問い合わせ画像を受信し、オーダ信号を出力する。画像特徴オーダ部５０４は、入力された問い合わせ画像を分析し、そして、それが含む画像特徴を分析することで画像を認識するのに要する時間を予測する。実際の認識時間と予測された時間との間の相違は、将来的な予測の仕方を調整するのに使用され、それにより精度を改善する。最も簡易な例の場合、僅かな特徴しか伴っていない簡易な画像は、軽い負荷の認識部４１０に割り当てられ、それらの画像が速やかに認識されかつユーザが回答を速やかに得られるようにする。一実施例では、画像特徴オーダ部５０４が時間を予測するのに使用する特徴は、実際に認識する認識部４１０により使用される特徴と異なる。例えば、画像の中で検出されるコーナー（corner）の数が、画像分析に要する時間を予測するのに使用される。予測に使用される特徴群は、実際の認識時間と関連付けられる必要があるだけである。一実施例では、いくつかの異なる特徴群が使用され、いくつかの期間に関して測定された認識時間に関連付けられる。そして、最良の予測及び最低のコスト（最高の効率）の特徴群が判別され、他の特徴群は破棄される。画像特徴オーダ部５０４の動作は、図１２を参照しながら後にさらに説明され、さらに理解できるであろう。

取得部４０６
図６Ａ及び６Ｂを参照しながら、取得部４０６の一例を説明する。
図６Ａは取得部４０６の一例を示し、認識部４１０及びインデックステーブル４１２のペアは、それらが索引付けするコンテンツ又は画像に基づいて区分けされている。この構成は、定期的にコンテンツを提供するマスメディア出版に特に有利である。インデックステーブル４１２内のコンテンツの組織は或る方法で区分けすることができ、その方法は、最もアクセスされやすいコンテンツが、認識部４１０及びインデックステーブル４１２のペアの多数で利用可能であるようにする。以下で説明される区分けは単なる一例に過ぎないこと、及び時間とともに測定された実際の利用統計に基づく他の様々な区分けが使用可能であることを、当業者は認識するであろう。図６Ａに示されるように、取得部４０６は、複数の認識部４１０ａ−ｈ及び複数のインデックステーブル４１２ａ−ｈを有する。複数の認識部４１０ａ−ｈは信号線４３０に結合され、ディスパッチ部４０２からの問い合わせ画像を受信する。複数の認識部４１０ａ−ｈの各々は、対応するインデックステーブル４１２ａ−ｈに結合される。認識部４１０は、問い合わせ画像から特徴を抽出し、その画像特徴をインデックステーブルに格納済みの特徴と対比し、一致するページ及びそのページ中の位置を特定する。認識及び検索システム並びに方法の具体例については、例えば以下の出願で説明されており、これらの出願の内容全体が本願のリファレンスに組み入れられる。
西暦2006年7月31日付け出願の“System And Methods For Creation And Use Of A Mixed Media Environment”と題する米国特許出願第11/461,017号;
西暦2006年7月31日付け出願の“Method And System For Image Matching In A Mixed Media Environment”と題する米国特許出願第11/461,279号;
西暦2006年7月31日付け出願の“Method And System For Document Fingerprinting Matching In A Mixed Media Environment”と題する米国特許出願第11/461,286号;
西暦2006年7月31日付け出願の“Method And System For Position-Based Image Matching In A Mixed Media Environment”と題する米国特許出願第11/461,294号;
西暦2006年7月31日付け出願の“Method And System For Multi-Tier Image Matching In A Mixed Media Environment”と題する米国特許出願第11/461,300号;
西暦2006年7月31日付け出願の“Data Organization and Access for Mixed Media Document System”と題する米国特許出願第11/461,147号;
西暦2006年7月31日付け出願の“Database for Mixed Media System”と題する米国特許出願第11/461,164号;
西暦2006年7月31日付け出願の“Searching Media Content For Objects Specified Using Identifiers”と題する米国特許出願第11/461,109号;
西暦2008年3月31日付け出願の“Invisible Junction Feature Recognition For Document Security Or Annotation”と題する米国特許出願第12/059,583号;
西暦2008年5月15日付け出願の“Web-Based Content Detection In Images, Extraction And Recognition”と題する米国特許出願第12/121,275号;
西暦2007年7月11日付け出願の“Invisible Junction Features For Patch Recognition”と題する米国特許出願第11/776,510号;
西暦2007年7月11日付け出願の“Information Retrieval Using Invisible Junctions and Geometric Constraints”と題する米国特許出願第11/776,520号;
西暦2007年7月11日付け出願の“Recognition And Tracking Using Invisible Junctions”と題する米国特許出願第11/776,530号;
西暦2007年7月12日付け出願の“Retrieving Documents By Converting Them to Synthetic Text”と題する米国特許出願第11/777,142号;及び
西暦2007年1月18日付け出願の“Synthetic Image and Video Generation From Ground Truth Data”と題する米国特許出願第11/624,466号。
図６Ａに示されているように、認識部４１０／インデックステーブル４１２のペアは、インデックステーブル４１２中の内容に応じてグループ化されている。特に、認識部４１０ａ−ｄ及びインデックステーブル４１２ａ−ｄの第１グループ６１２は、今日の新聞のような刊行物のページを索引付けるのに使用される。例えば、８つの認識部４１０の内の４つが、今日の新聞の内容（コンテンツ）を索引付けるのに使用される。なぜなら、検索要求のほとんどは、直近の２４時間以内に発行された新聞に関連する傾向があるからである。認識部４１０ｅ−ｇ及びインデックステーブル４１２ｅ−ｇの第２グループ６１４は、例えばここ１週間のような最近の過去の日付の新聞ページを格納するのに使用される。認識部４１０ｈ及びインデックステーブル４１２ｈの第３グループ６１６は、例えば昨年のようなさらに古い日付の新聞ページを格納するのに使用される。これは、取得部４０６の組織構造が、受信した検索リクエストの性質に合うように最適化されることを可能にする。さらに、所与の問い合わせ画像が認識用の第１グループ６１２に先ず送信され、第１グループ６１２がその問い合わせ画像を認識できなかった場合、それが認識用の第２グループ６１４に送信され、以下同様に続くように、取得部４０６の動作が修正されてもよい。
認識部４１０及びインデックステーブル４１２の４つを第１グループ６１２として使用することは、単なる一例に過ぎず、第２グループ６１４及び第３グループ６１６の認識部４１０及びインデックステーブル４１２の数に対する相対的な例を示すに過ぎないことに、留意すべきである。特定のどのグループ６１２、６１４及び６１６における認識部４１０及びインデックステーブルの数も、認識部４１０及びインデックステーブル４１２の総数に基づいて比率を変えてよい。さらに、所与の刊行物に関して取得部４０６に検索リクエストを送っている全ユーザの特徴に合うように、特定のどのグループ６１２、６１４及び６１６における認識部４１０及びインデックステーブルの数も適合させてよい。
図６Ｂは、第２形態による取得部４０６を示し、認識部４１０及びインデックステーブル４１２は、それらが使用する認識アルゴリズムのタイプに応じて区分けされている。第２形態の場合、特定の認識部が認識リクエストを生成することに失敗すると、入力された問い合わせ画像が、処理用の別の認識部に送付されることを引き起こすように、認識部４１０は結合されている。さらに第２実施例では、インデックステーブル４１２は、様々な装置及び画像捕捉装置の環境要因（例えば、ぼやけ、不鮮明さ）に応じて異なる特徴群を含む。
第２形態の取得部４０６は、複数の認識部４１０ａ−４１０ｅ、複数のインデックステーブル４１２ａ−４１２ｅ、及び結果合成部６１０を含む。この例の場合、認識部４１０ａ−４１０ｅの各々は異なるタイプの認識アルゴリズムを使用する。例えば、認識部４１０ａ、４１０ｂ及び４１０ｃはインビジブルジャンクション（Invisible junction）アルゴリズムを、認識部４１０ｄはブリックウォールコーディング（Brick Wall Coding）アルゴリズムを、認識部４１０ｅはパスコーディング（Pass Coding）アルゴリズムを使用して、ページ番号及び場所の認識及び検索を行う。認識部４１０ａ、４１０ｂ及び４１０ｃの各々は、信号線６３０を介して問い合わせ画像を受信するように結合された入力を有する。複数の認識部４１０ａ−４１０ｅ各々からの認識結果は、信号線６３６、６３８、６４０、６４２及び６４４を介して結果合成部６１０に送られる。合成部６１０の出力結果は信号線４３０に与えられる。
一実施例では、認識部４１０ａ、４１０ｂ及び４１０ｃはインデックステーブル１、２及び３（４１２ａ−４１２ｃ）と協働し、そのインデックステーブル各々は、同じページの画像特徴であるが、装置及び環境要因に起因する不鮮明さの程度が異なる画像特徴を保存している。例えば、インデックステーブル１（４１２ａ）は、ＰＤＦ文書から得られるような元の画像ページの画像特徴を保存する一方、インデックステーブル２（４１２ｂ）は、第１水準の不鮮明さを伴う同じページの画像を保存し、インデックステーブル３（４１２ｃ）は、第２水準の不鮮明さを伴う同じページの画像を保存する。一実施例の場合、インデックステーブル１、２及び３（４１２ａ−４１２ｃ）は量子化ツリーになっている。第１認識部４１０ａは信号線６３０を介して問い合わせ画像を受信する。第１認識部４１０ａは、インビジブルジャンクション特徴抽出部６０２及び検索部６０４ａを有する。インビジブルジャンクション特徴抽出部６０２は、問い合わせ画像を受信し、インビジブルジャンクション特徴（不可視のつなぎ目に関する特徴）を取り出し、それらを検索部６０４ａに与える。検索部６０４ａは、取り出されたインビジブルジャンクション特徴を使用して、それらをインデックステーブル１（４１２ａ）と対比する。検索部６０４ａが一致を確認すると、検索部６０４ａは、その認識結果を信号線６３６を介して結果合成部６１０に送る。しかしながら、検索部６０４ａが一致を確認できなかった場合、或いは確実性に乏しい一致しか確認できなかった場合、検索部６０４ａは、取り出されたインビジブルジャンクション特徴を、信号線６３２を介して第２認識部４１０ｂの検索部６０４ｂに送信する。インビジブルジャンクション特徴は既に抽出されているので、第２認識部４１０ｂはインビジブルジャンクション特徴抽出部６０２を要しないことに留意を要する。第２認識部４１０ｂは第２認識部４１０ａと同様な検索機能を実行するが、その際、僅かにぼけた画像に対するインビジブルジャンクション特徴を有するインデックステーブル２（４１２ｂ）を使用する。検索部６０４ｂが一致を確認すると、検索部６０４ｂは、その認識結果を信号線６３６を介して結果合成部６１０に送る。第２認識部４１０ｂの検索部６０４ｂが一致を確認できなかった場合、或いは確実性に乏しい一致しか確認できなかった場合、検索部６０４ｂは、取り出されたインビジブルジャンクション特徴を、信号線６３４を介して第３認識部４１０ｃの検索部６０４ｃに送信する。そして、検索部６０４ｃは同様な検索機能を実行するが、その際インデックステーブル３（４１２ｃ）を使用する。１つの元の画像特徴及び２段階の不鮮明さの組み合わせが使用されているが、これは単なる一例に過ぎず、０からｎに及ぶ追加的なレベル（段階）が幾つでも使用されてよいことを、当業者は理解するであろう。
認識部４１０ｄ及び４１０ｅは、他の認識部４１０ａ−ｃと並列的に動作する。認識部４１０ｄは、ブリックウォールコーディング特徴抽出部６０６及び検索部６０４ｄを有する。ブリックウォールコーディング特徴抽出部６０６は、問い合わせ画像及び境界枠（ｂｏｕｎｄｉｎｇ ｂｏｘ）を受信し、その境界枠を分析し、ブリックウォールコーディング特徴を生成する。これらのブリックウォールコーディング特徴は検索部６０４ｄに与えられ、検索部６０４ｄはそれらをインデックステーブル４（４１２ｄ）に保存されている特徴と比較する。一実施例では、インデックステーブル４（４１２ｄ）はハッシュテーブルである。検索部６０４ｄは、何らかの一致するページを特定し、その認識結果を信号線６４２を介して結果合成部６１０に返す。第５認識部４１０ｅは同様に動作するが、その際パスコーディングを使用する。第５認識部４１０ｅは、パスコーディング特徴抽出部６０８及び検索部６０４ｅを有する。パスコーディング特徴抽出部６０８は、問い合わせ画像及び境界枠を受信し、その画像を分析し、検索部６０４ｅに与えるパスコーディング特徴を生成し、検索部６０４ｅはそれらをインデックステーブル５（４１２ｅ）に保存されている特徴と比較する。一実施例では、インデックステーブル５（４１２ｅ）は、キャラクタ文字列のＳＱＬデータベースである。検索部６０４ｅは、何らかの一致する文字列を特定し、その認識結果を信号線６４４を介して結果合成部６１０に返す。
結果合成部６１０は、複数の認識部４１０ａ−４１０ｅからの認識結果を受信し、合致する結果に関する１つ又は少数のリストを生成する。一実施例の場合、認識結果の各々は、関連する信頼性因子（confidence factor）を含む。別の実施例では、日付、時間、場所、個人的プロフィール又は検索履歴のようなコンテキスト情報が、結果合成部６１０に与えられる。これらの信頼性因子は他の情報と共に結果合成部６１０により使用され、入力された問い合わせ画像に最も確からしく一致する認識結果を選択する。結果合成部６１０は、後述の図２２ないし２４の方法による機能を実行する。

画像登録部４０８
図７は、一形態による画像登録部４０８を示す。画像登録部４０８は、不鮮明度生成部７０２、複数のインビジブルジャンクション特徴抽出部７０４ａ−ｃ、複数のインビジブルジャンクションインデックステーブル更新部７０６ａ−ｃ、ブリックウォールコーディング特徴抽出部７０８、ブリックウォールコーディングインデックステーブル更新部７１０、パスコーディング特徴抽出部７１２、パスコーディングインデックステーブル更新部７１４及び複数のマスターインデックステーブル４１６ａ−ｅを有する。画像登録部４０８は他の制御論理装置（図示せず）も含み、その制御論理装置（制御ロジック）は、マスターインデックステーブル４１６により、ワーキングインデックステーブル４１２の更新を制御する。画像登録部４０８は、様々な基準に基づいて様々な方法で取得部４０６のインデックステーブル４１２を更新することができ、例えば、定期的に更新を実行してもよいし、新たな内容が追加された場合に更新を実行してもよいし、利用度に応じて更新を実行してもよいし、記憶効率の観点から更新を行ってもよい。
不鮮明度生成部７０２は、信号線７３０を介して画像及びページ識別番号を受信するように結合された入力を有する。不鮮明度生成部７０２は複数の出力を有し、各出力は、信号線７３２、７３４及び７３６によりインビジブルジャンクション特徴抽出部７０４ａ−ｃにそれぞれ結合される。不鮮明度生成部７０２は、元の画像及びページ識別番号を出力の信号線７３２に通す。不鮮明度生成部７０２は、第１水準の不鮮明さを伴う画像を生成し、それとページ識別番号とをインビジブルジャンクション特徴抽出部７０４ｂに至る信号線７３４に出力し、不鮮明度生成部７０２は、第２水準の不鮮明さを伴う別の画像を生成し、それとページ識別番号とをインビジブルジャンクション特徴抽出部７０４ｃに至る信号線７３６に出力する。不鮮明度生成部７０２は、図１３及び１４に関連して後述される機能を実行する。
インビジブルジャンクション特徴抽出部７０４は、画像及びページＩＤを受信し、その画像からインビジブルジャンクション特徴を抽出し、ページＩＤと共にそれらを、各自のインビジブルジャンクションインデックステーブル更新部７０６に送る。複数のインビジブルジャンクション特徴抽出部７０４ａ−ｃの出力は、複数のインビジブルジャンクションインデックステーブル更新部７０６ａ−ｃの入力に結合される。例えば、インビジブルジャンクション特徴抽出部７０４ａの出力は、インビジブルジャンクションインデックステーブル更新部７０６ａの入力に結合される。残りのインビジブルジャンクション特徴抽出部７０４ｂ−ｃも同様に各自のインビジブルジャンクションインデックステーブル更新部７０６ｂ−ｃに結合される。インビジブルジャンクションインデックステーブル更新部７０６は、抽出された特徴のフォーマットを整えること、及びそれらを対応するマスターインデックステーブル４１６に保存することの責務を有する。マスターインデックステーブル４１６は５つの別々のマスターインデックステーブル４１６ａ−ｅとして図示されているが、総てのマスターインデックステーブルが１つのマスターインデックステーブルに統合されてもよいこと、或いは少数のマスターインデックステーブルに統合されてもよいことを、当業者は認めるであろう。インビジブルジャンクションインデックステーブル更新部７０６が、抽出された特徴をインデックステーブル４１６に保存すると、それらの更新部は確認信号を発行し、確認信号は信号線７４０及び１３６を介してＭＭＲ発行部１０８に送り返される。
ブリックウォールコーディング特徴抽出部７０８及びパスコーディング特徴抽出部７１２は、同様に機能し、画像、ページ識別番号及び境界枠情報を受信するように信号線７３８に結合される。ブリックウォールコーディング特徴抽出部７０８は、関連するインデックステーブル４１６ｄを更新するのに必要な情報を入力から抽出する。ブリックウォールコーディングインデックステーブル更新部７１０は、ブリックウォールコーディング特徴抽出部７０８から抽出された情報を受信し、それをインデックステーブル４１６ｄに保存する。パスコーディング特徴抽出部７１２及びパスコーディングインデックステーブル更新部７１４は、同様に動作するが、パスコーディングを使用する。パスコーディング特徴抽出部７１２も、画像、ページ番号及び境界枠情報を信号線７３８を介して受信する。パスコーディング特徴抽出部７１２は、パスコーディング情報を抽出し、それをパスコーディングインデックステーブル更新部７１４にわたす。パスコーディングインデックステーブル更新部７１４は、その情報をインデックステーブル５（４１６ｅ）に保存する。登録部４０８のこのアーキテクチャは、ある環境を提供する点で特に有利であり、その環境では、ＭＭＲ発行部１０８は、画像及びページ番号を画像登録部４０８に単に与えることでインデックステーブルを自動的に更新でき、インデックステーブルは自動的に更新される。

ＭＭＲ発行部１０８
図８には、一形態によるＭＭＲ発行部１０８が示されている。ＭＭＲ発行部１０８は、従来の出版用ソフトウエア８０２、登録及び注釈用のプリプレスソフトウエアプラグイン８０４、及びホットスポット生成部８０６を有する。ＭＭＲ発行部１０８は、画像登録部４０８及びホットスポットデータベース４０４に（例えば、サーバ３０２を介して）つながるように結合されている。
従来の出版用ソフトウエア８０２は、文字（テキスト）、図形及び画像を含むディジタルコンテンツを生成するソフトウエアである。新聞の生成及び拡布に使用される従来の出版用ソフトウエアの具体例は、カリフォルニア州サンノゼのアドビインコーポレーションにより製造販売されているアドビアクロバット（Adobe Acrobat）や、コロラド州デンバーのクオークインコーポレーションにより製造販売されているクオークイクスプレス（QuarkXPress）等がある。従来の出版用ソフトウエア８０２は、大手出版社が所有する他のタイプの専用ソフトウエアでもよい。
登録及び注釈用のプリプレスソフトウエアプラグイン８０４は、従来の出版用ソフトウエア８０２との間でインターフェース機能を発揮し、かつ画像登録部４０８で使用される追加的な情報を生成するソフトウエア及びルーチンであり、その追加的な情報によりコンテンツは取得部４０６に自動的にアップロードできるようになる。例えば、登録及び注釈用のプリプレスソフトウエアプラグインは、画像登録部４０８と通信するインターフェース機能を発揮し、特定のページ識別番号体系を維持し、そのページ識別番号体系は、従来の出版用ソフトウエア８０２により生成された画像ページ、マスターインデックステーブル４１６に保存されている画像ページ、及びホットスポットデータベース４０４の参照データで使用されているページ番号の間で矛盾無く整合している。登録用のプリプレスプラグイン８０４は、従来の出版用ソフトウエア８０２によって生成された画像ページの境界枠も生成し、その境界枠は、ある種のエンコーディング用に画像登録部４０８により以後使用される。登録及び注釈用のプリプレスソフトウエアプラグイン８０４は、従来の出版用ソフトウエア８０２から与えられた画像を分析し、ファイルのタイプが特徴抽出部７０４、７０８及び７１２で利用可能であることを保証する。
ホットスポット生成部８０６は、ホットスポットを生成するオーサリングツール（authoring tool）である。ホットスポットは、文書画像中のポリゴンの（ｘ，ｙ）座標を特定し、各ポリゴンに関連するＵＲＬのような電子データをリンクする。一実施例の場合、ホットスポットはアクロバットＰＤＦファイルの注釈であり、文書画像中のポリゴンの（ｘ，ｙ）座標を含み、ＵＲＬのような電子データをリンクする。ホットスポットを生成すること（「ホットスポット（hotspot）」は画像における多角形である）、ホットスポットを文書中の特定のページやページ中の特定の場所に関連付けること、ゼロ個以上のリンクを各ホットスポットに関連付けること、そしてホットスポットファイルを生成してサーバ３０２に送信し、ホットスポットデータベース４０４に保存すること等のために、ホットスポット生成部８０６は使用可能である。ホットスポットファイルは、各々のホットスポット、ポリゴンの座標、及びそれに関連する何らかのリンクをリスト化する。ホットスポットファイルは、別個のファイルとして保存されてもよいし、或いは等価な同じデータが文書ソースファイルに組み込まれてもよい。ホットスポット生成部８０６は、ワード（Word）、ＰＤＦ又はティフ（tiff）等の画像フォーマットのようなソース文書を読み取り、ユーザインターフェース機能を発揮するスタンドアローンアプリケーションであり、ユーザが、文書上で多角形（ポリゴン）を描くこと、ホットスポット各々をリンクさせること及びホットスポットファイルを保存することを可能にする。ホットスポット生成部８０６は、ワード（Word）、アクロバット（Acrobat）、クオークイクスプレス（Quark Express）等のような既存の文書オーサリングアプリケーション用のプラグインとしてパッケージ化することが可能であり、かつユーザが文書上でポリゴンを規定し、リンクを加え、そしてホットスポットファイル（或いは、組み込まれたホットスポットデータを伴う等価的なソースファイル）を保存できるように設計可能である。ホットスポット生成部８０６は、あるソフトウエアアプリケーションとしてパッケージ化することができ、そのアプリケーションは既存の文書からリンクを抽出してそれらをホットスポットファイルに保存する。例えば、ポリゴン座標を含み且つ電子データにリンクするＰＤＦファイルの注釈が、ＰＤＦファイルから除去され、ホトスポットファイルに別途保存することができる。

方 法
図９は、検索リクエストを生成及び送信し、ＭＭＲシステム１００と共に検索リクエストを処理する一般的な方法のフローチャートを示す。本方法は、移動装置１０２が画像を捕捉することから始まる（９０２）。画像、ユーザ識別子及び他のコンテキスト情報を含む検索リクエストが移動装置１０２により生成され、ＭＭＲゲートウェイ１０４に送信される（９０４）。ＭＭＲゲートウェイ１０４は、検索リクエストからユーザ識別子を抽出し、それが正当なユーザに関連することを確認することで、その検索リクエストを処理する（９０６）。ＭＭＲゲートウェイ１０４は他の処理も実行し、その処理は、履歴（ログ）３１０に検索リクエストを記録すること、検索リクエストに関して必要な精算処理を実行すること、及びＭＭＲ分析メトリックを分析すること等である。次に、ＭＭＲゲートウェイ１０４は、問い合わせ画像を生成し、それをディスパッチ部４０２に送信する（９０４）。ディスパッチ部４０２は、負荷バランスをとる処理を実行し、問い合わせ画像を取得部４０６に送信する。一実施例では、ディスパッチ部４０２は、問い合わせ画像を処理すべき取得部４０６の特定の認識部４１０を指定する。取得部４０６は画像認識処理を実行し、認識結果を生成する（９１２）。認識結果は、ディスパッチ部４０２へ返され、ひいてはＭＭＲゲートウェイ１０４に返される。認識結果は、その認識家かで特定されているページ及び場所に対応するホットスポットを検索するのに使用される（９１６）。そして、ホットスポットデータ及び認識結果は、ＭＭＲゲートウェイ１０４から移動装置１０２へ送信される（９１８）。
図１０を参照しながら、画像を登録する方法を説明する。本方法は、従来の出版用ソフトウエア８０２を用いて画像を生成することで開始される（１００２）。登録及び注釈用のプリプレスソフトウエアプラグイン８０４を用いて、画像は、境界枠、ホットスポットデータ及びページ識別番号と共に補足（補強）される（１００４）。補足された画像は、ＭＭＲゲートウェイ１０４に送信される（１００６）。ＭＭＲゲートウェイ１０４は、ホットスポットデータを抽出し、それをホットスポットデータベースに加える。ＭＭＲゲートウェイ１０４は、画像、ページ番号及び境界枠を画像認識部４０８に送信する（１００８）。図１０で破線によって示されている代替例では、補足された画像は、ＭＭＲゲートウェイ１０４を通らずに画像登録部４０８に送られてもよい。そして、インデックス部４１４は、その画像について特徴抽出処理を実行する。実施形態に依存して、特徴抽出処理は、１つの認識アルゴリズムや複数の異なる認識アルゴリズムを使用してもよいし、異なるデータセットに同じ認識アルゴリズムを使用してもよい。ステップ１０１０により抽出された特徴は、マスターインデックステーブル４１６ａ−ｅを更新するのに使用される。そして、マスターインデックステーブル４１６ａ−ｅに適用された変更は、取得部４０６のワーキングインデックステーブル４１２ａ−ｎに反映される。画像登録部４０８に画像が与えられることだけを必要とし、画像登録部４０８は、マスターインデックステーブル４１６を自動的に更新し、その変更内容を、取得部４０６のワーキングインデックステーブル４１２に自動的に移せる点で、本方法は特に有利である。
図１１を参照しながら、動的に負荷バランスをとる方法を説明する。本方法は、概して、図４Ａの負荷バランサ４１８により実行される処理に関連する。ディスパッチ部４０２及び取得部４０６間の信号線４３０上で伝送される問い合わせ画像及び認識結果を監視することから本方法は始まる（１１０２）。負荷バランサ４１８は、ある所定の期間（例えば、１日）の間、問い合わせ画像及び対応する認識結果を監視する。特に、良好に発見された画像の実際の流通及びそれらが発見されたインデックステーブルが監視される。ダイナミック負荷バランサ４１８は負荷バランス制御信号を生成し（１１０４）、その信号は、取得部４０６のワーキングインデックステーブル４１２ａ−ｎのコンフィギュレーションを指定する。例えば、前の日について負荷バランサ４１８により測定された利用度に基づいて、期待される利用度が予測され、取得部４０６のワーキングインデックステーブル４１２ａ−ｎに適切なコンテンツの負荷がかかるようにする。例えば、ｎ個のインデックステーブルに本日の新聞のコンテンツが積み込まれ、昨日の新聞のコンテンツがｍ個のインデックステーブルに積み込まれていたとする。この場合、合計ｎ＋ｍ個のサーバがある。過去の履歴に基づいて、本発明は、本日の新聞についてｎ／（ｎ＋ｍ）回の問い合わせを予測する。画像登録部４０８のインデックス部４１４は、本日の新聞について新たな画像を受信する。ステップ１１０４で生成された負荷バランス信号に基づいて、ワーキングインデックステーブル４１２ａ−ｎの内の幾つか（例えば、ｎ個）に新たな画像が積み込まれ、ワーキングインデックステーブル４１２ａ−ｎ中の既存の情報は、新たな画像を保存するのに使用されていない残りのワーキングインデックステーブル４１２ａ−ｎ（例えば、ｍ＝（全ワーキングインデックステーブル）−ｎ個）に保存できるように再構築される。
一実施例では、取得部４０６の処理は、ワーキングインデックステーブル４１２ａ−ｎのコンフィギュレーションに合うように修正される又は最適化される。特に、取得部４０６は、問い合わせ画像を受信すると、先ず、本日の新聞の画像と共に構築されたインデックステーブル４１２及び認識部４１０を認識しようとする（１１０８）。次に、本方法は認識が成功したか否かを判定する（１１１０）。成功した場合、本方法は結果を返し（１１１８）、本方法は終了する。成功しなかった場合、本方法は、過去の新聞の画像と共に構築されたインデックステーブル４１２及び認識部４１０と共に問い合わせ画像を認識しようとする（１１１２）。再び、本方法は認識の成否を判定する（１１１４）。成功した場合、本方法は結果を返し（１１１８）、本方法は終了する。成功しなかった場合、本方法は、認識が成功しなかったことを示す信号を返し（１１１６）、本方法は終了する。新聞のデータを周期的に分割する観点から、負荷バランス法が説明されたが、任意の他の利用度の基準に基づいてデータを分割することに負荷バランス法が適用されてもよいこと、及び画像データは新聞以外の任意のタイプの画像でもよいことを、当業者は理解するであろう。
図１２を参照しながら、画像特徴に基づく順序づけを行う方法の一形態を説明する。本方法の機能は、概して、ディスパッチ部４０２の画像特徴オーダ部５０４により発揮される。本方法は、問い合わせ画像を受信することから始まる（１２０２）。次に、ディスパッチ部４０２の画像特徴オーダ部５０４は、問い合わせ画像中の画像特徴を分析する（１２０４）。認識ステップ（１２０４）で使用される画像特徴は、認識部４１０で使用される画像特徴と必ずしも同じでなくてよいことに留意を要する。認識する画像特徴と関連していさえすればよい。さらに別の例の場合、いくつもの異なる特徴群が使用され、時間をかけて相関性が測定される。最終的には、最良の予測をもたらし、かつ最低の演算コストしかかからない特徴群が決定され、他の特徴群は破棄される。画像特徴オーダ部５０４は、画像特徴を認識するのに要する時間を測定し（１２０６）、それにより予測時間を算出する。次に、本方法は、特徴と予測時間との間に対応関係をつける（１２０８）。次に、本方法は、問い合わせ画像を認識する認識部４０６が実際にかけた時間を測定する（１２１０）。認識部４０６がかけたその時間は、「実時間」として言及される。そして、画像特徴オーダ部５０４は、ステップ１２０８で生成された対応関係を、その実時間で調整する（１２１２）。調整された対応関係は、問い合わせ画像を並べ替えたり、認識部に割り当てたりするのに使用される（１２１４）。例えば、僅かな特徴しか備えていない簡易な画像は、負荷の軽いサーバ（認識部４１０及びインデックステーブル４１２のペア）に割り当てられ、それらが速やかに認識され、ユーザが回答を速やかに受け取れるようにする。図１２に示される方法は、１つの画像又は小さな画像群に関するプロセスを説明している。しかしながら、多くの画像が上記の方法で処理された場合、多数の対応関係が生成され、画像特徴オーダ部５０４は、処理時間の観点から画像特徴の分配法を先ず求め、分配部５０６のコントローラ５０１は、その分配法を使って負荷のバランスをとり、それに応じて、特定の画像特徴を伴う問い合わせ画像を仕向け直すことができることを、当業者は認識するであろう。対応関係が調整された後（１２１２）、新たな画像の特徴オーダ指標が、説明済みのキュー管理法で速やかに使用可能になる。最も簡易な割当法は、単に新たな予測を使用するものであろう。バランス応答法は、各認識部のリクエストのキューのバランスを取り直し、キューの間でリクエストを選択的に動かし、認識部４１０各々について一様な予測応答を維持する。イージーファースト法は、到来するＦＩＦＯキュー５０８を検査する際、単に新たな予測を使用する。

不鮮明画像
図１３ないし１７を参照しながら、画像捕捉装置の特性にＭＭＲシステム１００を自動的に適合させる方法を説明する。認識システムは、認識すべきオブジェクトの元画像になじむようにしばしばトレーニングされる。しかしながら、何百もの捕捉装置がある場合や、システムが使用される環境が多くの異なる画像を生成する場合がある。図１３ないし１７は、当初は元のオブジェクト画像用に設計されたＭＭＲシステム１００を、一般的に使用される様々な捕捉装置で生成された画像に自動的に適合させる方法を示す。基本的には、本方法は、認識アルゴリズムのＮ個のインスタンスをＮ個の異なるデータセットに合わせる。装置トレーニング（DT: Device Training）画像群を良好に認識するように認識部が生成したＮ個のデータセットが認識部の能力に基づいて選択され、そのＤＴ画像群は、実際に使用された場合に装置が生成する画像を表現する。そして、それらの１つが結果を生成するまで、問い合わせ画像は各インスタンスと共に認識される。これらの調整は、ＭＭＲシステム１００の認識精度を大幅に改善する。本発明は、ＭＭＲシステムをぼやけに対して合わせる状況の観点から説明されるが、ぼやけ（不鮮明さ）は、本発明原理を説明する具体例として使用された１つの特性に過ぎない。画像捕捉装置の如何なる特性も、その特性に関する実際の変形例、生成されたデータセット、及びそのような特性の変形例を伴う画像を認識するように適合させられたシステム１００をシミュレートするように代替的にモデル化可能である。
図１３は、移動装置１０２により導入された不鮮明さに対してＭＭＲシステム１００を合わせる一般的な方法例を示す。本プロセスは、装置のトレーニング及びデータ捕捉から始まる（１３０２）。装置のトレーニングの一例は、図１４を参照しながら以下でさらに説明される。トレーニングデータ群が生成されると、本方法は初期化を行い、分類子を生成する（１３０４）。初期化及び分類子生成（１３０４）の具体例は、図１５Ａ及び１５Ｂを参照しながら以下で説明される。一群の分類子が生成されると、本方法は、最多数の画像を適切に認識する分類子を特定する（１３０６）。一実施例では、これは、図１６を参照しながら後述されるグリーディ探索法又は貪欲法（Greedy search）を実行することで達成可能である。発見された分類子が仮定されて検査される（１３０８）。言い換えれば、分類子は、認識可能な画像数を増やすように修正され、それらの修正が有効化される。この検査法の一例は、図１７を参照しながら後述される。そして、本方法は、インデックステーブル４１２及び認識部４１０を、仮定され検査されたその分類子に基づいて更新する（１３１０）。別の実施例の場合、図１３の方法は認識アルゴリズムの実効性を監視する方法と組み合わせられ、認識アルゴリズムの新たなインスタンスが追加されるべきか否か、或いは現在のインスタンスが図１３の方法を実行することで置換されるべきか否かを判定する。
図１４を参照するに、トレーニングデータ群を生成する方法の一例を説明する。一般に、トレーニングデータ群を生成することは、配置属性の範囲にわたるデータ群と、オブジェクトに関する環境因子とを生成することを要する。本方法は、配置属性の範囲にわたる装置トレーニング（ＤＴ）データ群と、オブジェクトに関する環境因子とを収集する。配置属性及び環境因子各々についての指標を伴う画像各々が、そのデータ群に加えられる。
本方法は、画像捕捉装置、オブジェクト群（Ｏ）、環境属性群（Ｅ）及び装置配置属性群（Ｐ）を決定することから始まる（１４０２）。本発明は以下の事項が特定されていることを仮定している：所与の捕捉装置、代表的な一群のオブジェクト（例えば、インビジブルジャンクションインの場合における紙文書）、一群の環境因子（例えば、照明、影、オブジェクトの変形、温度等）、及び一群の配置属性（例えば、距離、回転、傾斜（チルト）、ジッタ（jitter）等）。例えば、所与の捕捉装置は、カメラを備えた商業的に入手可能なセルラ電話でもよく、例えば、アップルコンピュータ社のアイフォン（iPhone）や、リサーチインモーション社のブラックベリー（Blackberry）等でもよい。オブジェクト群は、各ページに異なるＸ−Ｙ座標を有する新聞紙のページでもよい。環境属性及び関連する値は、例えば、光＝蛍光、日光等；影＝薄い、鮮明等である。配置属性は、距離＝１”、２”、．．．；チルト＝０度、５度、７度、．．．等である。
次に、本方法は、オブジェクト群（Ｏ）から或るオブジェクト（ｏ）を取り出し（１４０４）、環境属性群（Ｅ）から或る環境属性（ｅ）を取り出し（１４０６）、装置配置属性群（Ｐ）から或る装置配置属性（ｐ）を取り出す（１４０８）。そして、その装置配置属性（ｐ）の各値について、その環境属性（ｅ）におけるオブジェクト（ｏ）の画像を、本方法は捕捉する（１４１０）。画像は、ｏ、ｅ及びｐの値と共にタグ付けされる（１４１２）。そして、タグ付けされた画像は、データ群（ＤＴ）に保存される（１４１４）。本方法はステップ１４１６に進み、環境属性群（Ｅ）の中に何らかの別の環境属性が有るか否かを判定する。もしも有れば、本方法はステップ１４０６に戻り、別の環境属性を取り出し、その環境属性の画像を、捕捉し、タグ付けし、データ群に保存することが、データ群の総ての環境属性が処理されるまで行われる。一方、ステップ１４１６において、さらなる環境属性が無かった場合、本方法はステップ１４１８に進み、オブジェクト群（Ｏ）の中に何らかの別のオブジェクトが有るか否かを判定する。もしも有れば、本方法はステップ１４０４に戻り、別のオブジェクトを取り出し、取り出したオブジェクトについて、ステップ１４０６ないし１４１６を反復するように処理が進む。無ければ本方法は終了し、オブジェクト、環境属性及び装置配置属性の総ての可能な組み合わせと共に、データ群の生成及び保存の処理を終了する。本方法は、新たな装置が追加又は検出された時はいつでも図１４のステップを自動的に実行するように自動化できることを、当業者は認識するであろう。
図１５Ａを参照するに、初期化及び分類子の生成に関する一般的な方法が示されている。本方法は、ノイズ因子に関する範囲及びサンプリング間隔（例えば、ピンぼけ、動きによるぼやけ、動的な範囲等）を決定することで開始される（１５０２）。本方法は、多次元空間中の各点で分類子を生成する（１５０４）。そして、各分類子はデータ群（ＤＴ）に適用される（１５０６）。最終的には、分類子のパフォーマンスはデータ群に記録される（１５０８）。
図１５Ｂを参照するに、分類子の生成及び初期化を行う別の方法例（１３０２）が示されている。図１５Ｂの方法は分類子生成の一例を与え、ノイズは、ガウシアンぼかしσ、ｘモーションブラー（ｍｏｔｉｏｎ ｂｌｕｒ）、及びｙモーションブラーである。本方法は、ガウシアンぼかしσ、ｘモーションブラー及びｙモーションブラーについて、範囲及びサンプリング間隔を決定することから始まる（１５２０）。例えば、ガウシアンぼかしσは、ｓｉ間隔でｓ０ないしｓｇに等しく、ｘ方向のモーションブラーはｄｘｉ間隔でｄｘ０ないしｄｘｘに等しく、及びｙ方向のモーションブラーはｄｙｉ間隔でｄｙ０ないしｄｙｙに等しい。次に、本方法は、ガウシアンぼかしσ、ｘモーションブラー及びｙモーションブラーを元の画像群（Ｐ）に適用し、画像群Ｐ’を得る。例えば、元の画像群Ｐ内の元のオブジェクト画像ｐの各々について、本ステップは、ガウシアンぼかしσをｓ０ないしｓｇに間隔ｓｉ各々について適用し、ｘモーションブラーをｄｘ０ないしｄｘｘに間隔ｄｘｉ各々について適用し、ｙモーションブラーをｄｙ０ないしｄｙｙに間隔ｄｙｉ各々について適用し、結果の画像を画像群Ｐ’に加える。次に、本方法はＰ’から分類子を生成する（１５２４）。例えば、本方法は、多次元空間中のある点について、σ、ｄｘ、ｄｙに関する分類子Ｃを生成する。そして、本方法はσ、ｄｘ、ｄｙに関する分類子Ｃを適用し、トレーニング群ＤＴ中の画像を認識する（１５２６）。認識された画像数、画像の身元（識別子）及び平均的な信頼性スコア（例えば、インビジブルジャンクションに対する平均的な正対応（ｉｎｌｉｅｒ）の数）を含む分類子パフォーマンスを本方法は記録する（１５２８）。そして、分類子Ｃは分類子結果群（ＣＲ）に加えられる。次に、本方法は、その分類子が最良のパフォーマンスをもたらすか否かを判定し、もしそうであれば、その分類子をそのように特定する［最良分類子＝（σ，ｄｘ，ｄｙ）］（１５３０）。例えば、ある点に至るまでに検査された総ての分類子の中で、最大数の認識画像数及び最高の平均信頼性スコアを有する場合、その分類子はベストパフォーマンスである。本方法は、次に、何らかのさらなる分類子が有るか否かを判定する（１５３２）。言い換えれば、本方法は、ガウシンアンぼかし、ｘモーションブラー及びｙモーションブラーの可能な値に関する多次元空間中に、分類子が生成されていない何らかの点があるか否かを確認する。存在する場合、本方法はステップ１５２２に戻り、それらの点の内の１つについて分類子を生成し、ステップ１５２４ないし１５３２を繰り返す。一方、生成されるべき如何なる追加的な分類子も無かった場合、本方法は完了し、終了する。
図１６を参照するに、最多数の画像を認識する分類子を発見する方法が説明される。基本的に本方法は、ほとんど「認識されていない（unrecognized）」画像を認識する識別子を発見し、それをソリューション群に加え、それらの画像を「認識された（recognized）」ものとする。Ｎ個の分類子が決定されるまで、或いは新たに「認識された」画像数がしきい値未満になるまで、本プロセスは反復される。
必要な分類子の最小数Ｎを設定し、装置トレーニング画像を「未認識（unrecognized）」として設定することで、本方法は始まる（１６２０）。次に、本方法は、分類子群ＣＲの中から或る分類子を検索する（１６０４）。そして、分類子により認識される装置トレーニング群中の画像及び認識された画像に対する平均信頼性スコアを決める（１６０６）。新たな画像に対する平均信頼性スコア及び新たに認識される画像数を用いて、分類子認識スコアが決定される。その分類子認識スコアが最高であった場合、その分類子のスコアに最大スコアが設定され（１６０８）、その分類子のσ、ｄｘ及びｄｙの値を最良の分類子が有するように設定され、その分類子で認識される画像を含むようにソリューション群が決められる。次に、本方法は、分類子群ＣＲの中にさらに分類子があるか否かを確認する。有れば、本方法はステップ１６０４に戻り、ステップ１６０６及び１６０８を繰り返すように処理を進める。無かった場合、本方法は、その新たな「最良の」分類子が、現在の解（ソリューション）について予想される特性を大幅に改善するか否かを確認する。これは、新たに認識された画像数がしきい値未満であるか否か、或いは認識された画像総数が装置トレーニング群に等しいか否か等を確認することでなされる。条件が真ならば本方法は終了する。そうでなければ本方法はステップ１６１４に進み、発見された分類子数を表す変数ＣＦを１つだけ増やす。本方法は、新たな「最良の」分類子を分類子群ＣＳに加え、その分類子により認識された新たな画像をソリューション群に加え、最大スコアをゼロにリセットする。そして、本方法は「最良の」分類子を分類子群ＣＲから除去する（１６１８）。最終的に、本方法は、発見された分類子数が、ワーキング分類子群について望まれる分類子数Ｎ以上であるか否かを判定する。そうでなければ、本方法はステップ１６０４に戻り、分類子群ＣＲに関するプロセスを反復し、最良の分類子がその分類子群から除かれる。望まれる分類子数Ｎ以上であった場合、本方法は完了し、終了する。
図１７を参照しながら、仮定及び検査を行う方法を説明する。最良の分類子が判定された場合、本発明は、分類子を修正することで認識を改善しようとする。デバイストレーニングセット内の未認識の画像を決定することで（１７０２）、本方法は始まる。これは例えば、デバイストレーニングセットの中から、図１６の方法で認識された画像総てを除くことで実行可能であり（未認識の画像＝ＤＴ−ＧＳ）、ＧＳ＝図１６で発見されたソリューションセットである。本方法は、選択された未認識の或る画像を抽出する（１７０４）。次に、様々な分類子に合致する認識済み画像のうち最も近いペアを見出し（１７０６）、その場合における距離（相違）は、配置属性及び環境要因を比較することで決定される。一実施例の場合、このステップはＧＳ内で画像のペア（i1,i2）を見出すことで実行され、次のように行われる：ａ）異なる識別子によりｉ１及びｉ２が認識され、ｂ）ＧＳの画像全体の中で距離（ｕ，ｉ１）は最も小さく、ｃ）条件１の下でＧＳの画像全体の中で距離（ｕ，ｉ１）は次に小さく、及びｄ）２つの画像の距離が、オブジェクト、環境条件及び各々の配置属性を比較することで判定される。最小の場合、総てのオブジェクト及び環境条件は同じであると考えられ、距離は、配置属性に基づくＬ２ノルム（Ｌ２ ｎｏｒｍ）により決定され、各次元に関して規格化される。そして、本方法は、ペアのメンバ各々の画像間の中間（ｈａｌｆ ｗａｙ）であるノイズ属性から新たな分類子を生成し、新たな分類子を格付けする（１７０８）。一実施例の場合、本方法は画像ｉ１及びｉ２のペアに基づいて新たな分類子を生成する。例えば、シグマ＝（ｉ１のシグマ＋ｉ２のシグマ）／２、ｄｘ＝（ｉ１のｄｘ及びｉ２のｄｘ）／２、及びｄｙ＝（ｉ１のｄｙ及びｉ２のｄｙ）／２と共に本方法は始まる。次に、トレーニングセットＰ内の下のオブジェクト画像ｐ各々について、ガウシンアンブラシグマ（Gaussian blur sigma）、モーションブラーｄｘ及びｄｙがｐに適用され、その結果ｐ’に加えられる。そして、修正された分類子Ｃシグマ、ｄｘ、ｄｙ（Ｐ’）が生成される。次に、修正された分類子Ｃシグマ、ｄｘ、ｄｙ（Ｐ’）を使用して未認識の画像（ＤＴ−ＧＳ）を認識し、本方法は、認識された画像数、画像の識別子及び平均的な確からしさ（ＩＪに関する平均的なインライア（inliers）の数）を記録する。新たな分類子は新たな分類子群に加えられる（１７１０）。次に、本方法は、未認識の画像の存否を判定する（１７１２）。存在していた場合、本方法はステップ１７０４に戻り、別の未認識画像を抽出し、その未認識画像についてステップ１７０６、１７０８、１７１０及び１７１２を反復する。次に、本方法は、分類子認識スコアが閾値を超えているか否かを判定する。超えていた場合、本方法は、その分類子をソリューションセットに加える（ソリューションセットサイズがＮ未満の場合）、或いはそれを多次元空間に加え、本方法は終了する。超えていなかった場合、本方法は、差分が閾値未満になるまでノイズ因子空間を分割し、ステップ１７０４に戻って新たな分類子を生成する。
一実施例の場合、本方法は、（オブジェクト中の３”、チルト角＝５度、回転角＝０度の） 画像ｕと共に始まり、Ｃ（シグマ＝２０、ｄｘ＝０、ｄｙ＝１０）により認識される画像ｉ１（オブジェクト中の３”、チルト角＝１０度、回転角＝０度）と、Ｃ（シグマ＝１０、ｄｘ＝１０、ｄｙ＝０）により認識される画像ｉ２（オブジェクト中の４”、チルト角＝０度、回転角＝１０度）とを見出す。本方法は、新たな分類子ｎｃ シグマ＝（１０＋２０／２）＝１５、ｄｘ＝（０＋１０／２）＝５、ｄｙ＝（１０＋０／２）＝５を生成する。

品質予測器５０２
図１８ないし２１を参照しながら、一形態による品質予測器５０２及びその動作を詳細に説明する。品質予測器５０２は認識スコア（aka Quality Predictor）を生成し、その認識スコアは、特定の利用可能な画像／認識アルゴリズムにとって或る画像が良い候補であるか否かを予測するのに使用可能である。動きによる不鮮明さ、焦点の不鮮明さ、充分でない明るさ、及び情報不足等のような多数の理由に起因して、画像が認識されないかもしれない。認識スコアを計算する目的は、認識可能な画像を「低品質」と分類すること、及び認識可能な画像を「高品質」と分類することである。このような２分類だけでなく、本発明は、「認識スコア」を出力し、認識の確からしさに基づいて画像にスコアが与えられてもよい。
品質予測器５０２は、ある形態に関して説明され、その形態における品質予測器は、図５に示され説明されたようなディスパッチャ４０２の一部分である。本実施例の場合、品質予測器５０２は認識スコアを分配部５０６への入力として出力し、分配部はどの認識部４１０を使用するか（及びどの認識アルゴリズムを実行するか）を決定する。しかしながら、品質予測器５０２及び認識スコアが有効かつ有利に活用される多くのシステム構成が存在することを当業者は認めるであろう。別の形態（第２形態）の場合、品質予測器５０２は捕捉装置（例えば、移動電話装置１０２、ディジタルカメラ、コンピュータ１１０等）上で動作し、捕捉装置は、捕捉した画像品質が、ＭＭＲ照合部１０６の何れかの照合ユニット４１０で認識される程度に充分か否かを判定する。捕捉された画像品質が充分であった場合、それはＭＭＲ照合部１０６に送られ、そうでなかった場合、別の画像を捕捉するようにユーザは単に要求される。或いは、捕捉された画像及び品質予測スコアがユーザに提示され、彼／彼女は、その画像がＭＭＲ照合部１０６に送られるべきか否かを決定してもよい。第３形態の場合、品質予測器５０２は結果合成部６１０の一部分であり、複数の認識部４１０が存在し、認識スコアは、認識結果がどのように評価されるかを決める。第４形態の場合、品質予測器５０２はインデックス部４１４の一部分であり、認識スコアの計算が索引付けプロセスに先行し、そのスコアを使って、入力文書ページを索引付けする際、どのインデクサ（索引作成プログラム）を使用する必要があるかを決定する。例えば、ＢＷＣアルゴリズムを使って索引付けされる画像としては認識スコアが低かった場合、その画像はＩＪアルゴリズムだけを使って索引付けされるかもしれない。さらに、索引付け及び認識の双方について同じ品質予測器が使用されてもよい。第５形態の場合、品質予測器５０２は移動装置１０２における「画像捕捉」処理の前に使用される。画像を取得する前に認識スコアが計算され、認識スコアが閾値より高かった場合にのみ装置は画像を捕捉する。品質予測器５０２は、カメラのチップ内に組み込むことが可能であり、カメラのハードウエア又はソフトウエアを制御するのに使用可能である。例えば、カメラの絞り（開口）、露出時間、フラッシュ、マクロモード、安定化（手ぶれ防止機能）等が、認識部４１０の条件及び捕捉画像に基づいて調整されてもよい。例えば、ＢＷＣは、ぼけたテキスト画像を認識することができ、カメラ付き電話機を振動させることで、ぼかした画像の取得を行うことができる。
図１８に示されるように、一形態の品質予測器５０２は、認識アルゴリズムパラメータ１８０２、ベクトル計算器１８０４、スコア生成器１８０６及びスコアモジュール１８０８を有する。品質予測器５０２は、信号線５３２に結合され、問い合わせ画像、コンテキスト及びメタデータ、デバイスパラメータを受信する。問い合わせ画像は、ビデオフレーム、１つのフレーム、又は複数の画像フレームでもよい。コンテキスト及びメタデータは、時間、日付、場所、環境状態等を含む。デバイスパラメータは、ブランド、型、マクロブロックオン／オフ、ジャイロ又は加速度計の測定値、絞り、時間、露出、フラッシュ等の情報を含む。さらに、品質予測器５０２は、認識アルゴリズムパラメータ１８０２の或るパラメータを使用する。認識アルゴリズムパラメータ１８０２のこれらのパラメータは、取得部４０６又は画像登録部４０８から品質予測器５０２に提供されてもよい。ベクトル計算器１８０４は、画像から品質特徴ベクトルを計算し、コンテンツや歪を計測し、例えば、ぼけ、認識可能な特徴の存在、認識可能な特徴の量、明度等を測る。ベクトル計算器１８０４は、１つないしｎ個のいくつの品質特徴ベクトルを計算してもよい。ベクトル計算器１８０４の一例は、図１９を参照しながら以下で説明される。場合によっては、ベクトル計算器１８０４は、使用される認識アルゴリズムの情報を必要とし、ベクトル計算器１８０４は、信号線１８２０を介して認識アルゴリズムパラメータ１８０２に結合される。例えば、インビジブルジャンクションアルゴリズムが使用される場合、ベクトル計算器１８０４は、認識の尺度として、どの程度多くの接合点が画像中に存在するかを算出する。これら算出された特徴の全部又は一部は、信号線１８２４を介してスコア生成部１８０６に入力される。スコア生成部１８０６は信号線１８２２にも結合され、認識アルゴリズムパラメータ１８０２に関する認識パラメータを受信する。スコア生成部１８０６の出力は、スコアモジュール１８０８に与えられる。スコアモジュール１８０８は、スコア生成部１８０６から与えられたスコアを使用して認識スコアを生成し、それらのスコアにウェイトを適用する。一形態では、その結果は一つの認識スコアになる。別の形態の場合、結果は、最高から最低に至る格付けされた複数の認識スコアになる。
図１９を参照するに、本発明の一形態によるベクトル計算器が示されている。ベクトル計算器１８０４は、ぼけ属性モジュール１９０２、コンテンツ量属性モジュール１９０４、明度属性モジュール１９０６、ブリードスルー（ｂｌｅｅｄ ｔｈｒｏｕｇｈ）属性モジュール１９０８、符号化アーチファクト属性モジュール１９１０、視点歪属性モジュール１９１２、カメラノイズ属性モジュール１９１４、テキスト品質属性モジュール１９１６、オブジェクト検出属性モジュール１９１８、認識アルゴリズム属性モジュール１９２０及びロバストネス属性モジュール１９２２を有する。ベクトル計算器１８０４は他の様々な属性モジュールを含んでもよく、図１９の例は単なる一例に過ぎないことを当業者は理解するであろう。他の形態は、図１９に示されているものよりも多数の又は少数のモジュールを含んでもよい。ベクトル計算器１８０４は、問い合わせ画像、コンテキスト及びメタデータ、デバイスパラメータ、並びに認識アルゴリズムのパラメータを受信する入力を有する。一形態では、これらの入力は、ベクトル計算器１８０４のモジュール１９０２、１９０４、１９０６、１９０８、１９１０、１９１２、１９１４、１９１６、１９１８、１９２０及び１９２２に結合される。
ぼけ属性モジュール１９０２は、捕捉された画像中の不鮮明さの量に基づいて、品質属性を決定するソフトウエア及びルーチンである。一実施例では、以下の方法の１つ以上によりモーションブラーが計算される。
グラディエント属性（Gradient Based Feature）。入力画像の勾配（gradient）が、（例えば、［−１ ０ １］カーネルと共に）縦及び横の双方向で算出される。勾配値の大きさを使用して、ｎビンヒストグラム（n-bin histogram）を２つ形成し（例えば、ｎ＝３）、１つは縦方向、１つは横方向であり、２ｎ次元の特徴ベクトルを生成する。入力画像の勾配は、２Ｄカーネルと共に計算され、ｎ個の勾配方向についてヒストグラムが計算される（例えば、ｎ＝８方向）。画像全体についてヒストグラムが計算されてもよいし、或いは重複する又は重複しない領域に画像が分割され、各領域についてｎビンヒストグラムが計算されてもよい。例えば、Ｋ×Ｌ個の重複しない四角形領域に画像が分割された場合、結果の特徴ベクトルはＫ×Ｌ×ｎのサイズになる。
エッジ検出。エッジ検出については、例えば、以下の非特許文献１に記載されている：“A Computational Approach To Edge Detection,”Canny, J., IEEE Trans. Pattern Analysis and Machine Intelligence, 8:679-714, 1986。不鮮明属性を計算するのと同様に、エッジ方向及びエッジ数のヒストグラムが使用可能である。
動き推定属性（Motion Estimation Based Features）。入力がビデオフレームの場合、２つのフレーム間の動きは、例えば“A Novel Four-Step Search Algorithm For Fast Block Motion Estimation”として当該技術分野で知られている動き推定アルゴリズムの１つにより推定可能であり、水平方向の変位（ｄｘ）、垂直方向の変位（ｄｙ）及び時間的なずれ（ｄｔ）は、特徴ベクトル［ｄｘ，ｄｙ，ｄｔ］を生成する。
周波数領域分析による属性（Frequency Domains Analysis Based Features）。画像の焦点ぼけは、空間的には不変のローパス空間フィルタとして取り扱うことができ、このフィルタのカットオフ周波数は、ぼけの大きさに反比例する。画像が鮮明でコントラストの高い輪郭（エッジ）を含んでいた場合、その画像はかなり高い周波数成分を含んでいる。ぼけ属性モジュール１９０２は、画像に関する２Ｄ離散フーリエ変換（ＤＦＴ）を行う。ほとんど総ての自然な画像の場合、周波数が増えるにつれてスペクトルの大きさは急速に減少する。カットオフを算出するため、各周波数における（総ての方向における）平均的なスペクトルの大きさが算出される。すなわち、ＤＣ項（０周波数）を中心とし、同心状の長円に沿って平均値が算出される。この平均的な半径の大きさのグラフが得られた後で、カットオフを抽出したい。具体的には、これは、スペクトルがノイズフロアの平坦なレベルに落ち込む最初のポイントである。このカットオフを選出する方法の１つは、（スパイクを除去するために）グラフをローパスフィルタに通し、グラフを一定の高さに尺度変換し、所定のグラフ値未満の第１ポイント（グラフが（一定の）非常に平坦な傾斜に達するポイント）を探すことである。別の方法は、一定の距離を超えて最も大きな曲率（最も大きな角度変化）を伴うグラフ上のポイントを探すことである。これらのカットオフが判定されると、グラフは実際のスケールに変換される。これは、次のようにすることで最も簡易に実行され、テキストブロックの校正ショット（calibration shot）を使用し、カットオフを算出し、校正されたカットオフと新たにサンプリングされたカットオフ各々との比率を関数が返すようにすることである。不鮮明さの特徴と同様に、カットオフ周波数Ｙ及び何らかの他の属性を使用し、固有ベクトルＥｉやスペクトル拡散率Ｓのような周波数領域分析から演算を行うことができる。
コンテンツ量属性モジュール１９０４は、画像中のコンテンツの量に基づいて品質属性を決定するソフトウエア及びルーチンである。一実施例では、次のような方法の何れかによりコンテンツ特徴量が算出される。
接続コンポーネント属性（Connected component features）。“Survey Over Image Thresholding Techniques And Quantitative Performance Evaluation”に記載されているような技術を使用して画像は二値化される。“A Simple And Efficient Connected Components Labeling Algorithm”に記載されているような技術を使用して、接続されたコンポーネントが算出される。そして、サイズ、幅、高さ、画素数、アスペクト比、拡散率、固有ベクトル、ホール数（number of holes）、コンパクト性等のような接続コンポーネントに関し、ヒストグラム（Ｈ＝［ｈ１．．．ｈｎ］）、平均（Ａ）及び分散（σ）のような多数の特徴を、コンテンツ量属性モジュール１９０４は接続コンポーネントから算出する。
エッジ属性。“Optimal Corner Detector”を使用するようなコーナー、画像における算出されたエッジ及びそれらの検出を使用して、コーナー及びエッジのヒストグラムを形成する。
エントロピー。画像中のグレーレベル／カラー画素（Ｅｇ／Ｅｃ）、二値化された画素（Ｅｂ）、接続されたコンポーネント（Ｅｃｃ）のエントロピーは、どの程度多くの情報が画像の中にあるかを指す指標になる。画像は、重複する又は重複しないセグメント（部分）に分割可能であり、これらのセグメント各々についてのエントロピーが算出され、エントロピーは、エントロピー特徴ベクトルを計算するのに使用される。エントロピーを計算する前に、カメラのノイズを除去するために、ローパスフィルタリング又はメジアンフィルタリングのステップが使用されてもよい。
周波数領域属性。周波数属性分析、例えば２Ｄ高速フーリエ変換（ＦＦＴ）又は離散コサイン変換（ＤＣＴ）のような変換関数を、画像に適用することができる。周波数領域表現が得られると、それはヒストグラムと共に表現可能である。
圧縮画像サイズ。ＪＰＥＧのような同じ圧縮アルゴリズムを使用し、同じ量子化因子のような同じパラメータと共に、２つの画像が圧縮されたならば、大抵の場合、高い周波数成分を伴う画像は、大きなファイルサイズの圧縮画像になる。ファイルサイズＳが過剰に大きかった場合、それは、画像の中にスペックルノイズ（speckle noise）が有ることの指標になり、そのノイズは画像の認識を困難にする。ファイルサイズが過剰に小さかった場合、それは、画像の中で重要な情報が不足していることの指標になる。
明度属性モジュール１９０６は、明度属性に基づいて品質属性を決定するソフトウエア及びルーチンである。一実施例の場合、明度属性は以下の方法の何れかにより算出される：
ヒストグラム属性。グレースケールのヒストグラムやカラーヒストグラムのパターンは、画像がどの程度明るいかを指す良い指標になる。例えば、画像がほとんど暗い画素を有しかつ５０より大きな値を有する輝かしい画素を１つも含んでいなかった場合（画素値は０ないし２５５の値をとるものとしている）、その画像は、低い認識スコアを示すであろう。ヒストグラム又はヒストグラムから抽出された特徴（例えば、ピーク数）に基づいて特徴ベクトルを形成することに加えて、フィッシャー判別分析（Fisher discriminant analysis）が、画素の明度及び飽和値双方について実行されてもよい。明度サンプルに関する判別分析は、平均値ｍｌ１及びｍｌ２の２クラスと、クラス間分散（interclass variance）ｖｌ１及びｖｌ２をもたらす。分離度合いｍｌ１−ｍｌ２、クラス間分散の合計ｖｌ１＋ｖｌ２、それらの比率ｍｌ１−ｍｌ２／ｖｌ１＋ｖｌ２は、特徴ベクトルを算出するのに使用可能である。
コントラスト。画像のコントラストは、多数の効率的な方法により算出可能であり、例えば、コントラスト＝（明るい画素上位Ｘ％の平均値）／（暗い画素上位Ｙ％の平均値） である。
シャドー（影）。一形態では、“Image Difference Threshold Strategies And Shadow Detection”に記載されているようにして、画像からシャドーマスクを算出することができ、明度属性モジュール１９０６はシャドーヒストグラムから抽出された特徴を使用する。他の形態では、明度属性モジュール１９０６は、重複する又は重複しないセグメントに画像を分割し、それらのセグメントの領域のヒストグラムを算出し、ヒストグラム平坦化（histogram equalization）を実行し、ヒストグラムが類似しているか否かを検査する。類似スコアは１つの属性として使用可能である。
ブリードスルー属性モジュール１９０８は、ブリードスルー属性に基づいて品質属性を決めるソフトウエア及びルーチンである。捕捉された画像が紙書類の画像であり、その画像が、視界の中にないページからの何らかの内容 （すなわち、そのページの裏側に印刷されている内容）を含んでいた場合、認識の実効性（パフォーマンス）は劣化する。他のページからの内容は、本願では「ブリードスルー（bleed through）属性」と言及する。ブリードスルー属性は、次のような非特許文献２に記載されている技術を利用して検出できる。“Restoring Ink Bleed-Through Degraded Document Images Using a Recursive Unsupervised Classification Technique,”P.Rosen, et al., Proceedings of the 6th British Machine Vision Conference, 1995。
符号化アーチファクト属性モジュール１９１０は、符号化アーチファクトに基づいて品質属性を決めるソフトウエア及びルーチンである。符号化及び圧縮のアーチファクトは、画像の認識を劣化させる。“Detection Of Blocking Artifacts Of Compressed Still Images,”Triantafyllidis et al. に記載されているような方法は、画像中に存在する符号化アーチファクトの量及び確率に基づいて、特徴ベクトルを算出するのに使用可能である。
視点歪属性モジュール１９１２は、視点歪（perspective distortion）に基づいて品質属性を決めるソフトウエア及びルーチンである。重大な視点歪は、画像の認識に影響を及ぼす。視点歪を検出及び修正する多くの方法が存在する。修正は、認識法の一部分であってもよいが、そのような歪の検出は、画像が認識できるか否かを確認するのに有用である。視点歪は、画像中の線及び縁（輪郭）の相対的な位置関係を用いる方法や、次の非特許文献３に記載されている方法等を用いることで算出可能である。“Perspective Correction Methods For Camera Based Document Analysis,” by Jagannathan et al., Proc. First Int. Workshop on Camera-based Document Analysis and Recognition, 2005。視点歪のヒストグラム量を表す属性は、認識スコアを算出するのに使用可能である。
カメラノイズ属性モジュール１９１４は、カメラノイズに基づいて品質属性を決めるソフトウエア及びルーチンである。カメラの電荷結合素子（ＣＣＤ）のサイズが小さすぎた場合、或いは環境の中に充分な光がなかった場合、捕捉された画像又はビデオフレームは、スペックル雑音のようなノイズを含むおそれがある。そのようなノイズを測定するいくつかの方法がある。カメラノイズ属性モジュール１９１４で使用される方法の１つは、メジアンフィルタを使ってスペックル雑音の低減を図り、縮小画像ノイズ及び元の画像間の差分を求め、その差分画像に基づいて何らかの特徴を算出することである。例えば、閾値を上回る画素の割合が算出される。
テキスト品質属性モジュール１９１６は、画像中のテキストに基づいて、品質属性を決めるソフトウエア及びルーチンである。テキストは、テキストボックス属性、光文字認識（ＯＣＲ）属性、又はテキストライン属性として測定可能である。
テキストボックス属性。テキストボックスは、例えば、次の非特許文献４に記載されている方法を使用して画像の中から検出可能である。“Text Detection from Natural Scene Images: Towards A System For Visually Impaired Persons,”N.Ezaki, et al., Proc. of 17th Int. Conf. on Pattern Recognition(ICPR 2004), IEEE Computer Society, 2004, pp.683-686, vol.II, 23-26 August, Cambridge, UK。テキスト品質属性モジュール１９１６は、テキストボックス高さのヒストグラム、テキストボックス幅／高さの比率のヒストグラム（ｎｕｂｓ）、及びテキストボックス密度のヒストグラム等のような様々な特徴を、テキストボックス検出により算出する。認識に好ましい（例えば、適切な高さ）と考えられるテキストボックスのヒストグラムが算出される。例えば、テキストボックスは、画像高さの１／１０未満であって、画像高さの１／５０より大きい。
光文字認識（ＯＣＲ）属性。画像は、ＯＣＲ（光学文字認識）により処理可能であり、ＯＣＲの信頼性スコアを使用して特徴ベクトルを算出することができる。
テキストライン属性。一形態では、テキスト品質属性モジュール１９１６は、行間ヒストグラムを計算することで、テキストライン属性を算出する。これらの属性は、テキストが不鮮明であって、勾配法（ｇｒａｄｉｅｎｔ ｂａｓｅｄ ｍｅｔｈｏｄ）が充分な情報をもたらさない場合に特に有用である。（１画素の幅で）縦方向の強度値の第１グラフが算出され、各グラフの局所的な最小値が見出される。次に、局所的な最小値同士の間の差分が算出される。これらの差分は、概して、行間の距離に対応する。そして、これらの距離に関するヒストグラムが算出される。非文書画像及びほとんど文字を含んでいない文書画像のヒストグラムは容易に区別可能である。なぜなら、それらは多くのピークを有し、ヒストグラムは非常に一様に分布しているからである。それらは低いピーク値も有する。ピーク数Ｎ、ピーク高さＰｉのようなヒストグラムから抽出された属性は、テキストライン属性ベクトルを算出するのに使用される。
オブジェクト検出属性モジュール１９１８は、画像オブジェクトに基づいて品質属性を決めるソフトウエア及びルーチンである。線、表、箇条書き項目、リスト、顔及び建物等のような何らかの対象や形状が存在することは、画像認識アルゴリズムに依存する認識性に影響する。例えば、画像の大部分が表を含んでいた場合、ＩＪアルゴリズムは良好には機能しないかもしれない。画像が多くの線を含んでいた場合、ＢＷＣアルゴリズムは良好には機能しないかもしれない。一実施例では、オブジェクト検出属性モジュール１９１８は、画像中のオブジェクトを検出する際、以下の何れかの非特許文献５ないし７の技術を使用してもよい：“Use Of The Houph Transformation To Detect Lines And Curves In Pictures,”R.Duda and P.Hart, Communications of the ACM, Vol.15, pp11-15, 1972;“A Survey Of Table Recognition,”by R Zanibbi, D Blostein, JR Cordy, International Journal on Document Analysis and Recognition, 2004;又は“Face Detection: A Survey,”by E Hjelmas, BK Low, Computer Vision and Image Understanding, 2001（これらは、画像中のオブジェクト認識法として使用可能である。）。或るオブジェクトを含む画像の確率［Ｐ（Ｏ１），．．．，Ｐ（Ｏｉ）］は、オブジェクト検出属性モジュール１９１８により算出される特徴ベクトルである。
認識アルゴリズム属性モジュール１９２０は、認識アルゴリズムにおける相違に基づいて品質属性を決めるソフトウエア及びルーチンである。（画像認識アルゴリズムの一部分である）特徴抽出プロセスの全部又は一部は、画像の認識性を測るために画像について実行される。例えば、認識アルゴリズムにより抽出する固有の特徴が多くなかった場合、その画像は低い認識スコアに割り当てられる。例えば、特徴抽出プロセスは、（ＩＪ、ＢＷＣ又はＰＣのような）認識アルゴリズム各々について異なる可能性があり、或いはいくつかの一般的なコンポーネント（例えば、ＢＷＣ及びSyntextコーディングにおける境界枠抽出コンポーネント）を共有するかもしれない。例えばＩＪの場合、ＩＪスケルトンの特性から次のような特徴が抽出される：接合点数、領域（ホール（holes））の数、領域サイズのヒストグラム、及び画像内での領域の分布等である。さらに、各接合点における勾配方向の特徴ベクトルが算出された後、これらの特徴ベクトルの相違は、コンテンツの認識性の指標として使用可能である。ＳＩＦＴの場合、ＳＩＦＴ属性自体だけでなくＳＩＦＴ属性の検出位置から（例えば、コーナー検出器により）抽出された特徴が、認識性の指標として使用可能である。ＢＷＣ及びＳｙｎｔｅｘｔの場合、（「テキスト品質属性」の説明部分で言及された）境界枠属性に加えて、完全な特徴ベクトルが算出されてもよい。固有認識特徴ベクトル（recognition-specific feature vector）の数及びその空間分布のような特徴は、認識性の指標として使用可能である。また、各認識アルゴリズムにおける特徴ベクトル各々の一意性（uniqueness）が算出され、指標として使用されてもよい。例えば、ＢＷＣの場合、［３ ２２ ２２］のような特徴ベクトルは非常に一般的であり、［１０ ６７ ８９７］のような特徴ベクトルは非常に特殊である。特徴ベクトルの一意性を測るため、ターム頻度−インバース文書頻度（TF-IDF:term frequency-inverse document frequency）法が適用されてもよい。認識アルゴリズム属性モジュール１９２０は、これらの何れか又は組み合わせを使用して、特徴ベクトルを生成してもよい。
ロバストネス属性モジュール１９２２は、ロバストネス（robustness）に基づいて品質属性を決めるソフトウエア及びルーチンである。画像から抽出された属性が、配置、環境及び装置変更等によるカメラ歪の影響を受けにくく安定的であった場合、画像から抽出された属性は堅牢である（ロバスト的である）。入力画像はさらに処理され、様々なカメラ歪に対して抽出画像が安定的でロバスト的であるかどうかを判定する。例えば、ＩＪの場合、画像は、ぼけていたり、傾いていたり、歪んでいたりすることがあり（あるいは、何らかの他のノイズシミュレーションが考慮されてもよい）、スケルトン（骨組み）、場所属性及び特徴ベクトルが再び算出される。入力画像の場所属性及び歪んだ画像の場所属性間の距離が、ハウスドルフ距離法（Hausdorff distance）のような技法により測定され、特徴ベクトル間の距離が、ユークリッド距離法のような技法により測定される。これらの距離の結合（例えば、重み付け加算値又は乗算値）が小さかった場合、画像は様々なカメラの影響に対してロバスト的であり、それ故に認識スコアに対して正（positive）の寄与をもたらす。距離の指標及び結合方法は、認識アルゴリズムに依存する。
図２０を参照するに、ロバストネス特性を出力する方法のプロセス図が示されており、本方法は例えばロバストネス属性モジュール１９２２により実行される。本方法は入力画像を受信することから始まる（２００２）。入力画像は、認識属性を抽出するように処理され（２００８）、様々なレベルの歪を適用するように処理される（２００４、２００６）。認識属性を抽出する際（２００８）、画像登録部４０８や認識ユニット４０６から抽出されるような一群の認識パラメータ２０２０が使用される。認識パラメータ２０２０は、他の属性の抽出（２０１０、２０１２）、距離の算出（２０１４、２０１６）及びロバストネスベクトルの算出（２０１８）にも使用される。抽出された画像属性（２００８）は、場所属性間の距離計算値をモデル化するように与えられる。同様に、受信した入力画像２００２に第１歪が適用され（２００４）、歪んだ画像から認識属性が抽出され（２０１０）、その認識属性は、場所属性間の距離を算出するのに使用される（２０１４）。画像を受信し（２００２）、歪を適用し（２００６）、属性を抽出して属性を提供するこれらのプロセスは、好ましくは、多数の様々なタイプの歪について実行される。抽出された総ての属性は、場所属性間の距離を算出し、特徴ベクトルを算出するように与えられる（２０１４）。次に本方法は特徴ベクトル間の距離を算出する（２０１６）。そして、特徴ベクトル間の距離に基づいて特徴ロバストネスベクトルが算出される（２０１８）。
図２１は、認識スコアを生成する本発明による方法のプロセス図を示す。上述したように、本プロセスは画像又はビデオフレームを捕捉することから始まる（２１０２）。捕捉された画像は、画像バッファに一時的に格納されてもよいし（２１０４）、或いは品質ベクトルを計算するために直接的且つ速やかに与えられてもよい（２１０６）。いくつかの画像／ビデオフレームが、品質特徴ベクトル計算で使用するためにバッファリングされてもよい。ベクトル計算器１８０４に関して上述したように、画像の認識性を計算するのに使用可能な多種多様な属性が存在する。これらの属性又は指標の何らかの組み合わせが、特定の認識アルゴリズム群を使用して画像の認識性を予測するのに使用可能である（例えば、認識スコアを生成するのに使用可能である）。ベクトル計算器１８０４の各モジュールは、それらの指標を表す特徴ベクトルを生成する。次に、本方法は、ベクトル計算器１８０４から受信した特徴ベクトルを規格化（正規化）する（２１０８）。規格化されたベクトルは、認識スコアを分類及び計算するモジュールに与えられる。ベクトルは、分類及びスコアリングモジュールにより処理される（２１１０）。一形態では、分類及びスコアリングモジュール２１１０は、正及び負の画像サンプルと共に予め訓練されており（すなわち、正負の画像サンプルに合わせて調整されており）、分類パラメータを調整するために、認識部４１０からのフィードバックループ２１１６を含んでいる。一形態の場合、分類及びスコアリングモジュール２１１０は、ニューラルネットワークのようなアルゴリズム、ナイーブベースの分類器
（外１）
ベイジアンベースの分類器（Bayesian based classifiers）、サポートベクトルマシン（SVM: support vector machine）ベースの分類器等に基づいている。これらの分類器は、スコアと、スコアの確からしさ又は誤差のマージンとを出力する。一形態では、スコアが出力され、入力画像の認識を行う際（２１１４）、どの認識部４１０が選択されるべきかを決定するために、スコアは、ディスパッチ部４０２の分配部５０６のような他のコンポーネントにより使用される。第２形態では、分類及びスコアリングモジュール２１１０から出力されるスコアと閾値が比較され（２１１８）、スコアが閾値より上である又は下であるということがブール値に変換され、そのブール値も、どの認識部４１０が処理に使用されるべきかを決定するために、ディスパッチ部４０２の分配部５０６のような他のコンポーネントにより使用可能である。
別のアプリケーションの場合、例えば、品質予測器５０２が移動装置１０２のクライアントの一部分として動作する場合、スコア又は閾値によりブール値に変換されたスコアは、さらなる処理に備えて捕捉画像を移動装置１０２から送信できる程度に充分な品質を、受信画像が有するか否かを判定するのに使用可能である。一形態では、認識スコアが閾値より低かった場合、ある確認要求と共に認識スコアがユーザに表示され（２１１２）、その確認要求は、表示された認識スコアを有する捕捉画像について抽出が実行されることの確認である。別の形態では、認識スコアを示すメッセージがユーザに表示され、そのメッセージは、画像を認識できるレベルよりもスコアが低いのでその画像はＭＭＲゲートウェイ１０４に送信されないことを示す。さらに、表示されるメッセージは、ユーザが別の画像を取得することを要求してもよい。
さらに別の例の場合、アルゴリズム各々について別々に分類（及び分類パラメータの調整）が行われる。品質予測器５０２がディスパッチ部４０２又は索引付けの前に使用され、最高の認識スコアをもたらす認識アルゴリズムが、ディスパッチ部４０２において又は索引付けアルゴリズムとして最初に選択される場合、次に高いものが選択され、以下同様に続く。品質予測器５０２が、検索の実行前に使用される場合、各アルゴリズム（Ｒｎ）についての認識スコアは、（ウェイト（ｗｎ）と共に）重み付け加算されてもよい：スコア＝ｗ１Ｒ１＋．．．＋ｗＮＲＮ。ウェイトは、検索時間及び検索精度に基づいて計算されてもよい。ウェイトは、検索結果を使用しながら途中で計算し直してもよい。

結果合成部６１０
図２２ないし２４を参照しながら、異なる画像検索アルゴリズムからの画像テキスト検索結果を合成するいくつかの方法を説明する。図２２は、予測器又は認識スコアを用いて認識結果を合成する第１形態の方法を示す。図２３は、予測器を用いて認識結果を合成する第２形態の方法を示す。図２４は、複数の認識結果（予測なし）を合成する本発明の一形態による方法を示す。
図２２を参照するに、品質予測器を用いて認識結果を合成する第１形態の方法が示されている。より具体的には、図２２は、結果合成部６１０及び認識部４１０により実行されるプロセスを示す。破線より上側のプロセスは認識部４１０により実行され、破線より下側のプロセスは結果合成部６１０により実行される。所与の入力画像又は画像（Ｉ）及びいくつかの画像認識アルゴリズムＡ１．．．ＡＮの下で、各認識アルゴリズムの出力は、認識結果のリスト＝｛Ｒ１，ｎ，．．．，Ｒｋ，ｎ｝（例えば、上位Ｋ個の合致する文書、ページ及びページ中の場所）と、それらの結果各々に関する信頼度＝｛Ｃ１，ｎ，．．．，Ｃｋ，ｎ｝であり、したがって、
である。さらに、予測アルゴリズムＰ１．．．ＰＮ（これらは、所与のアルゴリズムＡｎの下で認識可能性を計算する）は、入力画像又は画像（Ｉ）及び認識アルゴリズムに基づいて認識スコアを計算する：Ｓｎ＝Ｐｎ（Ｉ，Ａｎ）。第１形態の方法は、以下の方法を使用して、結果Ｒ（合致する文書に関する情報を含み、例えば、文書ｉｄ、ページ、ページ中の場所の情報を含む）又はオーダ結果リスト（ordered result list）を決定する。
本プロセスは画像を検索することから始まる（２２０２）。検索された画像は、複数のインデックス１ないしｎと共に、認識／検索を実行するのに使用される（２２０４、２２０６）。一形態では、各々の認識アルゴリズムＡｎは、入力画像について結果及び信頼度ベクトルを得るように動作する：
次に、結果合成部６１０は、複数のインデックス１ないしｎを用いて認識スコアを計算する（２２０８、２２１０）。予測アルゴリズムは、入力画像各々及びアルゴリズム各々について認識スコアを求めるよう動作する：Ｓｎ＝Ｐｎ（Ｉ，Ａｎ）。これら２つの信頼度スコアは、新たな信頼度スコア
を計算するために使用される（２２１２、２２１４）。例えば、新たな信頼度スコア
は、
及びＳｎに基づいて計算され、すなわち、各々のアルゴリズムＡｎについて、
である。そして、新たな信頼度スコアに基づく最良の結果が選択され（２２１６）、出力される。一形態では、これは、各自の関連する信頼度
に基づいて、
を併合して並べ替え、
を得ることで実行される。そして、本方法は、
のうち上位Ｌ個の結果を出力する。Ｌは１より大きい任意の整数とすることができる。
図２３を参照するに、品質予測器を用いて認識結果を合成する第２形態の方法が示されている。第１形態とは異なり、図２３の様々な方法ステップは、ＭＭＲ照合部１０６のコンポーネントにより実行される。本方法は画像を受信することから始まる（２３０２）。次に、これらの画像は、複数のインデックス１ないしｎの認識スコアを計算するのに使用される（２３０４、２３０６）。言い換えれば、予測アルゴリズムは、入力画像各々及びアルゴリズム各々について認識スコアを求めるように動作する：Ｓｎ＝Ｐｎ（Ｉ，Ａｎ）。次に、本方法は、関連する認識スコアが所定の閾値より大きいか否かを判定する（２３０８、２３１０）。大きくなかった場合、受信画像は破棄され、後続の計算は行われない。一方、認識スコアが所定の閾値より大きかった場合、本方法は、インデックス１ないしｎに関する認識／検索を実行するステップに続く（２３１２、２３１４）。例えば、入力画像について結果及び信頼度ベクトルを得るように、各認識アルゴリズムＡｎが動作する：
そして、インデックス１ないしｎ各々について、新たな信頼度スコアが生成される（２３１６、２３１８）。新たな信頼度スコア
は、
及びＳｎに基づいて計算される：
そして、最良の結果が選択され（２３１０）、出力される。一形態では、
は、各自対応する信頼度
に基づいて併合及び並べ替えられ、
をもたらし、その結果の内上位Ｌ個が出力される。
代替例では、図２２及び２３に関して説明したプロセスが以下のように若干修正される。認識結果、信頼度スコア、修正された又は新たな信頼度スコアが、同様な方法で生成される。特に、入力画像及び各アルゴリズムについて、認識スコアを取得するように予測アルゴリズムが動作する：Ｓｎ＝Ｐｎ（Ｉ，Ａｎ）。対応する予測スコＳｎが閾値より大きかった場合にのみ、認識アルゴリズムＡｎは、入力画像について結果及び信頼度ベクトルを求めるように動作する：
（信頼度スコアに基づいて、
が格納されており、従ってＲ１，ｎは照合結果について最良の推定であることを仮定している。いくつかのアルゴリズムは、それらの内的な閾値に起因して、如何なる結果も出力しないかもしれないことに留意を要する。）。上記の方法のように、上位の認識結果を単に併合及び並べ替えるのではなく、代替例は、各アルゴリズム（Ｒ１，１，．．．，Ｒ１，Ｎ）からの上位の結果を使用して、最良の結果を得るように投票する。投票は、文書ｉｄ、（docid＋pageid）又は（docid＋pageid＋patch location）に基づいて勘定することができる。パッチロケーション（patch location）（ｘ，ｙ）は、厳密に同じである必要はなく、各文書パッチロケーションに対する投票を与えるように、近接性指標（proximity measure）が使用されてもよい。そして、当該方法は最も票を多く獲得した結果を出力する。
さらに、結果同士の間に関連性（ｔｉｅ）があった場合、以下の何れかの方法を使って結果を出力することができる：ａ）関連する結果のグループの信頼度Ｃ１，ｎを合計し、最高の信頼度合計に対応する結果を出力する；ｂ）修正された信頼度スコアＣ’１，ｎ＝ｆ（Ｃ１，ｎ，Ｓｎ）を計算し、関連する結果のグループについて修正後の信頼度Ｃ’１，ｎの合計を求め、最高の信頼度合計に対応する結果を出力する；ｃ）関連する結果のグループについて予測スコアＳｎを合計し、最高の予測スコア合計に対応する結果を出力する；ｄ）最高の信頼度スコアＣ１，ｎ又は最高の修正信頼度スコアＣ’１，ｎをもたらしたアルゴリズムの結果Ｒ１，ｎを出力する；ｅ）最高の予測スコアＳｎをもたらしたアルゴリズムの結果Ｒ１，ｎを出力する；又はｆ）出力するアルゴリズムの順序を（事前に測定した精度に基づいて）予め決定しておく。例えば、最初がＩＪであり、次がスネークコーディング（snake coding）であり、等々。
図２４は、本発明による複数の認識結果（予測無し）を合成する方法を示す。プロセスは画像を検索することから始まる（２４０２）。検索された画像は、複数のインデックス１ないしｎと共に認識／検索を実行するのに使用される（２４０６、２４０８）。一形態では、入力画像について結果（もしあれば）及び信頼度ベクトルを求めるように、各認識アルゴリズムが動作する：
（信頼度スコアに基づいて、
が格納され、したがって、Ｒ１，ｎは照合する結果について最良の推定になることを仮定している。いくつかのアルゴリズムは、それらの内的な閾値に起因して、如何なる結果も出力しないかもしれないことに留意を要する。）。次に、入力画像及びアルゴリズム各々について尤度スコアを求めるように、予測アルゴリズムが動作する（２４０４、２４０８）：Ｓｎ＝Ｐｎ（Ｉ，Ａｎ）。尤度スコアは受信されてもよいし、日付、時間、場所、個人プロフィール、検索履歴及び他のコンテキスト・メタデータを使用して、尤度スコアＯｎを生成されてもよい。信頼度スコア及び尤度スコアを用いて、修正された信頼度スコアを計算する（２４１２、２４１４）。例えば、各アルゴリズムＡｎについて、修正された信頼度スコア
は、
に基づいて算出される。そして、新たな信頼度スコアに基づく最良の結果が選択され（２２１６）、出力される。一形態では、これは、各自対応する信頼度
に基づいて
を併合及び並べ替え、
の結果を得ることで実行される。そして、本方法は上位Ｌ個を出力する。Ｌは１より大きい任意の整数である。第２形態の場合、最良の結果は、各アルゴリズムから投票によって決定される。最良の結果を投票するため、各アルゴリズムから上位Ｌｎ個の結果（｛Ｒ１，１，．．．，ＲＬ１，１｝，．．．，｛Ｒ１，Ｎ，．．．，ＲＬＮ，Ｎ｝）が使用される。Ｌｎはアルゴリズムに依存する。例えば、ＩＪは１つの結果しか出力しないかもしれないし（すなわち、Ｌｎ＝１）、ＢＭＣは上位１０個の結果を出力するかもしれない（Ｌｎ＝１０）。総てのアルゴリズムについてＬｎが１に設定されていた場合、各アルゴリズムから最上位のみが、結果について票を得る。一形態では、票のウェイトは、結果の各々、１／（検索におけるランク）又は他の指標に対応する信頼度スコアに基づく。投票法及び重み付けは、例えば次のような文献に記載されているブースティング（boosting）アルゴリズムを使って調整可能である：“A Short Introduction To Boosting,”by Freund, Y. and Schapire, R., J. Japanese Society of Artificial Intelligence, v.14, no.5, pp.771-780, 1999。さらに、関連性が存在する場合、以下の何れかの方法を使って結果を出力することができる：ａ）関連する結果のグループの信頼度を合計し、最高の信頼度スコアをもたらしたアルゴリズムによる結果Ｒ１，ｎを出力する；又はｃ）出力するアルゴリズムの順序を（事前に測定した精度に基づいて）予め決定しておく。例えば、最初がＩＪであり、次がスネークコーディングであり、等々。
他の形態では、検索アルゴリズムの信頼度スコア、検索結果、認識スコア、尤度スコアＳｎ等の何らかの組み合わせ、及び／又は認識スコアを計算するのに使用される属性の何らかの組み合わせにより、分類器（例えば、ニューラルネットワーク、ナイーブベース分類器、ベイジアンベースの分類器、ＳＶＭベースの分類器）が調整されてもよい。検索時間、算出されたスコア及び入力画像の属性は、認識結果及び信頼度スコアを算出する調整対象の分類器に入力される（認識結果等は、誤差の余裕、分類の確からしさ等に基づいてもよい。）。
上記の実施形態に加えて、検索されたページ内の場所及び領域が、複数の認識結果の間で調整されてもよい。文書、ページ及び近似的なパッチロケーションが特定されると、本方法は、そのパッチの正確な場所を算出する。異なるアルゴリズムは異なるロケーション結果をもたらす可能性がある。アルゴリズムは、「ページ中の場所」の情報を生成しないかもしれないし、或いは、ｘ，ｙ座標のみを生成する、ｘ，ｙ座標と幅及び高さを生成する、四角形ではない（ｘ１，ｙ１，ｘ２，ｙ２）座標を生成する、或いは多角形や閉曲線等で規定された任意の形状を指定してもよい。最終的な検索領域、すなわちｘ，ｙ中心は、アルゴリズムの精度に基づいてアルゴリズムの優先度を指定し、その優先度に基づいて検索領域を出力することで見出すことができる。代替的に、一形態における方法は、検索領域の質量中心を平均化することで、ページ内の検索位置を見出す、或いは、閉じた領域の縁総てに至るハウスドルフ距離を最小化するｘ，ｙ座標を見出す。ページ内の検索領域は、四角形や多角形（等）で規定される領域を見出すことで規定され、その領域は、検索領域内の全体的なオーバーラップエラーを最小化する。

ターゲット情報の動的な提供
図２５は、ターゲット情報を動的に提供する本発明による一形態のシステム２５００におけるフローを示す。以下、本発明は、ターゲット情報が主に広告コンテンツである文脈で議論されてゆくが、ターゲット情報は如何なるタイプの情報でもよいこと、及びターゲット情報は単なる一例として使用されているに過ぎないことを、当業者は認識するであろう。一実施例では、コンテキスト認識ターゲット情報提供システム２５００は、移動装置１０２、ＭＭＲ照合部１０６、ユーザプロフィール用の第１データベース２５０６、広告情報用の第２データベース２５１６、ユーザコンテキスト用の第３データベース２５１８、第１比較エンジン２５０８、第２比較エンジン２５１４、第３比較エンジン２５３２、第１ウェイト調整部２５１２及び第２ウェイト調整部２５３０を有する。
本実施例は複数のデータベース２５０６、２５１６及び２５１８を有するように描かれているが、当業者は、代替実施例におけるシステム２５００が単独のデータベースを含み、その単独のデータベースが、コンテキスト認識ターゲット情報提供システム２５００の動作に必要なコンテンツを提供してもよいことを認識するであろう。同様に、本実施例は複数の比較エンジン２５０８、２５１４及び２５３２を有するように説明しているが、代替実施例では、システム２５００が単独の比較エンジンを含み、その比較エンジンが、第１比較エンジン２５０８、第２比較エンジン２５１４及び第３比較エンジン２５３２の後述の比較を順番に行ってもよい。さらに、本実施例は複数のウェイト調整部２５１２及び２５３０を有する説明される。しかしながら代替実施例では、システム２５００は単独のウェイト調整部を含み、該ウェイト調整部は、第１ウェイト調整部２５１２及び第２ウェイト調整部２５３０の処理を実行するために再利用される。さらに別の実施形態に関し、当業者は、データベース、比較エンジン及びウェイト調整部を１つより多く幾つ設けてもよいことを認識するであろう。
コンテキスト認識ターゲット情報提供システム２５００は、ユーザプロフィール情報、文書コンテキスト、移動体の近接度及び過去の認識結果を利用して、ユーザに送信される又はユーザに表示される一群のターゲット広告を生成する。移動装置１０２のユーザ（例えば、ＭＭＲユーザ）は、そのユーザの属性に関する情報及び「興味ある話題、関心のあるトピックス（topics of interest）」と呼ばれるユーザの興味に関する情報を有する。移動装置１０２によりユーザが捕捉しているページ上の位置（すなわち、テキストパッチ）を特定することは、電子文書の一部分の上で電子機器レンズをうろつかせることに似ている。認識された文書部分は文書コンテキストを提供し、文書コンテキストは、そのテキストパッチに関連する文字（テキスト）、周辺テキスト（ターゲット一近辺にあるテキスト）、及びユーザが過去に探したターゲット（コンテキストを与える）を含む。特に、コンテキスト認識ターゲット情報提供システム２５００は、広告を生成するためにターゲットの広告生成部とともに複合的な照合を行い、その広告は、紙文書を用いて処理が進む場合にユーザに表示されるものに関連する。システムに対する入力として提供される情報の具体例は、パッチ画像；認識された、文書ＩＤ、Ｘ、Ｙ、幅及び高さ（ページ中の場所）；パッチ画像及び周囲テキストから認識されたテキスト；テキスト又は画像を含んでいるか否かのような画像属性；周辺のホットスポット情報；画像が捕捉されたＧＰＳ位置又は物理的な位置；画像が捕捉された日の時間やその年の時期（例えば、ランチタイム、クリスマス等）；過去の照合履歴、或いは最新のものより前に取得された他の画像；好みそうな話題やユーザコンテキストを含むユーザプロフィール等である。一実施例では、システム２５００は、ユーザ相互作用データ（UID：User Interaction Data）を定常的に収集し、発展するコンテキストを生成し、ターゲット広告の作成結果に影響するように使用される。この種の情報は、時間とともに変化する傾向をサーチするのに使用され、例えば、ユーザがエリア/ロケーションを頻繁に訪れるか否か及び訪れる時間、例えばランチタイムや夕方に「サンカルロス（San Carlos）」を頻繁に訪れるか否かのような傾向をサーチする。傾向情報（トレンド情報）は関連広告を改善する。なぜなら、上記の例の場合、概してユーザはランチタイムに「サンカルロス」にいるので、12pm及び1:30pm間の短期間の間、「レストラン」広告は、より重いウェイトを有するようにしてもよい。
図２５を参照しながら、コンテキスト認識ターゲット情報提供システム２５００をさらに説明する。移動装置１０２は、上述したように、画像パッチ２５０２を捕捉するのに使用される。移動装置１０２は、画像波値２５０２を与えるためにＭＭＲ照合部１０６に結合される。一実施例では、移動装置１０２は画像パッチをＭＭＲ照合部１０６に送信する。別の実施例では、移動装置１０２は、ある程度の処理を実行し、例えば画像属性をＭＭＲ照合部１０６に送信する。さらに別の例の場合、移動装置１０２はコンテキスト情報を取得し、コンテキスト情報は、ＧＰＳ信号等により決定されるようなユーザが画像を取得した物理的な場所や、画像が捕捉された時の年月日や時期（例えば、ランチタイム、クリスマス等）等を含む。移動装置１０２は、情報を与えるために第３データベースに結合され、後の使用に備えてその情報を第３データベース２５１８に格納する。
ＭＭＲ照合部１０６は、画像パッチ又は画像特徴について認識処理を行い、認識されたテキスト２５０４を生成する。ＭＭＲ照合部１０６は、上記の様々な如何なる方法により認識を実行してもよい。図２５に示されてはいないが、ＭＭＲ照合部１０６はソースデータベース（ＭＭＲデータベース２５４）だけでなくホットスポットデータベース４０４に結合され又はそれを含んでもよいことを当業者は認識するであろう（画像パッチ２５０２又は画像特徴はホットスポットデータベースと比較可能である。）。一実施例では、認識されたテキスト中のワードは、既に割り当てられている近接性ウェイトを伴っている。なぜなら、認識されたテキスト２５０４が検索される場合、近接性判定処理（類似判断）が実行されるからである。さらに別の実施例の場合、認識されたテキスト２５０４は、画像パッチに関連する認識されたテキストを含むだけでなく、認識されるテキストを囲む近接テキスト情報、関連するホットスポット情報、及び認識プロセスに関連する他の情報をも含む。換言すれば、移動装置１０２のカメラに組み込まれた電子レンズとともにユーザが探し出したページ上の位置（テキストパッチ）を認識することで、システム２５００は、その画像パッチに関連するテキスト、周辺テキスト（以下でさらに詳細に説明するように、ターゲット位置近辺にあるテキスト）、及びユーザが探した過去のターゲット（コンテキストを与える）を特定する。さらに具体的には、一実施例において、認識されたテキスト２５０４は、認識された、文書識別子（docID）、Ｘ、Ｙ、幅及び高さ（ページ中の場所）；パッチ画像及び周辺テキストから認識されたテキスト；テキスト又は画像を含んでいるか否かのような画像特徴；周辺ホットスポット情報等を含む。さらに別の実施例の場合、元画像パッチ（オリジナルの画像パッチ）が後の使用に備えて第３データベース２５１８に格納されてもよい。ＭＭＲ照合部１０６の出力は、第１比較エンジン２５０８の入力、及び第２比較エンジン２５１４の入力に結合され、認識されたテキスト２５０４を与える。
代替実施例において、ＭＭＲ照合部１０６は、カテゴリ：記述子１，．．．，記述子Ｎのように構成されたワードリストとして、認識されたテキストを生成する。画像パッチ２５０２の場合、カテゴリは画像のコンテンツを説明し、記述子はそのカテゴリに関するさらなる詳細である。例えば、２５０２がサンフランシスコジャイアンツの野球場（baseball field）の写真であった場合、カテゴリは場所（PLACE）であり、記述子１は「野球（baseball）」であり、記述子２は「場（field）」となるであろう。カテゴリの他の具体例は、「人（PERSON）」、「物（THING）」、「ビデオ（VIDEO）」、「文字（TEXT）」、「バーコード」及び「URL」等を含む。カテゴリや記述子は、例えば「肖像写真」や「景色」の写真等を撮影する場合のように、移動装置１０２における手動設定により生成されてもよい。或いは、カテゴリ及び記述子は、捕捉画像の自動的な分析により導出されてもよい。本実施例の場合、比較エンジン２５０８及び２５１４は、入力画像の識別子を、データベース２５０６及び２５１４内のオブジェクトのカテゴリ及び記述子と比較する。目下の例の場合、この処理は野球に関する話題（トピックス）２５０６及び野球に関する広告２５１６を抽出することになり、これらは例えばメジャーリーグ野球、野球グローブ会社等により提供される。
第１データベース２５０６は多数のユーザプロフィールを格納する。例えば、ユーザ各々について、第１データベース２５０６は、ユーザの興味（「興味のある話題」と言及される）に関する情報を含むプロフィール（特徴）を含む。ユーザプロフィールはユーザに関する他の情報も含み、例えば、年齢、性別、居所、市民権その他のユーザに関する情報を含んでよい。
第１比較エンジン２５０８は、第１データベース２５０６からのユーザプロフィール情報に加えて、認識されたテキスト２５０４を受信する。第１比較エンジン２５０８は、認識されたテキスト２５０４及びユーザプロフィール情報を使用して、関連話題リスト２５１０を生成する。より具体的には、移動装置１０２のユーザは、ＭＭＲ照合部１０６又はＭＭＲゲートウェイ１０４を用いて特定される。さらにその情報は、第１データベース２５０６中の特定のユーザプロフィールを特定するために使用される。ユーザプロフィール及び認識されたテキスト２５０４を比較することで、興味のある話題のリストは、移動装置１０２により捕捉された紙文書についていっそう適合する情報に絞り込まれる。
第２データベース２５１６は、広告情報のようなターゲット情報のデータベースである。一実施例では、広告情報は、広告自体と、広告に関連するキーワードと、広告に関連するテキストとを含む。一実施例では、カテゴリ名及び記述子が広告に関連付けられる。これは、広告をいっそう繊細に狙う手段をもたらす。例えば、メジャーリーグ野球（ＭＬＢ）に関する広告が、ＭＬＢのロゴの画像と、ゲームのチケットを購入するためのウェブサイトに至るリンクとで構成され、その広告にはカテゴリ＝野球、及び記述子＝今日の日付と、チケットを購入するためのＵＲＬとが割り当てられていてもよい。
第２比較エンジン２５１４は、ＭＭＲ照合部１０６に結合され、認識されたテキスト２５０４を受信する。また、第２比較エンジン２５１４は第２データベース２５１４に結合され、広告情報を受信する。第２比較エンジン２５１４は、ＭＭＲ照合部１０６から認識されたテキスト２５０４、及び第２データベース２５１６から広告情報を受信し、関連広告リスト２５２０を生成する。一実施例では、第２比較エンジン２５１４は、認識されたテキスト２５０４中のキーワードと第２データベースとを比較し、認識されたテキストに関する一群の関連広告２５２０を生成する。一群の関連広告２５２０は、以後のプロセスにおいてシステム２５００が抽出するのに使用される広告の集まりである。
第３データベース２５１８は、ユーザコンテキスト情報を格納するデータベースである。そのようなユーザコンテキスト情報は、上述したように、画像が捕捉された場所、画像が捕捉された日時、及び画像が捕捉された年月日や時期等を含んでもよい。ユーザコンテキスト情報は、現在の画像より前に捕捉された他の画像又は過去合致したものを含むユーザ履歴を含む。さらに別の実施例では、ユーザコンテキスト情報は、システム２５００が背景プロセスで収集したユーザインタラクションデータ（UID：User Interaction Data）を含み、これにより進展するコンテキストを生成し、意図する情報配信を促すようにする。システム２５００はこの種の情報を時間経過とともに収集及び保存する。そして、ユーザがエリア/ロケーションをしばしば頻繁に訪れているか否か及びそこを訪れる時間を調べるのに使用され、例えば、ランチタイムや夕方に「サンカルロス」を頻繁に訪れているか否か等のような傾向を調べるのに使用される。この傾向ないしトレンド情報は、関連するターゲット情報や広告の生成を促す。なぜなら、上記の例の場合、概してユーザはランチタイムに「サンカルロス」にいるので、12pm及び1:30pm間の短期間の間、「レストラン」広告は、より重いウェイトを有するようにしてもよい。
第１ウェイト調整部２５１２は、第１比較エンジン２５０８の出力に結合され、関連トピックス（関連する話題）２５１０を受信する。第１ウェイト調整部２５１２は、第３データベース２５１８の出力に結合された入力も有し、ユーザコンテキスト情報を受信する。例えば、第１信号線は、ロケーション情報（ＧＰＳ）２５２２を受けるために第１ウェイト調整部２５１２を第３データベース２５１８に結合し、第２信号線は、日時情報（ＤＴ）２５２４を受けるために第１ウェイト調整部２５１２を第３データベース２５１８に結合し、第３信号線は、ユーザコンテキスト情報（ＵＣ）２５２６を受信するために第１ウェイト調整部２５１２を第３データベース２５１８に結合する。他の例の場合、上記の情報を提供するため、１つの信号線が第３データベース２５１８を第１ウェイト調整部２５１２に結合する。第１ウェイト調整部２５１２は、関連トピックス２５１０の重み付けを調整し、重み付けが調整された関連トピックスを第３比較エンジン２５３２に提供する。特に、第１ウェイト調整部２５１２は、移動装置１０２により提供されるＧＰＳ信号から導出されるような現在位置と、関連トピックス２５１０に関する位置とを比較する。一実施例では、これは近接性サーチであり、第１ウェイト調整部２５１２は、現在の位置に近いロケーション特徴を有する広告をサーチする。何らかの関連するトピックス２５１０が発見された場合、第１ウェイト調整部２５１２は、そのような特徴を有するトピック（話題）各々のウェイトを増やす。第１ウェイト調整部２５１２は、関連話題リスト２５１０とともに画像が捕捉された日時を比較する。これは時間サーチであり、第１調整部２５１２は、時系列属性を有する話題をサーチする。時系列属性に合致する（又は近似的に合致する）何らかの話題が発見された場合、第１ウェイト調整部２５１２は、そのような話題各々のウェイトを修正する又は増やす。そして最後にウェイト調整部２５１２は、ユーザのコンテキストＵＣ２５２６と関連トピックス２５１０を比較し、何らかの合致する特徴の有無を判断する。より具体的には、第１ウェイト調整部２５１２は、テキスト、ホットスポット又はトピックスのようなコンテンツ（ユーザが見ていたコンテンツ）が、関連話題リスト２５１０中のトピックスに何らかの方法で関連しているか否かを判断する。類似性が見出された場合、第１ウェイト調整部２５１２は、それらの基準を満たす関連話題リスト中のトピックス各々のコンテキストウェイトを増やす。関連するトピックス２５１０のウェイトが修正されると、第１ウェイト調整部２５１２は、重み付けされた関連トピックスを第３比較エンジン２５３２に出力する。
第２ウェイト調整部２５３０は、第２比較エンジン２５１４の出力に結合され、関連広告（関連する広告）２５２０を受信する。第２ウェイト調整部２５３０は、第３データベース２５１８の出力に結合された入力も有し、ユーザコンテキスト情報を受信する。例え特に一実施例では、第１信号線は、ロケーション情報（ＧＰＳ）２５２２を受けるために第２ウェイト調整部２５３０を第３データベース２５１８に結合し、第２信号線は、日時情報（ＤＴ）２５２４を受けるために第２ウェイト調整部２５３０を第３データベース２５１８に結合し、第３信号線は、ユーザコンテキスト情報（ＵＣ）２５２６を受信するために第２ウェイト調整部２５３０を第３データベース２５１８に結合する。他の例の場合、上記の情報を提供するため、１つの信号線が第３データベース２５１８を第２ウェイト調整部２５３０に結合する。第２ウェイト調整部２５３０は、関連広告２５２０の重み付けを調整し、重み付けが調整された関連広告を第３比較エンジン２５３２に提供する。第２ウェイト調整部２５３０は、移動装置１０２の現在位置と関連広告２５２０とを比較する。これも近接性サーチであり、第２ウェイト調整部２５３０は、特定のロケーション特徴を有する広告をサーチする。発見されると、第２ウェイト調整部２５３０は、そのような特徴を有する広告のウェイトを増やす。例えば、レストラン、ガソリンスタンド、コーヒーショップ等のアドレスからＸマイルの範囲内に電話機があった場合、それらのウェイトが増やされる。第２ウェイト調整部２５３０は、関連広告リスト２５２０とともに画像が捕捉された日時を比較する。これは時間サーチであり、第２調整部２５３０は、時系列属性（例えば、クリスマスセールや、ランチの特別時間等）を有する広告をサーチする。時系列属性に合致する（又は近似的に合致する）何らかの広告が発見された場合、第２ウェイト調整部２５３０は、そのような広告各々のウェイトを修正する又は増やす。そして最後にウェイト調整部２５３０は、ユーザのコンテキストＵＣ２５２６と関連広告２５２０を比較し、何らかの合致する特徴の有無を判断する。より具体的には、第２ウェイト調整部２５３０は、テキスト、ホットスポット又はトピックスのようなコンテンツ（ユーザが見ていたコンテンツ）が、関連広告リスト２５２０中の広告に何らかの方法で関連しているか否かを判断する。類似性が見出された場合、第２ウェイト調整部２５３０は、それらの基準を満たす関連広告リスト２５２０中の広告各々のコンテキストウェイトを増やす。例えば、後述の具体例のコンテキスト項目は、ホーホー会社（WhooHoo Company）に関する記事の表示である。この場合、ユーザは、ホーホー（WhooHoo）に関する記事に関するテキストパッチを検索/照合することを首尾良く実行する、或いは、そのようなエリアのホットスポットを調べる。何れの場合も、ユーザはその記事に関心があり、ユーザの履歴の一部分として興味のあったことが記録される。関連する広告２５２０のウェイトが修正されると、第２ウェイト調整部２５３０は、重み付けされた関連広告を第３比較エンジン２５３２に出力する。
第３比較エンジン２５３２は、重み付けされた関連トピックス及び重み付けされた関連広告を比較し、ユーザが興味を持っている話題に最も関連する最終的な広告群２５３４を生成する。第３比較エンジン２５３２は、第１ウェイト調整部２５１２の出力及び第２ウェイト調整部２５３０の出力に結合されている。一実施例では、ロケーション、日付、時間及びユーザコンテキストウェイトは、第３比較エンジン２５３２により実行される比較処理を補助し、おそらくは、周辺、年月日又は過去のコンテキストに関するコンテキスト内にある広告に傾くようにバランスをとる。重み付けされた関連広告中の重み付けされた関連話題の中で一切合致がなかった場合、ウェイト値を加算し、最高スコアの広告を使用することで、最良の広告を判定するためにコンテキストウェイトが使用される。これらの最終的な広告は、移動装置１０２で表示するために送信される。さらに、最終結果は第３データベース２５１８に記録され、将来の使用に備えてコンテキストを記録する。
一実施例では、上述の構成要素は、西暦2006年1月5日付けで出願された“Method, System And Computer Code For Content Based Web Advertising”と題する米国特許出願第11/327,087号等において説明されており、この出願の内容全体は本願のリファレンスに組み入れられる。

ユーザインターフェース及び具体例
具体例として、「フレッド（Fred）」という名前の人物がおり、その人はビジネスマンであり、彼の移動装置１０２を使用して電話発信、電子メール、スケジューリング及びウェブの閲覧等を頻繁に行うものとする。また、フレッドはサンフランシスコジャイアンツ野球チームの熱烈なファンである。今、フレッドはニューヨークタイムス（New York Times）のビジネス欄を読んでいる。アップルコンピュータの新製品に関する記事を読んでいたとき、彼は、その製品を見てみたいと思い、それらが消費者電子機器業界における潜在的影響とともにどのように使用されるかに関するビデオを見ることを決定したとする。フレッドは彼の移動装置１０２を取り出し、イネーブルにするターゲット情報の動的表示アプリケーションにより、その文書をスキャンし始める。アプリケーションは、新聞紙から画像を捕捉し、それらを処理し、処理結果を表示する。フレッドは効率的に移動装置１０２を使用して新聞の印刷ページで記事を探し、焦点の合った印刷ページ上の領域を捕捉するレンズのように、移動装置１０２を使用する。移動装置１０２のカメラプレビューウインドウを介して新聞を眺めると、新聞のページ紙面上では見えない電子情報が示される。そのような項目はホットスポット（Hotspot）と呼ばれる。ホットスポットは電子コンテンツに至るように追加されたハイパーリンクであり、通常それらは（ホットスポットの）近辺にある記事にしか関連していない。移動装置１０２で利用可能なホットスポットは、文書中のテキストパッチに直接関連する情報だけでなく、さらなる広告分析を実行するための補足的情報をも提供してよい。目下の例の場合、ホットスポットのコンテンツが提供する追加的情報は、必要とされていない又は使用されていない。レンズ内の他のアイテム（項目）は、動的に生成される広告である。画像パッチが認識された場合、一群の広告が返される。何れの広告も、そのページのコンテンツ、ユーザの興味及びＭＭＲセッションのコンテンツに関連する。これらの広告は、新聞ページのコンテンツだけでなく、フレッドが興味を持っているものや、彼がＭＭＲアプリケーションにより最近読んだり選択した記事にも関連している。図２６を参照するに、紙文書２６０２及び移動装置１０２が示されており、上記の具体例に合致するターゲット情報の動的な提示を行うためのインターフェース例２６０６を示す。紙文書２６０２は新聞のページである。図２６は、移動装置１０２のカメラが捕捉した新聞ページの一部２６０４を示す。本発明により生成されるユーザインターフェース２６０６はあるウインドウであり、新聞ページの一部分２６０４に対応するテキストの電子バージョンを示す。例えば、ウインドウは、カメラによって捕捉されＭＭＲ照合部１０６に送られた画像パッチを示す。有利なことに、本発明は、視覚的に明確な複数のマーカー２６１０、２６１２及び２６０８を生成する。マーカー２６１０、２６１２及び２６０８の各々は、各自の機能に関連する形及び色を有し、そのホットスポットや広告の中でユーザがマーカーを容易に識別できるようにしている。マーカー２６１０、２６１２及び２６０８の各々は選択可能なボタンでもよく、ユーザは追加的な情報に拡張及びアクセスするようにそのボタンを切り替えることができる。この例の場合、ホットスポットデータはマーカー２６１２により表現され、そのマーカーは、ホットスポットが関連付けられているテキスト上の青色の四角いハイライトとして形成されている。広告は、ウインドウ周辺付近のマーカー２６０８及び２６１０により表現される。マーカー２６０８、２６１０の位置は、広告が関連付けられているウインドウ中のテキストにできるだけ接近している。マーカー２６０８、２６１０は緑色の細長い四角い形状を有し、それらがホットスポットマーカー２６１２と容易に識別できるようにしている。この図で使用されている形状や色彩は一例に過ぎず、他の様々な形状や色彩が代替的に使用されてよいことを、当業者は認めるであろう。
フレッドの当初の意図がアップル社製品に関するホットスポットデータを見ることであったとしても、移動装置１０２に現れる広告は、いくつかのより多くの選択肢をフレッドに与える。第１広告は、例えばアップルアイフォン（iPhone）のような移動装置で利用可能な新たな野球追跡ソフトウエアに関するものである。このソフトウエアは、国中の全ての野球ゲーム（メジャーリーグ野球シーズン中の１０月は必須）における最新情報を速やかに提供する。アイフォン上で動作することは有利である。なぜなら、フレッドはアップル社製品のファンであり、たまたまアイフォンを持っていることがあるからである。この広告はシステム２５００により選択される。なぜなら、a）フレッドは野球が好きであり（すなわち、彼のプロフィールの中で野球を指定し、特にサンフランシスコジャイアンツを好みのチームとして指定している情報を有する）、b）彼はアップル社製品を好み（これも彼のプロフィール内にある）、c）彼はアイフォンのユーザだからである。この場合、システム２５００は、ページコンテンツ及びユーザプロフィールに基づいて、この広告を見出す。図２７を参照するに、文書２６０２及び移動装置１０２が再び示されており、動的な表示を行うインターフェース例２６０６を示している。しかしながら、図２７は、ユーザが広告のマーカー２６１０を選択した後に、インターフェース２６０６がどのように変わるかを示している。特に、インターフェース２６０６は、第１広告２７０２を提示するように更新される。第１広告２７０２は、マーカー２６１０の右側に伸びた拡張ウインドウ内で表示される。この拡張機能は特に有利である。なぜなら、第１広告２７０２を閉じた場合、最小限の画面スペースしか占有しない一方、広告が脇から引き出されて提示されると、第１広告２７０２はユーザの注意を喚起するからである。一実施例では、拡張ウインドウは、マーカー２６１０と同じ色であり、マーカー２６１０より僅かに小さな高さを有する。第１広告２７０２は、販売するソフトウエアに関する情報を含む。図示されているように、文字を含むだけでなく、第１広告は図形も含み、広告される項目を並べ替えるボタンのような付加的な制御構造さえ含んでいてもよい。
マーカー２６０８により表現される第２広告は、WhooHooテクノロジと呼ばれる会社に関するものであり、アドバンストギズモディクト（Advanced gizmodicts）を伴うスタートアップである。マイクロソフトとアップルは、その会社を取得することに最近意欲を見せている。新聞を読む前に、フレッドは彼のＭＭＲアプリケーションによりWhooHooテクノロジに関する記事をスキャンし、そこのウェブサイトを彼の移動装置を用いて表示する。第２広告は、さらなる情報を少し必要とする。ページのコンテンツ（アップルに関するもの）及びフレッドのプロフィール（彼がアップルを好きだということ）に基づいての広告を選択するだけでなく、ＭＭＲアプリケーションによる彼の履歴も使用される。WhooHoo会社に関する情報をその日の早期に彼は取得しているが、そのことは、その情報を、彼の現在のコンテキストの一部分にする。アップル社の次回製品販売に関する別の（矛盾する）広告が選択されていたとすると、そのことは、彼が「WhooHoo」に関する経験（情報取得）を前もって行わせていないであろう。図２８を参照するに、文書２６０２及び移動装置１０２が示されており、インターフェース２６０６及び第２広告２８０２の一例を示す。特に、インターフェース２６０６は、第２広告を提示するように更新されている。第２広告２８０２は、マーカー２６０８の左側に伸びる拡張ウインドウに示されている。この拡張機能は特に有利である。なぜなら、第２広告２８０２を閉じた場合、最小限の画面スペースしか占有しないからである。一実施例では、拡張ウインドウは、マーカー２６０８と同じ色であり、マーカー２６０８より僅かに小さな高さを有する。第２広告２８０２は、WhooHoo会社に関する文字及び図形の情報を含む。
図２９は、日時のコンテキスト情報がどのように使用されて選択結果に影響するかの一例を示す。図２９は第３広告２９０２を示し、この第３広告は図２８の第２広告２８０２の代わりに使用されている。この場合、第３広告２９０２は、第２広告２８０２に関して上述したのと同様な表示及び機能を有するが、広告の内容は顕著に異なる。この例の場合、その年のその時期がクリスマスに近いこと、及びユーザプロフィールが彼はクリスマスが好きなことを示していることに基づいて、第３広告２９０２が選択されている。したがって、WhooHooに関する情報を提供する第２広告２８０２ではなく、第３広告は、サンタクロースを表すアップルコンピュータの広告である。
システム２５００は、近接性情報を利用して、ユーザの現在の状況（コンテキスト）に関する関連情報を特定することもできる。例えば、上記の例の場合、ターゲット情報の動的な提示を行うアプリケーションによる支援とともに、フレッドは新聞を読み続け、さらなるコンテンツをもたらす新聞の場所が、ユーザインターフェース２６０２の中に反映される。この例の場合、近接性インジケータ３００２が、さらなるコンテンツ方面のインターフェース２６０２の周辺近辺に設けられている。図３０は文書２６０２及び移動装置１０２を示し、本発明による近接性インジケータ３００２を伴う動的表示用のインターフェース２６０２を示している。一実施例では、近接性インジケータ３００２は広告に関するマーカー２６１０、２６０８と同じ形状を有するが、異なる色（例えば、オレンジ色）を有し、それが広告のマーカー２６１０、２６０８と区別できるようにする。上述したように、近接性インジケータ３００２の場所はインターフェース２６０２の左側にあり、現在の画像よりも左側の新聞画像２６０２が取得されるように、ユーザが移動装置１０２を動かした場合、そのページ２６０２のその場所に関する追加的なさらなるコンテンツが登場することを示す。フレッドが近接性インジケータ３００２を見た場合、彼は、その情報を見るためには、移動装置１０２をそのページ２６０２から引き離すことでページ２６０２の視野を広げる必要があること、或いは近接性インジケータ３００２の方向に動かす必要があることを知っている。この場合において、フレッドは、図３１の画像パッチに示されているように、フレッドは近接性インジケータ３００２の側に動かしている。近接性インジケータ３００２の方向に動かした後、関連する広告がアクティブになり（例えば、緑色になり）、広告が関連するテキスト近辺に位置付けられる。図示されているように、例えばオレンジ色の近接性インジケータ３００２は、例えば緑色の広告マーカー３１０２により置換される。
図３２Ａ及び３２Ｂを参照しながら、ワード関連性を判定する本発明によるプロセスを説明する。パッチテキスト及び近接性ワード情報の双方を利用して、ユーザが移動装置１０２により現在見ているものに関し、ワードの重要性を重み付けする。システム２５００は、距離測定を行って現在の画像の中心からの外向きの距離を算出する。システム２５００がこれを算出できるのは、システムはユーザがスキャンしている文書のソースに至るアクセス権を有するからである。索引付けされてＭＭＲデータベース２５４に加えられた時点におけるソース文書コンテンツは、データベースの中で次のように保存されている：
「ワード１」Ｘ，Ｙ，幅，高さ
「ワード２」Ｘ，Ｙ，幅，高さ
「ワード３」Ｘ，Ｙ，幅，高さ
・・・
「ワードｎ」Ｘ，Ｙ，幅，高さ。
パッチがＭＭＲシステム２５００により認識された場合、パッチのＸ、Ｙ、幅及び高さを使用して、それらの座標に合う文書中のワードを特定する。次に、パッチ領域中の各ワードについて距離ウェイトを生成する計算が行われ、より中心に近いワードは、視野の端に近いワードよりも高い値（ウェイト）を有する。ワード距離を評価する１つの方法は、一群の階層３２１２、３２１４、３２１６及び３２１８を使用することであり、その一群の階層は重み付けプロセスの境界を設定する。例えば、図３２Ａはテキストパッチ及び境界３２１２、３２１４、３２１６及び３２１８を示し、これらは個々のワードを重み付けする仕方を決める。各階層３２１２、３２１４、３２１６及び３２１８は、現在の表示領域の一部を示す。例えば、中央の階層３２１４（中心に最も近い最高値をもたらすもの）は、表示領域を５０％だけスケーリングし、そのサイズの四角形を階層１として使用することで表現される。各階層は表示領域の中で同心状に（水平方向及び垂直方向に関して）揃えられる。階層２である３２１６は、割合を７０％に増やし、やや大きい四角形を生成することで算出され、これも表示領域内で同心状にされる。システム２５００の構成に依存して、このプロセスは、最後の階層が表示領域の寸法を利用して生成されるまで続く。この構築ステップは、階層及びウェイトを生成するのに必要な情報を提供する。例えば、１つの具体例は、階層値の組（ペア）［{T1=50%,0.45}，{T2=60%,0.35}，{T3=70%,0.25}，{T4=80%,0.08}，{T5=100%,0.04}］を使用する。この値のペアは、現在の表示画像領域に関する四角形のサイズを規定し、その四角形の境界内に該当するワードにウェイト値が割り当てられる。本方法と容易に置換可能なワード距離を算出するさらに複雑で精密な方法が存在することを、当業者は認識するであろう。現在の表示領域外に該当するワードの近接性を重み付けする際に、同様な技法が使用可能である。必要であれば、現在の文書ページに関するワードの全体的な一覧（カタログ）が使用されてもよい。図３２Ａ及び３２Ｂは、文書３２０５又は３２５０を図示しており、本発明によるワード関連性を判定するのに使用される近接性領域３２１２、３２１４、３２１６及び３２１８を示す。ワードの重み付けは、表示領域の中心３２１２に対する近接性に基づいている。図３２Ａは、カメラがページから大幅に離れた場合、例えば表示領域内により多くの言葉が存在する場合に、移動装置１０２のディスプレイに生成されるプレビュー領域３２０２を示す。これに対しては、図３２Ｂは、カメラがページに近づいた場合、例えば表示領域内に少ない言葉しかない場合に、移動装置１０２のディスプレイに生成されるプレビュー領域３２５０を示す。
代替実施例において、広告が関連タイプを有し、その関連タイプは広告情報の第２データベース２５１６に保存されてもよいことを、当業者は認識するであろう。例えば、第１広告タイプは、スポンサが製品又はサービスを販売しようとしている商業広告であり；第２広告タイプは無償広告であり、スポンサは選択した又は特定の視聴者から情報を取得しようとしており；第３広告タイプはホビー広告であり、ユーザは興味対象のプロフィールを完成させており、そのプロフィールはプロフィールに関する情報を表示する際に使用され；最後のタイプの広告は旅行広告であり、広告のコンテンツは旅行に特に関連している。この僅かな例以外の様々な広告が存在することを、当業者は認識するであろう。さらに、コンテキスト、ユーザ及び広告に関する情報が具体的であればあるほど、より絞り込まれた特化された広告が個々のユーザに提供可能になることが、認識されるべきである。より具体的に広告を特化すればするほど、情報普及や販売の観点から、より大きな転換率（conversion rate）になる。
以上、本発明に関する実施例が、例示及び説明を意図してなされてきた。これらが網羅的であることや、本発明を開示された厳密な形態に限定することは、意図されていない。上記の教示内容により、多くの修正例や変形例が可能である。本発明の範囲は、この詳細な説明によって限定されるのではなく、特許請求の範囲によって規定されるように意図されている。当業者に理解されるように、本発明は、その精神又は本質的特徴から逸脱せずに、他の具体的な形式で実現されてもよい。同様に、モジュール、ルーチン、特徴機能、属性、方法及び他の態様に関する具体的な名称や分け方は、必須でもなく重要でもない。本発明又は本発明の特徴機能を実現する手段（仕組み）は、異なる名称や、異なる分け方及び／又は形式でもよい。さらに、当業者には明らかであるように、モジュール、ルーチン、特徴、属性、方法及び他の本発明の態様は、ソフトウエア、ハードウエア又はファームウエアにより、又はそれら三者の如何なる組み合わせにより実現されてもよい。本発明のモジュールの一例のコンポーネントがソフトウエアで実現される場合、コンポーネントは、スタンドアローンプログラムとして、大規模なプログラムの一部分として、複数個の個々のプログラムとして、静的に又は動的にリンクしたライブラリとして、カーネルローダブルモジュールとして、デバイスドライバとして実現されてもよく、及び／又はコンピュータプログラミングの技術分野における通常の知識を有する者にとって現在又は将来知られる他の如何なる方法で実現されてもよい。さらに、本発明は、特定のどのプログラミング言語で実現されることにも限定されず、また、特手のどのオペレーティングシステム／環境で実現することにも限定されない。したがって明細書の開示内容は例示的なものであるに過ぎず、特許請求の範囲で規定されている本発明の範囲を限定しようとするものではない。
以下、実施の形態により教示される手段を例示的に列挙する。
［付記１］
画像を受信するステップと、
前記画像を用いて文書認識処理を実行し、認識したテキストを生成するステップと、
前記認識したテキスト及びユーザプロフィール情報を利用して、関連する話題のリストを生成するステップと、
前記認識したテキスト及びターゲット情報を利用して、関連情報のリストを生成するステップと、
前記関連する話題のリスト及び前記関連情報のリストを比較し、情報の最終リストを生成するステップと
を有する、ターゲット情報を検索及び出力する方法。
［付記２］
移動装置を用いて前記画像を取得するステップと、
前記情報の最終リストのインジケータを前記移動装置上で表示するステップと
を有する付記１記載の方法。
［付記３］
前記インジケータを選択するユーザ入力を受信し、前記移動装置で表示するさらなるコンテンツを送信するステップを有する、付記２記載の方法。
［付記４］
関連する話題の前記リスト中の関連する話題の内の１つのウェイトを、ユーザのコンテキスト情報に基づいて調整するステップをさらに有する、付記１記載の方法。
［付記５］
前記ユーザのコンテキスト情報は、
パッチ画像、認識された文書、認識された文書中の場所及びページ、パッチ画像中の認識されたテキスト、パッチ画像の周辺テキスト、パッチ画像の画像属性、ホットスポット情報、画像が捕捉された物理的な場所、画像が捕捉された日の時間、画像が捕捉された年の時期、過去に合致したものの履歴、最新のもの以前に捕捉された他の画像及びユーザコンテキスト
を含む群中の１つである、付記４記載の方法。
［付記６］
関連情報の前記リスト中に含まれている関連情報の１つのウェイトを、ユーザのコンテキスト情報に基づいて調整するステップを有する、付記１記載の方法。
［付記７］
前記ユーザのコンテキスト情報は、
パッチ画像、認識された文書、認識された文書中の場所及びページ、パッチ画像中の認識されたテキスト、パッチ画像の周辺テキスト、パッチ画像の画像属性、ホットスポット情報、画像が捕捉された物理的な場所、画像が捕捉された日の時間、画像が捕捉された年の時期、過去に合致したものの履歴、最新のもの以前に捕捉された他の画像及びユーザコンテキスト
を含む群中の１つである、付記６記載の方法。
［付記８］
関連情報の前記リスト中に含まれている関連情報の１つのウェイトを、ユーザのコンテキスト情報に基づいて調整するステップが、距離測定を行って、現在の画像の中心から外側に向かう距離を計算することで、ワード関連性を判定するステップを有する、付記６記載の方法。
［付記９］
情報の前記最終リストをユーザのコンテキストデータベースに格納するステップを有する、付記１記載の方法。
［付記１０］
入力画像のパッチに関するターゲット情報を検索及び出力するシステムであって、
前記入力画像を受信する入力と、前記入力画像から認識されたテキストを出力する出力とを有する照合部と、
認識されたテキストを前記照合部から受信する第１入力と、ユーザプロフィール情報を受信する第２入力と、関連する話題のリストを出力する出力とを有する第１比較エンジンと、
認識されたテキストを前記照合部から受信する第１入力と、ターゲット情報を受信する第２入力と、関連情報のリストを出力する出力とを有する第２比較エンジンと、
前記第１比較エンジンの出力に結合された第１入力と、前記第２比較エンジンの出力に結合された第２入力と、関連する話題のリスト及び関連情報のリストを比較することでターゲット情報の最終リストを出力する出力とを有する第３比較エンジンと
を有するシステム。
［付記１１］
入力及び出力を有し、関連する話題のリスト中の関連する話題の１つのウェイトをユーザのコンテキスト情報を用いて調整するウェイト調整部をさらに有し、該ウェイト調整部の入力は前記第１比較エンジンの出力に結合され、該ウェイト調整部の出力は前記第３比較エンジンの前記第１入力に結合されている、付記１０記載のシステム。
［付記１２］
前記ユーザのコンテキスト情報は、
パッチ画像、認識された文書、認識された文書中の場所及びページ、パッチ画像中の認識されたテキスト、パッチ画像の周辺テキスト、パッチ画像の画像属性、ホットスポット情報、画像が捕捉された物理的な場所、画像が捕捉された日の時間、画像が捕捉された年の時期、過去に合致したものの履歴、最新のもの以前に捕捉された他の画像及びユーザコンテキスト
を含む群中の１つである、付記１１記載のシステム。
［付記１３］
入力及び出力を有し、関連情報のリスト中の１つのウェイトをユーザのコンテキスト情報を用いて調整するウェイト調整部をさらに有し、該ウェイト調整部の入力は前記第２比較エンジンの出力に結合され、該ウェイト調整部の出力は前記第３比較エンジンの前記第１入力に結合されている、付記１０記載のシステム。
［付記１４］
前記ユーザのコンテキスト情報は、
パッチ画像、認識された文書、認識された文書中の場所及びページ、パッチ画像中の認識されたテキスト、パッチ画像の周辺テキスト、パッチ画像の画像属性、ホットスポット情報、画像が捕捉された物理的な場所、画像が捕捉された日の時間、画像が捕捉された年の時期、過去に合致したものの履歴、最新のもの以前に捕捉された他の画像及びユーザコンテキスト
を含む群中の１つである、付記１３記載のシステム。
"A Computational Approach To Edge Detection,"Canny, J., IEEE Trans. Pattern Analysis and Machine Intelligence, 8:679-714, 1986。 "Restoring Ink Bleed-Through Degraded Document Images Using a Recursive Unsupervised Classification Technique,"P.Rosen, et al., Proceedings of the 6th British Machine Vision Conference, 1995。 "Perspective Correction Methods For Camera Based Document Analysis," by Jagannathan et al., Proc. First Int. Workshop on Camera-based Document Analysis and Recognition, 2005。 "Text Detection from Natural Scene Images: Towards A System For Visually Impaired Persons,"N.Ezaki, et al., Proc. of 17th Int. Conf. on Pattern Recognition(ICPR 2004), IEEE Computer Society, 2004, pp.683-686, vol.II, 23-26 August, Cambridge, UK。 "Use Of The Houph Transformation To Detect Lines And Curves In Pictures,"R.Duda and P.Hart, Communications of the ACM, Vol.15, pp11-15, 1972 "A Survey Of Table Recognition,"by R Zanibbi, D Blostein, JR Cordy, International Journal on Document Analysis and Recognition, 2004; "Face Detection: A Survey,"by E Hjelmas, BK Low, Computer Vision and Image Understanding, 2001
１００ ＭＭＲシステム
１０２ａ−１０２ｎ 移動装置
１０４ ＭＭＲゲートウェイ
１０６ ＭＭＲ照合部
１０８ ＭＭＲ発行部
１１０ コンピュータ
１３２ａ−１３２ｎ 信号線

Claims (12)

  1. コンピュータが処理する処理方法であって、
    ユーザ装置から問い合わせ画像を受信するステップと、
    前記問い合わせ画像を用いて画像認識処理を実行し、認識されたテキスト情報を特定するステップと、
    前記問い合わせ画像が捕捉された場所又は時を示す捕捉情報と、前記問い合わせ画像を受信する前に受信した過去の問い合わせ画像に対する認識結果を示すユーザ履歴情報と、を少なくとも含むユーザコンテキスト情報をデータベースから取得するステップと、
    前記認識されたテキスト情報及び前記ユーザコンテキスト情報に基づいて、前記ユーザ装置に送信するターゲット情報を取得するステップと
    を有する処理方法。
  2. 前記ユーザ装置は移動装置である、請求項１に記載の処理方法。
  3. ターゲット情報に関するウェイトを、前記ユーザコンテキスト情報に基づいて調整するステップをさらに有する、請求項１に記載の処理方法。
  4. 前記ユーザコンテキスト情報は、更に、
    パッチ画像、認識された文書、認識された文書中の場所及びページ、パッチ画像中の認識されたテキスト、パッチ画像の周辺テキスト、パッチ画像の画像属性、及びホットスポット情報
    から成る群のうちの少なくとも１つを示す、請求項１に記載の処理方法。
  5. 処理方法をコンピュータに実行させるコンピュータプログラムであって、前記処理方法は、
    ユーザ装置から問い合わせ画像を受信するステップと、
    前記問い合わせ画像を用いて画像認識処理を実行し、認識されたテキスト情報を特定するステップと、
    前記問い合わせ画像が捕捉された場所又は時を示す捕捉情報と、前記問い合わせ画像を受信する前に受信した過去の問い合わせ画像に対する認識結果を示すユーザ履歴情報と、を少なくとも含むユーザコンテキスト情報をデータベースから取得するステップと、
    前記認識されたテキスト情報及び前記ユーザコンテキスト情報に基づいて、前記ユーザ装置に送信するターゲット情報を取得するステップと
    を有する、コンピュータプログラム。
  6. 前記ユーザ装置が移動装置である、請求項５に記載のコンピュータプログラム。
  7. 前記処理方法が、ターゲット情報に関するウェイトを、前記ユーザコンテキスト情報に基づいて調整するステップをさらに有する、請求項５に記載のコンピュータプログラム。
  8. 前記ユーザコンテキスト情報は、更に、
    パッチ画像、認識された文書、認識された文書中の場所及びページ、パッチ画像中の認識されたテキスト、パッチ画像の周辺テキスト、パッチ画像の画像属性、及びホットスポット情報
    から成る群のうちの１つを示す、請求項５に記載のコンピュータプログラム。
  9. ユーザ装置から問い合わせ画像を受信する手段と、
    前記問い合わせ画像を用いて画像認識処理を実行し、認識されたテキスト情報を特定する手段と、
    前記問い合わせ画像が捕捉された場所又は時を示す捕捉情報と、前記問い合わせ画像を受信する前に受信した過去の問い合わせ画像に対する認識結果を示すユーザ履歴情報と、を少なくとも含むユーザコンテキスト情報をデータベースから取得する手段と、
    前記認識されたテキスト情報及び前記ユーザコンテキスト情報に基づいて、前記ユーザ装置に送信するターゲット情報を取得する手段と
    を有する処理装置。
  10. 前記ユーザ装置が移動装置である、請求項９に記載の処理装置。
  11. ターゲット情報に関するウェイトを、前記ユーザコンテキスト情報に基づいて調整する手段をさらに有する、請求項９に記載の処理装置。
  12. 前記ユーザコンテキスト情報は、更に、
    パッチ画像、認識された文書、認識された文書中の場所及びページ、パッチ画像中の認識されたテキスト、パッチ画像の周辺テキスト、パッチ画像の画像属性、及びホットスポット情報
    から成る群のうちの１つを示す、請求項９に記載の処理装置。
JP2013222652A 2008-12-23 2013-10-25 処理方法、コンピュータプログラム及び処理装置 Active JP5621897B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/342,330 US8156116B2 (en) 2006-07-31 2008-12-23 Dynamic presentation of targeted information in a mixed media reality recognition system
US12/342,330 2008-12-23

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2009289546A Division JP5482185B2 (ja) 2008-12-23 2009-12-21 ターゲット情報を検索及び出力する方法及びシステム

Publications (2)

Publication Number Publication Date
JP2014053029A JP2014053029A (ja) 2014-03-20
JP5621897B2 true JP5621897B2 (ja) 2014-11-12

Family

ID=42108710

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2009289546A Active JP5482185B2 (ja) 2008-12-23 2009-12-21 ターゲット情報を検索及び出力する方法及びシステム
JP2013222655A Active JP5829662B2 (ja) 2008-12-23 2013-10-25 処理方法、コンピュータプログラム及び処理装置
JP2013222652A Active JP5621897B2 (ja) 2008-12-23 2013-10-25 処理方法、コンピュータプログラム及び処理装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2009289546A Active JP5482185B2 (ja) 2008-12-23 2009-12-21 ターゲット情報を検索及び出力する方法及びシステム
JP2013222655A Active JP5829662B2 (ja) 2008-12-23 2013-10-25 処理方法、コンピュータプログラム及び処理装置

Country Status (3)

Country Link
US (4) US8156116B2 (ja)
EP (1) EP2202646B1 (ja)
JP (3) JP5482185B2 (ja)

Families Citing this family (210)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8949287B2 (en) 2005-08-23 2015-02-03 Ricoh Co., Ltd. Embedding hot spots in imaged documents
US8868555B2 (en) 2006-07-31 2014-10-21 Ricoh Co., Ltd. Computation of a recongnizability score (quality predictor) for image retrieval
US8332401B2 (en) * 2004-10-01 2012-12-11 Ricoh Co., Ltd Method and system for position-based image matching in a mixed media environment
US8510283B2 (en) 2006-07-31 2013-08-13 Ricoh Co., Ltd. Automatic adaption of an image recognition system to image capture devices
US8600989B2 (en) 2004-10-01 2013-12-03 Ricoh Co., Ltd. Method and system for image matching in a mixed media environment
US10192279B1 (en) 2007-07-11 2019-01-29 Ricoh Co., Ltd. Indexed document modification sharing with mixed media reality
US8176054B2 (en) 2007-07-12 2012-05-08 Ricoh Co. Ltd Retrieving electronic documents by converting them to synthetic text
US8144921B2 (en) * 2007-07-11 2012-03-27 Ricoh Co., Ltd. Information retrieval using invisible junctions and geometric constraints
US8156116B2 (en) * 2006-07-31 2012-04-10 Ricoh Co., Ltd Dynamic presentation of targeted information in a mixed media reality recognition system
US8856108B2 (en) 2006-07-31 2014-10-07 Ricoh Co., Ltd. Combining results of image retrieval processes
US7702673B2 (en) 2004-10-01 2010-04-20 Ricoh Co., Ltd. System and methods for creation and use of a mixed media environment
US7917554B2 (en) * 2005-08-23 2011-03-29 Ricoh Co. Ltd. Visibly-perceptible hot spots in documents
US8369655B2 (en) 2006-07-31 2013-02-05 Ricoh Co., Ltd. Mixed media reality recognition using multiple specialized indexes
US9171202B2 (en) 2005-08-23 2015-10-27 Ricoh Co., Ltd. Data organization and access for mixed media document system
US8825682B2 (en) 2006-07-31 2014-09-02 Ricoh Co., Ltd. Architecture for mixed media reality retrieval of locations and registration of images
US9405751B2 (en) 2005-08-23 2016-08-02 Ricoh Co., Ltd. Database for mixed media document system
US9495385B2 (en) 2004-10-01 2016-11-15 Ricoh Co., Ltd. Mixed media reality recognition using multiple specialized indexes
US7812986B2 (en) 2005-08-23 2010-10-12 Ricoh Co. Ltd. System and methods for use of voice mail and email in a mixed media environment
US8385589B2 (en) * 2008-05-15 2013-02-26 Berna Erol Web-based content detection in images, extraction and recognition
US9373029B2 (en) 2007-07-11 2016-06-21 Ricoh Co., Ltd. Invisible junction feature recognition for document security or annotation
US8838591B2 (en) 2005-08-23 2014-09-16 Ricoh Co., Ltd. Embedding hot spots in electronic documents
US9384619B2 (en) 2006-07-31 2016-07-05 Ricoh Co., Ltd. Searching media content for objects specified using identifiers
US9530050B1 (en) 2007-07-11 2016-12-27 Ricoh Co., Ltd. Document annotation sharing
US8521737B2 (en) 2004-10-01 2013-08-27 Ricoh Co., Ltd. Method and system for multi-tier image matching in a mixed media environment
US8335789B2 (en) * 2004-10-01 2012-12-18 Ricoh Co., Ltd. Method and system for document fingerprint matching in a mixed media environment
US8201076B2 (en) 2006-07-31 2012-06-12 Ricoh Co., Ltd. Capturing symbolic information from documents upon printing
US8489987B2 (en) 2006-07-31 2013-07-16 Ricoh Co., Ltd. Monitoring and analyzing creation and usage of visual content using image and hotspot interaction
US9020966B2 (en) 2006-07-31 2015-04-28 Ricoh Co., Ltd. Client device for interacting with a mixed media reality recognition system
US9176984B2 (en) 2006-07-31 2015-11-03 Ricoh Co., Ltd Mixed media reality retrieval of differentially-weighted links
US9063952B2 (en) 2006-07-31 2015-06-23 Ricoh Co., Ltd. Mixed media reality recognition with image tracking
US8676810B2 (en) 2006-07-31 2014-03-18 Ricoh Co., Ltd. Multiple index mixed media reality recognition using unequal priority indexes
US7941092B2 (en) * 2006-11-22 2011-05-10 Bindu Rama Rao Media distribution server that presents interactive media to a mobile device
US8478250B2 (en) 2007-07-30 2013-07-02 Bindu Rama Rao Interactive media management server
US10803474B2 (en) 2006-11-22 2020-10-13 Qualtrics, Llc System for creating and distributing interactive advertisements to mobile devices
US8700014B2 (en) 2006-11-22 2014-04-15 Bindu Rama Rao Audio guided system for providing guidance to user of mobile device on multi-step activities
US11256386B2 (en) 2006-11-22 2022-02-22 Qualtrics, Llc Media management system supporting a plurality of mobile devices
US8819215B2 (en) * 2007-01-29 2014-08-26 Nokia Corporation System, methods, apparatuses and computer program products for providing step-ahead computing
FR2913510B1 (fr) * 2007-03-07 2009-07-03 Eastman Kodak Co Procede pour determiner automatiquement une probabilite de saisie d'images avec un terminal a partir de donnees contextuelles
US8584042B2 (en) * 2007-03-21 2013-11-12 Ricoh Co., Ltd. Methods for scanning, printing, and copying multimedia thumbnails
US20080235564A1 (en) * 2007-03-21 2008-09-25 Ricoh Co., Ltd. Methods for converting electronic content descriptions
US8812969B2 (en) 2007-03-21 2014-08-19 Ricoh Co., Ltd. Methods for authoring and interacting with multimedia representations of documents
US8892171B2 (en) 2007-06-20 2014-11-18 Qualcomm Incorporated System and method for user profiling from gathering user data through interaction with a wireless communication device
US8886259B2 (en) * 2007-06-20 2014-11-11 Qualcomm Incorporated System and method for user profiling from gathering user data through interaction with a wireless communication device
US20090094113A1 (en) * 2007-09-07 2009-04-09 Digitalsmiths Corporation Systems and Methods For Using Video Metadata to Associate Advertisements Therewith
US10528925B2 (en) 2008-01-18 2020-01-07 Mitek Systems, Inc. Systems and methods for mobile automated clearing house enrollment
US10102583B2 (en) 2008-01-18 2018-10-16 Mitek Systems, Inc. System and methods for obtaining insurance offers using mobile image capture
US10685223B2 (en) 2008-01-18 2020-06-16 Mitek Systems, Inc. Systems and methods for mobile image capture and content processing of driver's licenses
US9298979B2 (en) 2008-01-18 2016-03-29 Mitek Systems, Inc. Systems and methods for mobile image capture and content processing of driver's licenses
US20130085935A1 (en) 2008-01-18 2013-04-04 Mitek Systems Systems and methods for mobile image capture and remittance processing
US9842331B2 (en) 2008-01-18 2017-12-12 Mitek Systems, Inc. Systems and methods for mobile image capture and processing of checks
US9292737B2 (en) 2008-01-18 2016-03-22 Mitek Systems, Inc. Systems and methods for classifying payment documents during mobile image processing
US8190604B2 (en) * 2008-04-03 2012-05-29 Microsoft Corporation User intention modeling for interactive image retrieval
US20090300495A1 (en) * 2008-06-02 2009-12-03 Novell, Inc. System and method for an adaptive wizard utility for graphical user interfaces
US20090304169A1 (en) * 2008-06-05 2009-12-10 Gv Concepts Inc. Advertisement or information feeding method, system, and program for completing deals between potential consumers and information providers
US10210179B2 (en) * 2008-11-18 2019-02-19 Excalibur Ip, Llc Dynamic feature weighting
DE102008054985B4 (de) * 2008-12-19 2012-02-02 Sirona Dental Systems Gmbh Verfahren und Vorrichtung zur optischen Vermessung von dreidimensionalen Objekten mittels einer dentalen 3D-Kamera unter Verwendung eines Triangulationsverfahrens
US9760906B1 (en) 2009-03-19 2017-09-12 Google Inc. Sharing revenue associated with a content item
US8600849B1 (en) 2009-03-19 2013-12-03 Google Inc. Controlling content items
US9170995B1 (en) * 2009-03-19 2015-10-27 Google Inc. Identifying context of content items
JP4770960B2 (ja) * 2009-03-30 2011-09-14 カシオ計算機株式会社 画像検索システム及び画像検索方法
US8086912B2 (en) * 2009-04-02 2011-12-27 International Business Machines Corporation Monitoring and root cause analysis of temporary process wait situations
US8219539B2 (en) * 2009-04-07 2012-07-10 Microsoft Corporation Search queries with shifting intent
US8385660B2 (en) 2009-06-24 2013-02-26 Ricoh Co., Ltd. Mixed media reality indexing and retrieval for repeated content
US8761435B2 (en) * 2009-06-24 2014-06-24 Navteq B.V. Detecting geographic features in images based on invariant components
KR101778135B1 (ko) * 2009-08-24 2017-09-14 삼성전자주식회사 오브젝트 정보 제공방법 및 이를 적용한 촬영장치
US20110087753A1 (en) * 2009-10-12 2011-04-14 Hongtao Yu System for delivery of targeted advertising to internet users
US20120254071A1 (en) * 2009-12-17 2012-10-04 Nec Corporation Text mining system, text mining method and recording medium
US8903812B1 (en) 2010-01-07 2014-12-02 Google Inc. Query independent quality signals
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
CN102906623A (zh) 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
US8433142B2 (en) 2010-04-05 2013-04-30 The Nielsen Company (Us), Llc Methods and apparatus to detect differences between images
US9208393B2 (en) 2010-05-12 2015-12-08 Mitek Systems, Inc. Mobile image quality assurance in mobile document image processing applications
US10891475B2 (en) * 2010-05-12 2021-01-12 Mitek Systems, Inc. Systems and methods for enrollment and identity management using mobile imaging
US20140279642A1 (en) * 2013-03-15 2014-09-18 Mitek Systems, Inc. Systems and methods for enrollment and identity management using mobile imaging
US20110288917A1 (en) * 2010-05-21 2011-11-24 James Wanek Systems and methods for providing mobile targeted advertisements
US8650283B1 (en) * 2010-06-07 2014-02-11 Purplecomm Inc. Content delivery technology
US11068149B2 (en) * 2010-06-09 2021-07-20 Microsoft Technology Licensing, Llc Indirect user interaction with desktop using touch-sensitive control surface
EP2580750B1 (en) * 2010-06-09 2014-05-14 Adelphoi Limited System and method for audio media recognition
US9703895B2 (en) 2010-06-11 2017-07-11 Microsoft Technology Licensing, Llc Organizing search results based upon clustered content
US8620912B2 (en) * 2010-06-16 2013-12-31 Microsoft Corporation Ranking advertisement(s) based upon advertisement feature(s)
US8639773B2 (en) * 2010-06-17 2014-01-28 Microsoft Corporation Discrepancy detection for web crawling
US9132352B1 (en) 2010-06-24 2015-09-15 Gregory S. Rabin Interactive system and method for rendering an object
US8923546B2 (en) * 2010-07-02 2014-12-30 Digimarc Corporation Assessment of camera phone distortion for digital watermarking
US8689071B2 (en) 2010-08-30 2014-04-01 Contec Holdings, Ltd. Multimedia device test system
KR20120021057A (ko) * 2010-08-31 2012-03-08 삼성전자주식회사 특정 영역에서 키워드를 추출하는 검색 서비스 제공방법 및 이를 적용한 디스플레이 장치
US20120150944A1 (en) * 2010-09-16 2012-06-14 Ryan Steelberg Apparatus, system and method for a contextually-based media enhancement widget
US8989499B2 (en) * 2010-10-20 2015-03-24 Comcast Cable Communications, Llc Detection of transitions between text and non-text frames in a video stream
KR101418393B1 (ko) * 2010-10-25 2014-07-14 한국전자통신연구원 모바일 사용자 상황 기반 지능형 광고 서비스 방법 및 장치
US9317533B2 (en) 2010-11-02 2016-04-19 Microsoft Technology Licensing, Inc. Adaptive image retrieval database
US8463045B2 (en) 2010-11-10 2013-06-11 Microsoft Corporation Hierarchical sparse representation for image retrieval
US8639034B2 (en) * 2010-11-19 2014-01-28 Ricoh Co., Ltd. Multimedia information retrieval system with progressive feature selection and submission
US8799140B1 (en) * 2010-11-22 2014-08-05 Bloomberg Finance L.P. Fixed income market model system
US20120143702A1 (en) * 2010-12-07 2012-06-07 Mediatek Inc. Transaction Information Keeping Methods and Mobile Devices Thereto
US8645209B2 (en) * 2010-12-14 2014-02-04 Yellowpages.Com Llc Real time user activity-driven targeted advertising system
US9026942B2 (en) * 2011-02-25 2015-05-05 Cbs Interactive Inc. Song lyric processing with user interaction
US8745172B1 (en) * 2011-03-30 2014-06-03 Google Inc. Pre-loaded identifiers to identify media content for mobile devices using captured audio
US8452089B2 (en) * 2011-03-31 2013-05-28 Sony Corporation System and method for effectively performing an image identification procedure
KR101760422B1 (ko) * 2011-05-11 2017-07-31 엘지전자 주식회사 이동 단말기 및 그 제어방법
US20120304124A1 (en) * 2011-05-23 2012-11-29 Microsoft Corporation Context aware input engine
CA2832902C (en) * 2011-06-22 2017-01-17 Rogers Communications Inc. Systems and methods for creating an interest profile for a user
US9785968B1 (en) 2011-07-01 2017-10-10 Google Inc. Selecting content based on user actions and preferences associates with a same time period in a previous year
US9058331B2 (en) 2011-07-27 2015-06-16 Ricoh Co., Ltd. Generating a conversation in a social network based on visual search results
US8706499B2 (en) * 2011-08-16 2014-04-22 Facebook, Inc. Periodic ambient waveform analysis for enhanced social functions
US9262766B2 (en) * 2011-08-31 2016-02-16 Vibrant Media, Inc. Systems and methods for contextualizing services for inline mobile banner advertising
US20130054356A1 (en) * 2011-08-31 2013-02-28 Jason Richman Systems and methods for contextualizing services for images
US8458174B1 (en) * 2011-09-02 2013-06-04 Google Inc. Semantic image label synthesis
US20130060790A1 (en) * 2011-09-07 2013-03-07 Michael Chertok System and method for detecting outliers
JP2013070212A (ja) * 2011-09-22 2013-04-18 Fuji Xerox Co Ltd 画像処理装置、画像処理プログラム
EP2783340A4 (en) * 2011-11-21 2015-03-25 Nant Holdings Ip Llc SUBSCRIPTION ACCOUNTING SERVICE AND SYSTEMS AND METHOD THEREFOR
US8897553B2 (en) 2011-12-13 2014-11-25 The Nielsen Company (Us), Llc Image comparison using color histograms
US8897554B2 (en) 2011-12-13 2014-11-25 The Nielsen Company (Us), Llc Video comparison using color histograms
US8750613B2 (en) 2011-12-13 2014-06-10 The Nielsen Company (Us), Llc Detecting objects in images using color histograms
KR101832419B1 (ko) * 2011-12-26 2018-02-26 네이버 주식회사 타겟 정보 조합에 따른 소재 타겟팅 광고 방법 및 그 시스템
US9131163B2 (en) 2012-02-07 2015-09-08 Stmicroelectronics S.R.L. Efficient compact descriptors in visual search systems
WO2013120064A1 (en) * 2012-02-10 2013-08-15 Augme Technologies Inc. System and method for sending messages to a user in a capture environment
US9129420B2 (en) * 2012-03-07 2015-09-08 3D Printlife Llc Detection of protected subject matter in three dimensional print media
EP2657857A1 (en) * 2012-04-27 2013-10-30 ATG Advanced Swiss Technology Group AG Method for binary classification of a query image
US8745059B1 (en) * 2012-05-11 2014-06-03 Google Inc. Clustering queries for image search
US9952738B1 (en) * 2012-05-30 2018-04-24 Callidus Software Inc. Creation and display of dynamic content component based on a target user accessing a website
US9064316B2 (en) * 2012-06-28 2015-06-23 Lexmark International, Inc. Methods of content-based image identification
US9152714B1 (en) 2012-10-01 2015-10-06 Google Inc. Selecting score improvements
US9077647B2 (en) 2012-10-05 2015-07-07 Elwha Llc Correlating user reactions with augmentations displayed through augmented views
US10713846B2 (en) 2012-10-05 2020-07-14 Elwha Llc Systems and methods for sharing augmentation data
US9141188B2 (en) 2012-10-05 2015-09-22 Elwha Llc Presenting an augmented view in response to acquisition of data inferring user activity
US9111383B2 (en) 2012-10-05 2015-08-18 Elwha Llc Systems and methods for obtaining and using augmentation data and for sharing usage data
US10180715B2 (en) 2012-10-05 2019-01-15 Elwha Llc Correlating user reaction with at least an aspect associated with an augmentation of an augmented view
US10269179B2 (en) * 2012-10-05 2019-04-23 Elwha Llc Displaying second augmentations that are based on registered first augmentations
US9147275B1 (en) 2012-11-19 2015-09-29 A9.Com, Inc. Approaches to text editing
US9043349B1 (en) * 2012-11-29 2015-05-26 A9.Com, Inc. Image-based character recognition
JP5751430B2 (ja) * 2012-12-19 2015-07-22 コニカミノルタ株式会社 画像処理端末、画像処理システム、および画像処理端末の制御プログラム
US9251437B2 (en) * 2012-12-24 2016-02-02 Google Inc. System and method for generating training cases for image classification
US9342930B1 (en) 2013-01-25 2016-05-17 A9.Com, Inc. Information aggregation for recognized locations
US10963535B2 (en) 2013-02-19 2021-03-30 Mitek Systems, Inc. Browser-based mobile image capture
JP6283168B2 (ja) * 2013-02-27 2018-02-21 任天堂株式会社 情報保持媒体および情報処理システム
WO2014132429A1 (ja) * 2013-02-28 2014-09-04 LOUEY Skye Kuen 情報処理装置、情報処理方法、及びプログラム
US10109075B2 (en) 2013-03-15 2018-10-23 Elwha Llc Temporal element restoration in augmented reality systems
US10025486B2 (en) 2013-03-15 2018-07-17 Elwha Llc Cross-reality select, drag, and drop for augmented reality systems
US9639964B2 (en) 2013-03-15 2017-05-02 Elwha Llc Dynamically preserving scene elements in augmented reality systems
US9922052B1 (en) * 2013-04-26 2018-03-20 A9.Com, Inc. Custom image data store
US9152860B2 (en) * 2013-05-10 2015-10-06 Tantrum Street LLC Methods and apparatus for capturing, processing, training, and detecting patterns using pattern recognition classifiers
US9947019B2 (en) * 2013-05-13 2018-04-17 Nbcuniversal Media, Llc Method and system for contextual profiling for object interactions and its application to matching symmetrical objects
JP2014229104A (ja) * 2013-05-23 2014-12-08 ヤマハ株式会社 サーバ装置、プログラム及び通信方法
US9390076B2 (en) * 2013-06-06 2016-07-12 Microsoft Technology Licensing, Llc Multi-part and single response image protocol
US9880994B1 (en) 2013-06-21 2018-01-30 Nativo, Inc. Detecting compatible layouts for content-based native ads
KR20150006606A (ko) * 2013-07-09 2015-01-19 주식회사 케이티 객체 기반으로 영상을 검색하는 서버 및 방법
US9923953B2 (en) * 2013-07-31 2018-03-20 Adenda Media Inc. Extending mobile applications to the lock screen of a mobile device
US9715548B2 (en) * 2013-08-02 2017-07-25 Google Inc. Surfacing user-specific data records in search
US9245192B2 (en) * 2013-09-20 2016-01-26 Here Global B.V. Ad collateral detection
US8972395B1 (en) * 2013-10-28 2015-03-03 Swoop Search, Llc Systems and methods for enabling an electronic graphical search space of a database
US9047658B2 (en) * 2013-11-05 2015-06-02 United Microelectronics Corp. Method of optical proximity correction
US9430817B2 (en) * 2013-11-12 2016-08-30 Microsoft Technology Licensing, Llc Blind image deblurring with cascade architecture
US9223833B2 (en) * 2013-12-02 2015-12-29 Qbase, LLC Method for in-loop human validation of disambiguated features
US9922092B2 (en) * 2014-04-24 2018-03-20 Canon Kabushiki Kaisha Devices, systems, and methods for context management
US10726473B1 (en) 2014-04-30 2020-07-28 Wells Fargo Bank, N.A. Augmented reality shopping rewards
US10395292B1 (en) 2014-04-30 2019-08-27 Wells Fargo Bank, N.A. Augmented reality electronic device using facial recognition functionality and displaying shopping reward at retail locations
US10839409B1 (en) 2014-04-30 2020-11-17 Wells Fargo Bank, N.A. Augmented reality store and services orientation gamification
US9536161B1 (en) 2014-06-17 2017-01-03 Amazon Technologies, Inc. Visual and audio recognition for scene change events
CN105653559B (zh) 2014-11-28 2019-05-10 国际商业机器公司 用于在数据库中进行搜索的方法和装置
US9430766B1 (en) 2014-12-09 2016-08-30 A9.Com, Inc. Gift card recognition using a camera
US11721414B2 (en) * 2015-03-12 2023-08-08 Walmart Apollo, Llc Importing structured prescription records from a prescription label on a medication package
US10366404B2 (en) 2015-09-10 2019-07-30 The Nielsen Company (Us), Llc Methods and apparatus to group advertisements by advertisement campaign
US10600336B2 (en) * 2015-10-02 2020-03-24 Purdue Research Foundation Multimodal image perception system and method
CN105589922A (zh) 2015-11-05 2016-05-18 广州市动景计算机科技有限公司 页面显示方法、装置、系统以及页面显示辅助方法、装置
KR102545768B1 (ko) * 2015-11-11 2023-06-21 삼성전자주식회사 메타 데이터를 처리하기 위한 장치 및 방법
US20170249674A1 (en) * 2016-02-29 2017-08-31 Qualcomm Incorporated Using image segmentation technology to enhance communication relating to online commerce experiences
US11288257B2 (en) * 2016-05-30 2022-03-29 Sap Se Memory optimization using data aging in full text indexes
US9984471B2 (en) * 2016-07-26 2018-05-29 Intuit Inc. Label and field identification without optical character recognition (OCR)
CN108076128A (zh) * 2016-12-28 2018-05-25 北京市商汤科技开发有限公司 用户属性提取方法、装置和电子设备
US10331978B2 (en) * 2017-01-31 2019-06-25 Wipro Limited Method and a system for generating a multi-level classifier for image processing
US9973910B1 (en) * 2017-04-10 2018-05-15 Sprint Communications Company L.P. Mobile content distribution system
US10962939B1 (en) * 2017-04-18 2021-03-30 Amazon Technologies, Inc. Fine-grain content moderation to restrict images
US10699295B1 (en) 2017-05-05 2020-06-30 Wells Fargo Bank, N.A. Fraudulent content detector using augmented reality platforms
US10701413B2 (en) * 2017-06-05 2020-06-30 Disney Enterprises, Inc. Real-time sub-second download and transcode of a video stream
US10474890B2 (en) * 2017-07-13 2019-11-12 Intuit, Inc. Simulating image capture
CN107368464B (zh) * 2017-07-28 2020-07-10 深圳数众科技有限公司 一种获取招标产品信息的方法及装置
CN107633460A (zh) * 2017-09-18 2018-01-26 北京奇艺世纪科技有限公司 内容分发控制方法及装置
US11417246B2 (en) 2017-10-19 2022-08-16 The Quantum Group, Inc. Personal augmented reality
US11562362B1 (en) * 2018-01-23 2023-01-24 Wells Fargo Bank, N.A. Systems and methods for a virtual identity card
GB2571530B (en) * 2018-02-28 2020-09-23 Canon Europa Nv An image processing method and an image processing system
US10580215B2 (en) 2018-03-29 2020-03-03 Rovi Guides, Inc. Systems and methods for displaying supplemental content for print media using augmented reality
US10713849B2 (en) 2018-05-29 2020-07-14 International Business Machines Corporation Augmented reality masking
GB2574608B (en) * 2018-06-11 2020-12-30 Innoplexus Ag System and method for extracting tabular data from electronic document
US11803590B2 (en) * 2018-11-16 2023-10-31 Dell Products L.P. Smart and interactive book audio services
US10924661B2 (en) * 2019-05-02 2021-02-16 International Business Machines Corporation Generating image capture configurations and compositions
US11436470B2 (en) 2019-09-13 2022-09-06 Kyndryl, Inc. Generating simulated image training data
US11393272B2 (en) 2019-09-25 2022-07-19 Mitek Systems, Inc. Systems and methods for updating an image registry for use in fraud detection related to financial documents
TWI764318B (zh) * 2019-11-01 2022-05-11 華南商業銀行股份有限公司 使用色彩空間轉換的影像辨識系統
TWI758904B (zh) * 2019-11-01 2022-03-21 華南商業銀行股份有限公司 具有多攝像裝置的影像辨識系統
TWI718743B (zh) * 2019-11-01 2021-02-11 華南商業銀行股份有限公司 影像辨識系統
TWI764319B (zh) * 2019-11-01 2022-05-11 華南商業銀行股份有限公司 基於深度學習的影像辨識系統
CN110837838B (zh) * 2019-11-06 2023-07-11 创新奇智(重庆)科技有限公司 基于深度学习的端到端车架号识别系统及识别方法
WO2022031283A1 (en) * 2020-08-05 2022-02-10 Hewlett-Packard Development Company, L.P. Video stream content
US11586764B2 (en) 2020-09-29 2023-02-21 International Business Machines Corporation Privacy negotiations in a mixed reality environment
US11880439B2 (en) * 2021-06-16 2024-01-23 International Business Machines Corporation Enhancing verification in mobile devices using model based on user interaction history
US11501530B1 (en) 2021-09-08 2022-11-15 International Business Machines Corporation Spatio-temporal relation based MR content positioning

Family Cites Families (538)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1915993A (en) 1931-04-27 1933-06-27 Gen Electric Statistical machine
US4759075A (en) 1983-03-14 1988-07-19 Ana Tech Corporation Method and apparatus for vectorizing documents and symbol recognition
US5035055A (en) * 1987-05-08 1991-07-30 Mccullough Timothy J Flexible drive shaft casing
JPH01144165A (ja) * 1987-11-30 1989-06-06 Toshiba Corp 電子ファイリング装置
JPH01144171A (ja) 1987-11-30 1989-06-06 Toshiba Corp 電子ファイリング装置
US5035302A (en) * 1989-03-03 1991-07-30 Otis Elevator Company "Artificial Intelligence" based learning system predicting "Peak-Period" times for elevator dispatching
JP2795719B2 (ja) * 1990-03-07 1998-09-10 富士通株式会社 認識距離の差に基づく最良優先探索処理方法
US5077805A (en) * 1990-05-07 1991-12-31 Eastman Kodak Company Hybrid feature-based and template matching optical character recognition system
US5109439A (en) * 1990-06-12 1992-04-28 Horst Froessl Mass document storage and retrieval system
KR0176448B1 (ko) * 1991-07-19 1999-05-01 강진구 이미지 코딩 방법 및 장치
US6850252B1 (en) 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
US5392447A (en) 1992-01-10 1995-02-21 Eastman Kodak Compay Image-based electronic pocket organizer with integral scanning unit
US6678864B1 (en) 1992-02-25 2004-01-13 Irving Tsai Method and apparatus for linking designated portions of a received document image with an electronic address
US6574375B1 (en) * 1992-04-06 2003-06-03 Ricoh Company, Ltd. Method for detecting inverted text images on a digital scanning device
US5598557A (en) * 1992-09-22 1997-01-28 Caere Corporation Apparatus and method for retrieving and grouping images representing text files based on the relevance of key words extracted from a selected file to the text files
US5432864A (en) 1992-10-05 1995-07-11 Daozheng Lu Identification card verification system
US5579471A (en) * 1992-11-09 1996-11-26 International Business Machines Corporation Image query system and method
US5493689A (en) * 1993-03-01 1996-02-20 International Business Machines Corporation System for configuring an event driven interface including control blocks defining good loop locations in a memory which represent detection of a characteristic pattern
US5848184A (en) 1993-03-15 1998-12-08 Unisys Corporation Document page analyzer and method
US5546502A (en) * 1993-03-19 1996-08-13 Ricoh Company, Ltd. Automatic invocation of computational resources without user intervention
EP0706283B1 (en) 1993-06-22 2000-09-06 Omron Corporation Image processor including copying machine
US5553217A (en) * 1993-09-23 1996-09-03 Ricoh Company, Ltd. Document layout using tiling
US5664111A (en) 1994-02-16 1997-09-02 Honicorp, Inc. Computerized, multimedia, network, real time, interactive marketing and transactional system
US6947571B1 (en) 1999-05-19 2005-09-20 Digimarc Corporation Cell phones with optical capabilities, and related applications
JPH07319691A (ja) * 1994-03-29 1995-12-08 Toshiba Corp 資源保護装置、特権保護装置、ソフトウェア利用法制御装置、及びソフトウェア利用法制御システム
US5465353A (en) * 1994-04-01 1995-11-07 Ricoh Company, Ltd. Image matching and retrieval by multi-access redundant hashing
DE69516751T2 (de) * 1994-04-15 2000-10-05 Canon Kk Bildvorverarbeitung für Zeichenerkennungsanlage
US6866196B1 (en) * 1994-05-25 2005-03-15 Spencer A. Rathus Method and apparatus for accessing electronic data via a familiar printed medium
US6164534A (en) * 1996-04-04 2000-12-26 Rathus; Spencer A. Method and apparatus for accessing electronic data via a familiar printed medium
US5694546A (en) 1994-05-31 1997-12-02 Reisman; Richard R. System for automatic unattended electronic information transport between a server and a client by a vendor provided transport software with a manifest list
DE69525401T2 (de) * 1994-09-12 2002-11-21 Adobe Systems, Inc. Verfahren und Gerät zur Identifikation von Wörtern, die in einem portablen elektronischen Dokument beschrieben sind
US6804332B1 (en) 1994-09-30 2004-10-12 Wildfire Communications, Inc. Network based knowledgeable assistant
US5555556A (en) 1994-09-30 1996-09-10 Xerox Corporation Method and apparatus for document segmentation by background analysis
US6415307B2 (en) 1994-10-24 2002-07-02 P2I Limited Publication file conversion and display
JP2776295B2 (ja) 1994-10-27 1998-07-16 日本電気株式会社 画像インデックス生成方法及び画像インデックス生成装置
US5907835A (en) 1994-11-18 1999-05-25 Canon Kabushiki Kaisha Electronic filing system using different application program for processing drawing commands for printing
US6460036B1 (en) 1994-11-29 2002-10-01 Pinpoint Incorporated System and method for providing customized electronic newspapers and target advertisements
JPH08297669A (ja) * 1994-12-27 1996-11-12 Internatl Business Mach Corp <Ibm> 複合ドキュメント内の複数のパートを自動的にリンクするシステムおよび方法
US5873077A (en) * 1995-01-13 1999-02-16 Ricoh Corporation Method and apparatus for searching for and retrieving documents using a facsimile machine
JPH096961A (ja) 1995-06-16 1997-01-10 Sony Corp 領域分割処理装置および方法
US7051086B2 (en) * 1995-07-27 2006-05-23 Digimarc Corporation Method of linking on-line data to printed documents
US5842194A (en) 1995-07-28 1998-11-24 Mitsubishi Denki Kabushiki Kaisha Method of recognizing images of faces or general images using fuzzy combination of multiple resolutions
US5793371A (en) 1995-08-04 1998-08-11 Sun Microsystems, Inc. Method and apparatus for geometric compression of three-dimensional graphics data
US5867597A (en) 1995-09-05 1999-02-02 Ricoh Corporation High-speed retrieval by example
US5764277A (en) 1995-11-08 1998-06-09 Bell Communications Research, Inc. Group-of-block based video signal combining for multipoint continuous presence video conferencing
US5706097A (en) * 1995-11-13 1998-01-06 Eastman Kodak Company Index print with a digital recording medium containing still images, motion sequences, and sound sequences
US5889886A (en) 1995-11-28 1999-03-30 Xerox Corporation Method and apparatus for detecting running text in an image
US20010013546A1 (en) 1996-01-09 2001-08-16 Ross William Leslie Identification system
US5832474A (en) * 1996-02-26 1998-11-03 Matsushita Electric Industrial Co., Ltd. Document search and retrieval system with partial match searching of user-drawn annotations
US5757953A (en) 1996-02-29 1998-05-26 Eastman Kodak Company Automated method and system for region decomposition in digital radiographic images
US5933823A (en) 1996-03-01 1999-08-03 Ricoh Company Limited Image database browsing and query using texture analysis
US5754772A (en) 1996-03-26 1998-05-19 Unisys Corporation Transaction service independent HTTP server-to-transaction gateway
US5918012A (en) 1996-03-29 1999-06-29 British Telecommunications Public Limited Company Hyperlinking time-based data files
US5933525A (en) 1996-04-10 1999-08-03 Bbn Corporation Language-independent and segmentation-free optical character recognition system and method
US5806005A (en) 1996-05-10 1998-09-08 Ricoh Company, Ltd. Wireless image transfer from a digital still video camera to a networked computer
DE69732663T2 (de) 1996-06-04 2005-12-29 Adobe Systems, Inc., San Jose Verfahren zur erzeugung und änderung von 3d modellen und korrelation von solchen modellen mit 2d bildern
US6430307B1 (en) 1996-06-18 2002-08-06 Matsushita Electric Industrial Co., Ltd. Feature extraction system and face image recognition system
US5956468A (en) 1996-07-12 1999-09-21 Seiko Epson Corporation Document segmentation system
US6104834A (en) * 1996-08-01 2000-08-15 Ricoh Company Limited Matching CCITT compressed document images
US6353822B1 (en) 1996-08-22 2002-03-05 Massachusetts Institute Of Technology Program-listing appendix
US6819783B2 (en) 1996-09-04 2004-11-16 Centerframe, Llc Obtaining person-specific images in a public venue
JP4004069B2 (ja) 1996-09-16 2007-11-07 ジェイ． フェイ，ステファン 画像解析方法および装置
US5899999A (en) * 1996-10-16 1999-05-04 Microsoft Corporation Iterative convolution filter particularly suited for use in an image classification and retrieval system
US6345109B1 (en) 1996-12-05 2002-02-05 Matsushita Electric Industrial Co., Ltd. Face recognition-matching system effective to images obtained in different imaging conditions
US5937110A (en) 1996-12-20 1999-08-10 Xerox Corporation Parallel propagating embedded binary sequences for characterizing objects in N-dimensional address space
US7437351B2 (en) 1997-01-10 2008-10-14 Google Inc. Method for searching media
US5892843A (en) * 1997-01-21 1999-04-06 Matsushita Electric Industrial Co., Ltd. Title, caption and photo extraction from scanned document images
JP3634099B2 (ja) * 1997-02-17 2005-03-30 株式会社リコー 文書情報管理システム，媒体用紙情報作成装置および文書情報管理装置
JP3571162B2 (ja) 1997-03-03 2004-09-29 日本電信電話株式会社 類似オブジェクト検索方法および装置
US6016487A (en) 1997-03-26 2000-01-18 National Research Council Of Canada Method of searching three-dimensional images
US6006240A (en) 1997-03-31 1999-12-21 Xerox Corporation Cell identification in table analysis
EP0983664A1 (en) 1997-05-07 2000-03-08 Neomedia Technologies, Inc Scanner enhanced remote control unit and system for automatically linking to on-line resources
WO1998055833A1 (en) * 1997-06-03 1998-12-10 Stephen Bide Portable navigation system comprising direction detector, position detector and database
US6025780A (en) 1997-07-25 2000-02-15 Checkpoint Systems, Inc. RFID tags which are virtually activated and/or deactivated and apparatus and methods of using same in an electronic security system
US6121969A (en) 1997-07-29 2000-09-19 The Regents Of The University Of California Visual navigation in perceptual databases
JPH1153168A (ja) 1997-08-07 1999-02-26 Matsushita Graphic Commun Syst Inc 音声情報付文書作成装置及びこれを用いた方法
AUPO960197A0 (en) 1997-10-03 1997-10-30 Canon Information Systems Research Australia Pty Ltd Multi-media editing method and apparatus
US6035055A (en) 1997-11-03 2000-03-07 Hewlett-Packard Company Digital image management system in a distributed data access network system
US6026411A (en) 1997-11-06 2000-02-15 International Business Machines Corporation Method, apparatus, and computer program product for generating an image index and for internet searching and querying by image colors
US5999664A (en) 1997-11-14 1999-12-07 Xerox Corporation System for searching a corpus of document images by user specified document layout components
US6415278B1 (en) 1997-11-14 2002-07-02 Adobe Systems Incorporated Retrieving documents transitively linked to an initial document
US6562077B2 (en) 1997-11-14 2003-05-13 Xerox Corporation Sorting image segments into clusters based on a distance measurement
US6574644B2 (en) 1997-11-26 2003-06-03 Siemens Corporate Research, Inc Automatic capturing of hyperlink specifications for multimedia documents
US6138129A (en) 1997-12-16 2000-10-24 World One Telecom, Ltd. Method and apparatus for providing automated searching and linking of electronic documents
JP4183311B2 (ja) * 1997-12-22 2008-11-19 株式会社リコー 文書の注釈方法、注釈装置および記録媒体
US6804659B1 (en) * 2000-01-14 2004-10-12 Ricoh Company Ltd. Content based web advertising
US7124093B1 (en) * 1997-12-22 2006-10-17 Ricoh Company, Ltd. Method, system and computer code for content based web advertising
US6246790B1 (en) 1997-12-29 2001-06-12 Cornell Research Foundation, Inc. Image indexing using color correlograms
DE69942901D1 (de) 1998-04-02 2010-12-16 Canon Kk Einrichtung und Verfahren zum Suchen von Bildern
US6393142B1 (en) * 1998-04-22 2002-05-21 At&T Corp. Method and apparatus for adaptive stripe based patch matching for depth estimation
AU4184399A (en) 1998-05-13 1999-11-29 Infinite Pictures Inc. Panoramic movies which simulate movement through multidimensional space
US6504571B1 (en) * 1998-05-18 2003-01-07 International Business Machines Corporation System and methods for querying digital image archives using recorded parameters
NO307014B1 (no) 1998-06-19 2000-01-24 Omnitech As Fremgangsmåte for frembringelse av et 3D-bilde
US6253201B1 (en) 1998-06-23 2001-06-26 Philips Electronics North America Corporation Scalable solution for image retrieval
US6345274B1 (en) 1998-06-29 2002-02-05 Eastman Kodak Company Method and computer program product for subjective image content similarity-based retrieval
WO2000005663A2 (en) 1998-07-24 2000-02-03 Jarg Corporation Distributed computer database system and method for performing object search
US6223171B1 (en) 1998-08-25 2001-04-24 Microsoft Corporation What-if index analysis utility for database systems
US7039856B2 (en) * 1998-09-30 2006-05-02 Ricoh Co., Ltd. Automatic document classification using text and images
US6964374B1 (en) * 1998-10-02 2005-11-15 Lucent Technologies Inc. Retrieval and manipulation of electronically stored information via pointers embedded in the associated printed material
US6470095B2 (en) 1998-10-13 2002-10-22 Xerox Corporation Automatic extraction of text regions and region borders for an electronic work surface
US6445834B1 (en) 1998-10-19 2002-09-03 Sony Corporation Modular image query system
US6192157B1 (en) * 1998-10-27 2001-02-20 Hewlett-Packard Company Modifications of postscript adaptive data compression (ADC) for 3 plane, 8 bit color images, JPEG lossy compression, and variable Q factors
US6419155B1 (en) 1998-10-29 2002-07-16 Casio Computer Co., Ltd. Laser beam scan type barcode reader and program recording mediums
JP3754849B2 (ja) 1998-10-30 2006-03-15 キヤノン株式会社 データ通信装置及び制御方法及び記憶媒体及び画像印刷システム
US6363381B1 (en) 1998-11-03 2002-03-26 Ricoh Co., Ltd. Compressed document matching
JP4058181B2 (ja) 1998-11-25 2008-03-05 キヤノン株式会社 周辺機器装置及びその制御方法及び記憶媒体
US6301386B1 (en) * 1998-12-09 2001-10-09 Ncr Corporation Methods and apparatus for gray image based text identification
US6449639B1 (en) 1998-12-23 2002-09-10 Doxio, Inc. Method and system for client-less viewing of scalable documents displayed using internet imaging protocol commands
US6411953B1 (en) * 1999-01-25 2002-06-25 Lucent Technologies Inc. Retrieval and matching of color patterns based on a predetermined vocabulary and grammar
US6448979B1 (en) * 1999-01-25 2002-09-10 Airclic, Inc. Printed medium activated interactive communication of multimedia information, including advertising
US6922699B2 (en) 1999-01-26 2005-07-26 Xerox Corporation System and method for quantitatively representing data objects in vector space
US6892238B2 (en) 1999-01-27 2005-05-10 International Business Machines Corporation Aggregating and analyzing information about content requested in an e-commerce web environment to determine conversion rates
US6071501A (en) 1999-02-05 2000-06-06 The Procter & Gamble Company Photostable UV protection compositions
US20010037454A1 (en) 2000-05-01 2001-11-01 Botti John T. Computer networked system and method of digital file management and authentication
CN1423786A (zh) 1999-03-02 2003-06-11 奎克斯塔投资公司 包含一种会员购买机会的行销系统内的电子商务交易
US6404925B1 (en) 1999-03-11 2002-06-11 Fuji Xerox Co., Ltd. Methods and apparatuses for segmenting an audio-visual recording using image similarity searching and audio speaker recognition
JP3902904B2 (ja) 1999-03-23 2007-04-11 キヤノン株式会社 情報提示装置、方法、カメラ制御装置、方法及びコンピュータ読み取り可能な記憶媒体
US6658151B2 (en) * 1999-04-08 2003-12-02 Ricoh Co., Ltd. Extracting information from symbolically compressed document images
US7281199B1 (en) 1999-04-14 2007-10-09 Verizon Corporate Services Group Inc. Methods and systems for selection of multimedia presentations
US6477375B1 (en) 1999-04-16 2002-11-05 Nortel Networks Limited Method and system for reducing call setup processing cost by determining when to forward calls to detached subscribers
US6791605B1 (en) 1999-05-07 2004-09-14 Eastman Kodak Company Image capture and printing device
US6397213B1 (en) 1999-05-12 2002-05-28 Ricoh Company Ltd. Search and retrieval using document decomposition
US7206820B1 (en) * 2000-03-18 2007-04-17 Digimarc Corporation System for linking from object to remote resource
US7406214B2 (en) * 1999-05-19 2008-07-29 Digimarc Corporation Methods and devices employing optical sensors and/or steganography
US6693649B1 (en) 1999-05-27 2004-02-17 International Business Machines Corporation System and method for unifying hotspots subject to non-linear transformation and interpolation in heterogeneous media representations
US20080039052A1 (en) 1999-06-02 2008-02-14 Knowles Andrew T Digital Message Processing System
US6411724B1 (en) 1999-07-02 2002-06-25 Koninklijke Philips Electronics N.V. Using meta-descriptors to represent multimedia information
AU6503800A (en) 1999-07-30 2001-02-19 Pixlogic Llc Perceptual similarity image retrieval
US6628412B1 (en) * 1999-08-05 2003-09-30 Hewlett-Packard Development Company, L.P. Methods of document management and automated document tracking, and a document management system
US6963425B1 (en) 2000-08-14 2005-11-08 National Instruments Corporation System and method for locating color and pattern match regions in a target image
US6408257B1 (en) 1999-08-31 2002-06-18 Xerox Corporation Augmented-reality display method and system
US6732915B1 (en) * 1999-09-10 2004-05-11 Fuji Xerox Co., Ltd. Systems and methods for controlling a presentation using physical objects
US6859802B1 (en) 1999-09-13 2005-02-22 Microsoft Corporation Image retrieval based on relevance feedback
US6751343B1 (en) 1999-09-20 2004-06-15 Ut-Battelle, Llc Method for indexing and retrieving manufacturing-specific digital imagery based on image content
US6799201B1 (en) * 2000-09-19 2004-09-28 Motorola, Inc. Remotely configurable multimedia entertainment and information system for vehicles
EP1089214A3 (en) 1999-09-30 2005-01-26 Matsushita Electric Industrial Co., Ltd. Apparatus and method for image recognition
US7134095B1 (en) 1999-10-20 2006-11-07 Gateway, Inc. Simulated three-dimensional navigational menu system
US6594383B1 (en) 1999-11-16 2003-07-15 International Business Machines Corporation Method and apparatus for indexing and retrieving images from an images database based on a color query
KR100353798B1 (ko) 1999-12-01 2002-09-26 주식회사 코난테크놀로지 영상 객체 모양 정보 추출 방법 및 그를 이용한 내용기반 이미지 검색 시스템 및 그 방법
US7185274B1 (en) 1999-12-07 2007-02-27 Microsoft Corporation Computer user interface architecture wherein users interact with both content and user interface by activating links
US7458014B1 (en) 1999-12-07 2008-11-25 Microsoft Corporation Computer user interface architecture wherein both content and user interface are composed of documents with links
US6820111B1 (en) 1999-12-07 2004-11-16 Microsoft Corporation Computer user interface architecture that saves a user's non-linear navigation history and intelligently maintains that history
US7277925B2 (en) 1999-12-08 2007-10-02 Warnock Kevin L Internet document services
JP2001177712A (ja) * 1999-12-15 2001-06-29 Fuji Xerox Co Ltd 画像処理装置および被画像形成媒体
US8452776B2 (en) 1999-12-22 2013-05-28 Celeritasworks, Llc Spatial data portal
US6643652B2 (en) 2000-01-14 2003-11-04 Saba Software, Inc. Method and apparatus for managing data exchange among systems in a network
JP2001211359A (ja) 2000-01-25 2001-08-03 Olympus Optical Co Ltd 電子カメラ
US20010042030A1 (en) 2000-02-15 2001-11-15 Sadao Ito Information providing system for providing information about parts
US6678698B2 (en) 2000-02-15 2004-01-13 Intralinks, Inc. Computerized method and system for communicating and managing information used in task-oriented projects
WO2001061448A1 (en) 2000-02-18 2001-08-23 The University Of Maryland Methods for the electronic annotation, retrieval, and use of electronic images
JP2001230916A (ja) 2000-02-18 2001-08-24 Ricoh Co Ltd ファイルシステム
US6766363B1 (en) 2000-02-28 2004-07-20 Barpoint.Com, Inc. System and method of linking items in audio, visual, and printed media to related information stored on an electronic network using a mobile device
US20020032677A1 (en) 2000-03-01 2002-03-14 Jeff Morgenthaler Methods for creating, editing, and updating searchable graphical database and databases of graphical images and information and displaying graphical images from a searchable graphical database or databases in a sequential or slide show format
US6859909B1 (en) * 2000-03-07 2005-02-22 Microsoft Corporation System and method for annotating web-based documents
US7079157B2 (en) 2000-03-17 2006-07-18 Sun Microsystems, Inc. Matching the edges of multiple overlapping screen images
US6865302B2 (en) 2000-03-16 2005-03-08 The Regents Of The University Of California Perception-based image retrieval
JP4409035B2 (ja) * 2000-03-22 2010-02-03 本田技研工業株式会社 画像処理装置、特異箇所検出方法、及び特異箇所検出プログラムを記録した記録媒体
EP1136937B1 (en) 2000-03-22 2006-05-10 Kabushiki Kaisha Toshiba Facial image forming recognition apparatus and a pass control apparatus
JP4088014B2 (ja) 2000-03-22 2008-05-21 株式会社東芝 画像検索システムおよび画像検索方法
CN100409234C (zh) 2000-03-23 2008-08-06 三菱电机株式会社 图像检索配送系统和图像检索配送方法
JP3842006B2 (ja) 2000-03-30 2006-11-08 グローリー工業株式会社 帳票類判別装置、帳票類判別方法、およびこれらの方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
EP1662064A1 (en) 2000-04-24 2006-05-31 Hunter Douglas Inc. Compressible structural panel
US7003734B1 (en) 2000-05-05 2006-02-21 Point Roll, Inc. Method and system for creating and displaying images including pop-up images on a visual display
AU2001259525A1 (en) 2000-05-08 2001-11-20 Qwest Communications International Inc. Location based messaging method and system
US7034864B2 (en) 2000-05-19 2006-04-25 Canon Kabushiki Kaisha Image display apparatus, image display system, and image display method
US20010049700A1 (en) 2000-05-26 2001-12-06 Shinobu Ichikura Information processing apparatus, information processing method and storage medium
EP1290557B1 (en) 2000-06-02 2004-10-13 Koninklijke Philips Electronics N.V. Method and apparatus for merging images
GB2364482B (en) 2000-06-30 2002-10-09 Motorola Inc Server-based electronic wallet system
US6903707B2 (en) * 2000-08-09 2005-06-07 Information Decision Technologies, Llc Method for using a motorized camera mount for tracking in augmented reality
FR2812957B1 (fr) 2000-08-14 2003-01-31 Cit Alcatel Procede de memorisation de donnees dans un fichier multimedia utilisant des bases de temps relatives
US7062722B1 (en) * 2000-08-22 2006-06-13 Bruce Carlin Network-linked interactive three-dimensional composition and display of saleable objects in situ in viewer-selected scenes for purposes of promotion and procurement
US7523411B2 (en) 2000-08-22 2009-04-21 Bruce Carlin Network-linked interactive three-dimensional composition and display of saleable objects in situ in viewer-selected scenes for purposes of object promotion and procurement, and generation of object advertisements
US6671684B1 (en) 2000-09-01 2003-12-30 Ricoh Co., Ltd. Method and apparatus for simultaneous highlighting of a physical version of a document and an electronic version of a document
US6405172B1 (en) * 2000-09-09 2002-06-11 Mailcode Inc. Voice-enabled directory look-up based on recognized spoken initial characters
US20020038430A1 (en) 2000-09-13 2002-03-28 Charles Edwards System and method of data collection, processing, analysis, and annotation for monitoring cyber-threats and the notification thereof to subscribers
AU2001294704A1 (en) * 2000-09-25 2002-04-08 Databites, Inc. System and method for automatic retrieval of structured online documents
US6891440B2 (en) 2000-10-02 2005-05-10 A. Michael Straub Quadrature oscillator with phase error correction
JP2002132547A (ja) * 2000-10-27 2002-05-10 Fuji Xerox Co Ltd 電子情報管理サーバ、電子情報管理クライアントおよび電子情報管理方法ならびに電子情報管理プログラムを記録したコンピュータ読み取り可能な記録媒体
US6940491B2 (en) 2000-10-27 2005-09-06 International Business Machines Corporation Method and system for generating hyperlinked physical copies of hyperlinked electronic documents
US6970860B1 (en) 2000-10-30 2005-11-29 Microsoft Corporation Semi-automatic annotation of multimedia objects
US20020102966A1 (en) 2000-11-06 2002-08-01 Lev Tsvi H. Object identification method for portable devices
US7680324B2 (en) 2000-11-06 2010-03-16 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
AU2002227215A1 (en) * 2000-11-10 2002-05-21 Eric N. Clark Wireless digital camera adapter and systems and methods related thereto and for use with such an adapter
JP3945974B2 (ja) 2000-11-13 2007-07-18 富士フイルム株式会社 画像送信装置および画像送信方法
EP1336153A1 (en) 2000-11-17 2003-08-20 Jacob Weitman Applications for a mobile digital camera, that distinguish between text-, and image-information in an image
US6958821B1 (en) 2000-11-21 2005-10-25 Eastman Kodak Company Analyzing images to determine third party product materials corresponding to the analyzed images
US7253919B2 (en) 2000-11-30 2007-08-07 Ricoh Co., Ltd. Printer with embedded retrieval and publishing interface
US20020069418A1 (en) 2000-12-06 2002-06-06 Ashwin Philips Network-enabled audio/video player
US6522782B2 (en) 2000-12-15 2003-02-18 America Online, Inc. Image and text searching techniques
US6556710B2 (en) * 2000-12-15 2003-04-29 America Online, Inc. Image searching techniques
US7013309B2 (en) 2000-12-18 2006-03-14 Siemens Corporate Research Method and apparatus for extracting anchorable information units from complex PDF documents
US7596691B2 (en) 2000-12-19 2009-09-29 Fuji Xerox Co., Ltd. Internet facsimile and control method thereof and communication instruction terminal
US7007243B2 (en) 2000-12-20 2006-02-28 Eastman Kodak Company Method and apparatus for producing digital images with embedded image capture location icons
US7092953B1 (en) * 2000-12-28 2006-08-15 Rightlsline, Inc. Apparatus and methods for intellectual property database navigation
US6826316B2 (en) 2001-01-24 2004-11-30 Eastman Kodak Company System and method for determining image similarity
JP2002229955A (ja) 2001-02-02 2002-08-16 Matsushita Electric Ind Co Ltd 情報端末装置及び認証システム
US7013289B2 (en) 2001-02-21 2006-03-14 Michel Horn Global electronic commerce system
JP4181310B2 (ja) 2001-03-07 2008-11-12 昌和 鈴木 数式認識装置および数式認識方法
US7366979B2 (en) 2001-03-09 2008-04-29 Copernicus Investments, Llc Method and apparatus for annotating a document
US20020129363A1 (en) 2001-03-09 2002-09-12 Mcguire Todd J. System and method for visualizing user activity
US7231381B2 (en) 2001-03-13 2007-06-12 Microsoft Corporation Media content search engine incorporating text content and user log mining
US7711547B2 (en) 2001-03-16 2010-05-04 Meaningful Machines, L.L.C. Word association method and apparatus
US7392287B2 (en) 2001-03-27 2008-06-24 Hemisphere Ii Investment Lp Method and apparatus for sharing information using a handheld device
US7200271B2 (en) 2001-03-29 2007-04-03 The Boeing Company Method, computer program product, and system for performing automated text recognition and text search within a graphic file
US20030154180A1 (en) * 2002-02-13 2003-08-14 Case Simon J. Profile management system
US6999204B2 (en) 2001-04-05 2006-02-14 Global 360, Inc. Document processing using color marking
US6910097B1 (en) 2001-04-09 2005-06-21 Netlogic Microsystems, Inc. Classless interdomain routing using binary content addressable memory
US6690828B2 (en) 2001-04-09 2004-02-10 Gary Elliott Meyers Method for representing and comparing digital images
WO2002084590A1 (en) 2001-04-11 2002-10-24 Applied Minds, Inc. Knowledge web
JP2002318578A (ja) 2001-04-20 2002-10-31 Mitsubishi Electric Corp 画像表示方法
US20020176628A1 (en) 2001-05-22 2002-11-28 Starkweather Gary K. Document imaging and indexing system
US20020194264A1 (en) 2001-05-31 2002-12-19 Pioneer Corporation Digital information distribution apparatus and method
US20020198789A1 (en) 2001-06-22 2002-12-26 Sony Corp. And Sony Music Entertainment, Inc. Apparatus and method for identifying and purchasing music
US20030009495A1 (en) * 2001-06-29 2003-01-09 Akli Adjaoute Systems and methods for filtering electronic content
US20040238621A1 (en) * 2001-07-10 2004-12-02 American Express Travel Related Services Company, Inc. Method and system for fingerprint biometrics on a fob
EP1276314B1 (en) 2001-07-13 2007-11-14 Hewlett-Packard Company Spot color application in printer device
US6903752B2 (en) * 2001-07-16 2005-06-07 Information Decision Technologies, Llc Method to view unseen atmospheric phenomenon using augmented reality
US7188085B2 (en) 2001-07-20 2007-03-06 International Business Machines Corporation Method and system for delivering encrypted content with associated geographical-based advertisements
JP4617621B2 (ja) 2001-08-07 2011-01-26 コニカミノルタホールディングス株式会社 印刷制御装置、及びその課金方法
US7187476B2 (en) 2001-10-01 2007-03-06 Canon Kabushiki Kaisha Image processing apparatus and method, computer program, and recording medium
US7068309B2 (en) 2001-10-09 2006-06-27 Microsoft Corp. Image exchange with image annotation
US20030069932A1 (en) 2001-10-10 2003-04-10 Hall John M. System and method for providing transmission notification
US6623428B2 (en) * 2001-10-11 2003-09-23 Eastman Kodak Company Digital image sequence display system and method
US6925475B2 (en) * 2001-10-12 2005-08-02 Commissariat A L'energie Atomique Process and apparatus for management of multimedia databases
US7150021B1 (en) 2001-10-12 2006-12-12 Palau Acquisition Corporation (Delaware) Method and system to allocate resources within an interconnect device according to a resource allocation table
JP3886769B2 (ja) 2001-10-26 2007-02-28 富士通株式会社 補正画像生成装置および補正画像生成プログラム
US8904270B2 (en) 2006-11-29 2014-12-02 Omtool Ltd. Methods and apparatus for enterprise document distribution
US20030122922A1 (en) * 2001-11-26 2003-07-03 Saffer Kevin D. Video e-mail system and associated method
US6931603B2 (en) 2001-11-29 2005-08-16 International Business Machines Corporation Method and system for appending information to graphical files stored in specific graphical file formats
US7099508B2 (en) 2001-11-29 2006-08-29 Kabushiki Kaisha Toshiba Document identification device, document definition method and document identification method
US7322514B2 (en) 2001-11-30 2008-01-29 International Barcode Corporation Method for identifying and authenticating goods using codes, barcodes and radio frequency identification
US20040013302A1 (en) 2001-12-04 2004-01-22 Yue Ma Document classification and labeling using layout graph matching
US7308486B2 (en) 2001-12-06 2007-12-11 Accenture Global Services Gmbh Mobile guide communications system
JP3821367B2 (ja) 2001-12-11 2006-09-13 ソニー株式会社 チャット提供システム、情報処理装置および方法、並びにプログラム
US7142699B2 (en) 2001-12-14 2006-11-28 Siemens Corporate Research, Inc. Fingerprint matching using ridge feature maps
US20030112930A1 (en) * 2001-12-18 2003-06-19 Bosik Barry S. Call management system responsive to network presence
US7268906B2 (en) 2002-01-07 2007-09-11 Xerox Corporation Systems and methods for authenticating and verifying documents
US7035467B2 (en) 2002-01-09 2006-04-25 Eastman Kodak Company Method and system for processing images for themed imaging services
WO2003063067A1 (en) 2002-01-24 2003-07-31 Chatterbox Systems, Inc. Method and system for locating positions in printed texts and delivering multimedia information
US7139004B2 (en) 2002-01-25 2006-11-21 Xerox Corporation Method and apparatus to convert bitmapped images for use in a structured text/graphics editor
US7137064B2 (en) 2002-02-02 2006-11-14 International Business Machines Corporation System and method for facilitating document imaging requests
US7084910B2 (en) 2002-02-08 2006-08-01 Hewlett-Packard Development Company, L.P. System and method for using multiple images in a digital image capture device
US7362354B2 (en) * 2002-02-12 2008-04-22 Hewlett-Packard Development Company, L.P. Method and system for assessing the photo quality of a captured image in a digital still camera
US7019761B2 (en) 2002-02-25 2006-03-28 Zoran Corporation Methods for auto-separation of texts and graphics
US7167574B2 (en) * 2002-03-14 2007-01-23 Seiko Epson Corporation Method and apparatus for content-based image copy detection
DE60303138T2 (de) 2002-03-22 2006-08-31 British Telecommunications P.L.C. Vergleichen von mustern
US20030179230A1 (en) 2002-03-25 2003-09-25 Gerry Seidman Method and apparatus for providing remote peer-to-peer collaborative user interfaces
US7251689B2 (en) 2002-03-27 2007-07-31 International Business Machines Corporation Managing storage resources in decentralized networks
US7421153B1 (en) 2002-04-05 2008-09-02 Bank Of America Corporation Image and data processing system
US6793334B2 (en) * 2002-04-11 2004-09-21 Hewlett-Packard Development Company, L.P. Barcode printing module
US7043474B2 (en) 2002-04-15 2006-05-09 International Business Machines Corporation System and method for measuring image similarity based on semantic meaning
US6979904B2 (en) 2002-04-19 2005-12-27 Micron Technology, Inc. Integrated circuit package having reduced interconnects
US20040036679A1 (en) 2002-05-02 2004-02-26 Emerson Harry E. Computer system providing a visual indication when typing in caps lock mode
JP4202677B2 (ja) * 2002-05-09 2008-12-24 株式会社東芝 アイデア抽出支援方法とアイデア抽出支援用のコンピュータプログラム
JP3521082B2 (ja) 2002-05-15 2004-04-19 シャープ株式会社 コンテンツ処理制限方法、およびコンテンツ編集装置
US20030223623A1 (en) 2002-06-03 2003-12-04 Srinivas Gutta Face-recognition using half-face images
US20030229857A1 (en) 2002-06-05 2003-12-11 Fuji Xerox Co., Ltd. Apparatus, method, and computer program product for document manipulation which embeds information in document data
US7240279B1 (en) * 2002-06-19 2007-07-03 Microsoft Corporation XML patterns language
EP1378886A1 (en) 2002-07-02 2004-01-07 Ubicall Communications en abrégé "UbiCall" S.A. Speech recognition device
US20040015495A1 (en) 2002-07-15 2004-01-22 Samsung Electronics Co., Ltd. Apparatus and method for retrieving face images using combined component descriptors
JP4190819B2 (ja) 2002-07-17 2008-12-03 Ｊｕｋｉ株式会社 電子部品実装装置及び画像認識方法の選択方法
JP3876783B2 (ja) 2002-07-19 2007-02-07 株式会社デンソーウェーブ 情報コード読取方法
CA2397424A1 (en) 2002-08-09 2004-02-09 Mohammed Lamine Kherfi Content-based image retrieval using positive and negative examples
WO2004034236A2 (en) 2002-10-11 2004-04-22 Digimarc Corporation Systems and methods for recognition of individuals using multiple biometric searches
US7249123B2 (en) 2002-10-31 2007-07-24 International Business Machines Corporation System and method for building social networks based on activity around shared virtual objects
US6810328B2 (en) 2002-11-23 2004-10-26 Alpine Electronics, Inc Navigation method and system for indicating area-specific traffic information
US20040107256A1 (en) 2002-12-02 2004-06-03 Thomas Odenwald Collaboration integration
US7283983B2 (en) 2003-01-09 2007-10-16 Evolution Robotics, Inc. Computer and vision-based augmented interaction in the use of printed media
US20040139391A1 (en) * 2003-01-15 2004-07-15 Xerox Corporation Integration of handwritten annotations into an electronic original
US20040143644A1 (en) 2003-01-21 2004-07-22 Nec Laboratories America, Inc. Meta-search engine architecture
US7360694B2 (en) 2003-01-23 2008-04-22 Mastercard International Incorporated System and method for secure telephone and computer transactions using voice authentication
US7272258B2 (en) 2003-01-29 2007-09-18 Ricoh Co., Ltd. Reformatting documents using document analysis information
US7257268B2 (en) 2003-02-28 2007-08-14 Aperio Technologies, Inc. Systems and methods for image pattern recognition
US7310769B1 (en) 2003-03-12 2007-12-18 Adobe Systems Incorporated Text encoding using dummy font
KR20050110021A (ko) 2003-03-17 2005-11-22 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 디바이스의 원격 제어 방법
EP1654864A4 (en) 2003-03-20 2009-05-27 Ge Security Inc SYSTEMS AND METHOD FOR MULTISTRIBBIT PROCESSING
GB2399983A (en) 2003-03-24 2004-09-29 Canon Kk Picture storage and retrieval system for telecommunication system
US7882113B2 (en) 2003-03-28 2011-02-01 International Business Machines Corporation Method, apparatus, and system for formatting time data to improve processing in a sort utility
US7282164B2 (en) 2003-04-07 2007-10-16 Silverbrook Research Pty Ltd. Stabilized dithiolene inkjet inks
US7489821B2 (en) 2003-04-08 2009-02-10 International Business Machines Corporation Method, system and program product for representing a perceptual organization of an image
US7206773B2 (en) * 2003-04-11 2007-04-17 Ricoh Company, Ltd Techniques for accessing information captured during a presentation using a paper document handout for the presentation
US7236632B2 (en) 2003-04-11 2007-06-26 Ricoh Company, Ltd. Automated techniques for comparing contents of images
WO2004097759A1 (en) 2003-04-25 2004-11-11 Apple Computer, Inc. Method and system for network-based purchase and distribution of media
JP2004348706A (ja) 2003-04-30 2004-12-09 Canon Inc 情報処理装置及び情報処理方法ならびに記憶媒体、プログラム
JP2004348241A (ja) * 2003-05-20 2004-12-09 Hitachi Ltd 情報提供方法、サーバ及びプログラム
US7502779B2 (en) * 2003-06-05 2009-03-10 International Business Machines Corporation Semantics-based searching for information in a distributed data processing system
EP1631897A4 (en) 2003-06-06 2007-06-27 Neomedia Tech Inc AUTOMATIC ACCESS TO INTERNET CONTENTS WITH A MOBILE TELEPHONES WITH CAMERA CAPABILITY
JP2005010854A (ja) 2003-06-16 2005-01-13 Sony Computer Entertainment Inc 情報提示方法および装置
JP4356371B2 (ja) 2003-06-18 2009-11-04 富士ゼロックス株式会社 情報処理装置
US20040260680A1 (en) 2003-06-19 2004-12-23 International Business Machines Corporation Personalized indexing and searching for information in a distributed data processing system
US20040260625A1 (en) 2003-06-20 2004-12-23 Yoshinori Usami Digital photo print order acceptance method and digital image management method
US7310779B2 (en) 2003-06-26 2007-12-18 International Business Machines Corporation Method for creating and selecting active regions on physical documents
US7274822B2 (en) 2003-06-30 2007-09-25 Microsoft Corporation Face annotation for photo management
JP4322169B2 (ja) * 2003-07-16 2009-08-26 株式会社リコー 文書処理システム、文書処理方法、文書処理プログラム
US7156311B2 (en) 2003-07-16 2007-01-02 Scanbuy, Inc. System and method for decoding and analyzing barcodes using a mobile device
US7446895B2 (en) 2003-07-18 2008-11-04 Sharp Laboratories Of America, Inc. Print content system and method for providing document control
US7317816B2 (en) 2003-08-19 2008-01-08 Intel Corporation Enabling content-based search of objects in an image database with reduced matching
JP2005070416A (ja) * 2003-08-25 2005-03-17 Fujitsu Ten Ltd 楽曲情報の更新システム、楽曲情報の送信装置、楽曲情報の更新機能を有する端末装置、並びに楽曲情報の更新方法、楽曲情報の送信方法、端末装置の楽曲情報更新方法
US7305435B2 (en) 2003-08-25 2007-12-04 Nokia Corporation Internet access via smartphone camera
US20050047631A1 (en) 2003-08-26 2005-03-03 Cross Match Technologies, Inc. Method and apparatus for rolled fingerprint image capture with variable blending
US7843313B2 (en) 2003-09-05 2010-11-30 Honeywell International Inc. Distributed stand-off verification and face recognition systems (FRS)
US7103438B2 (en) 2003-09-15 2006-09-05 Cummins-Allison Corp. System and method for searching and verifying documents in a document processing device
WO2005029353A1 (ja) 2003-09-18 2005-03-31 Fujitsu Limited 注釈管理システム、注釈管理方法、文書変換サーバ、文書変換プログラム、電子文書付加プログラム
JP2005100274A (ja) 2003-09-26 2005-04-14 Mazda Motor Corp 情報提供システム、情報検索装置及び情報提供方法
JP2005100277A (ja) * 2003-09-26 2005-04-14 Mazda Motor Corp 情報処理装置、サーバ、情報処理方法及びプログラム
US8156248B2 (en) 2003-10-09 2012-04-10 International Business Machines Corporation Image distribution for dynamic server pages
US20050080693A1 (en) * 2003-10-14 2005-04-14 Foss Sheldon H. Point-of-sale customer identification system
US7493322B2 (en) 2003-10-15 2009-02-17 Xerox Corporation System and method for computing a measure of similarity between documents
US7379627B2 (en) 2003-10-20 2008-05-27 Microsoft Corporation Integrated solution to digital image similarity searching
US7512286B2 (en) * 2003-10-27 2009-03-31 Hewlett-Packard Development Company, L.P. Assessing image quality
US7519565B2 (en) 2003-11-03 2009-04-14 Cloudmark, Inc. Methods and apparatuses for classifying electronic documents
US7373109B2 (en) 2003-11-04 2008-05-13 Nokia Corporation System and method for registering attendance of entities associated with content creation
US20050108406A1 (en) 2003-11-07 2005-05-19 Dynalab Inc. System and method for dynamically generating a customized menu page
US7912291B2 (en) 2003-11-10 2011-03-22 Ricoh Co., Ltd Features for retrieval and similarity matching of documents from the JPEG 2000-compressed domain
JP2005157931A (ja) 2003-11-28 2005-06-16 Ricoh Co Ltd 画像検索装置、画像検索方法、プログラム及び記憶媒体
US7937340B2 (en) 2003-12-03 2011-05-03 Microsoft Corporation Automated satisfaction measurement for web search
GB0328326D0 (en) 2003-12-05 2004-01-07 British Telecomm Image processing
US20050160258A1 (en) 2003-12-11 2005-07-21 Bioobservation Systems Limited Detecting objectionable content in displayed images
US7359532B2 (en) 2003-12-11 2008-04-15 Intel Corporation Fingerprint minutiae matching using scoring techniques
US20050185225A1 (en) 2003-12-12 2005-08-25 Brawn Dennis E. Methods and apparatus for imaging documents
US7480334B2 (en) 2003-12-23 2009-01-20 Genesis Microchip Inc. Temporal motion vector filtering
US7376270B2 (en) 2003-12-29 2008-05-20 Canon Kabushiki Kaisha Detecting human faces and detecting red eyes
US7734729B2 (en) * 2003-12-31 2010-06-08 Amazon Technologies, Inc. System and method for obtaining information relating to an item of commerce using a portable imaging device
US20050197869A1 (en) 2003-12-31 2005-09-08 Justin Schaefer System for mergers and acquisitions
US7475061B2 (en) 2004-01-15 2009-01-06 Microsoft Corporation Image-based document indexing and retrieval
US7872669B2 (en) 2004-01-22 2011-01-18 Massachusetts Institute Of Technology Photo-based mobile deixis system and related techniques
US8615487B2 (en) 2004-01-23 2013-12-24 Garrison Gomez System and method to store and retrieve identifier associated information content
US7707039B2 (en) 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
US7310676B2 (en) 2004-02-09 2007-12-18 Proxpro, Inc. Method and computer system for matching mobile device users for business and social networking
GB2411532B (en) 2004-02-11 2010-04-28 British Broadcasting Corp Position determination
US20060041605A1 (en) 2004-04-01 2006-02-23 King Martin T Determining actions involving captured information and electronic content associated with rendered documents
US20060104515A1 (en) 2004-07-19 2006-05-18 King Martin T Automatic modification of WEB pages
US20060053097A1 (en) 2004-04-01 2006-03-09 King Martin T Searching and accessing documents on private networks for use with captures from rendered documents
US20060122983A1 (en) * 2004-12-03 2006-06-08 King Martin T Locating electronic instances of documents based on rendered instances, document fragment digest generation, and digest based document fragment determination
US7197502B2 (en) 2004-02-18 2007-03-27 Friendly Polynomials, Inc. Machine-implemented activity management system using asynchronously shared activity data objects and journal data items
US7565139B2 (en) 2004-02-20 2009-07-21 Google Inc. Image-based search engine for mobile phones with camera
US7751805B2 (en) 2004-02-20 2010-07-06 Google Inc. Mobile image-based information retrieval system
US8421872B2 (en) 2004-02-20 2013-04-16 Google Inc. Image base inquiry system for search engines for mobile telephones with integrated camera
US7421387B2 (en) 2004-02-24 2008-09-02 General Motors Corporation Dynamic N-best algorithm to reduce recognition errors
JP4504702B2 (ja) 2004-02-25 2010-07-14 株式会社リコー 文書処理装置、文書処理方法、および文書処理プログラム
US7386789B2 (en) 2004-02-27 2008-06-10 Hewlett-Packard Development Company, L.P. Method for determining logical components of a document
US7466875B1 (en) * 2004-03-01 2008-12-16 Amazon Technologies, Inc. Method and system for determining the legibility of text in an image
US8788492B2 (en) 2004-03-15 2014-07-22 Yahoo!, Inc. Search system and methods with integration of user annotations from a trust network
JP2005266198A (ja) * 2004-03-18 2005-09-29 Pioneer Electronic Corp 音響情報再生装置および音楽データのキーワード作成方法
US7831387B2 (en) 2004-03-23 2010-11-09 Google Inc. Visually-oriented driving directions in digital mapping system
JP4152340B2 (ja) 2004-03-26 2008-09-17 富士フイルム株式会社 画像処理システムおよびその方法
JP2004310765A (ja) * 2004-03-26 2004-11-04 Kazuhiro Yamamoto 掲載データのクリッピングシステム
US20080059419A1 (en) 2004-03-31 2008-03-06 David Benjamin Auerbach Systems and methods for providing search results
US7725508B2 (en) 2004-03-31 2010-05-25 Google Inc. Methods and systems for information capture and retrieval
US20100013615A1 (en) 2004-03-31 2010-01-21 Carnegie Mellon University Obstacle detection having enhanced classification
US20070300142A1 (en) * 2005-04-01 2007-12-27 King Martin T Contextual dynamic advertising based upon captured rendered text
US9008447B2 (en) 2004-04-01 2015-04-14 Google Inc. Method and system for character recognition
US8713418B2 (en) * 2004-04-12 2014-04-29 Google Inc. Adding value to a rendered document
US7707218B2 (en) 2004-04-16 2010-04-27 Mobot, Inc. Mobile query system and method based on visual cues
CN1275187C (zh) 2004-04-18 2006-09-13 杭州中正生物认证技术有限公司 基于全局脊线的指纹识别方法
US20050240381A1 (en) 2004-04-26 2005-10-27 Pjm Interconnection, Llc. Systems and methods for analysis of a commodity transmission network
US8423634B2 (en) 2004-05-24 2013-04-16 Neustar, Inc. System and method for determining cost of website performance
US20050267872A1 (en) * 2004-06-01 2005-12-01 Yaron Galai System and method for automated mapping of items to documents
JP2005348055A (ja) * 2004-06-02 2005-12-15 Toshiba Corp ユーザプロファイル編集装置及びユーザプロファイル編集方法並びにプログラム
US7150399B2 (en) 2004-06-09 2006-12-19 Ricoh Co., Ltd. Embedding barcode data in an auxiliary field of an image file
US20050289182A1 (en) * 2004-06-15 2005-12-29 Sand Hill Systems Inc. Document management system with enhanced intelligent document recognition capabilities
US7746376B2 (en) 2004-06-16 2010-06-29 Felipe Mendoza Method and apparatus for accessing multi-dimensional mapping and information
US7263472B2 (en) 2004-06-28 2007-08-28 Mitsubishi Electric Research Laboratories, Inc. Hidden markov model based object tracking and similarity metrics
US20050289447A1 (en) 2004-06-29 2005-12-29 The Boeing Company Systems and methods for generating and storing referential links in a database
US20060020630A1 (en) 2004-07-23 2006-01-26 Stager Reed R Facial database methods and systems
CN100377171C (zh) 2004-08-13 2008-03-26 富士通株式会社 生成劣化字符图像的方法和装置
CN100373399C (zh) 2004-08-18 2008-03-05 富士通株式会社 建立劣化字典的方法和装置
US7890871B2 (en) 2004-08-26 2011-02-15 Redlands Technology, Llc System and method for dynamically generating, maintaining, and growing an online social network
US20060043188A1 (en) 2004-08-27 2006-03-02 Gregg Kricorissian Imaging method and apparatus for object identification
US20060080286A1 (en) 2004-08-31 2006-04-13 Flashpoint Technology, Inc. System and method for storing and accessing images based on position data associated therewith
US20060070120A1 (en) * 2004-09-02 2006-03-30 Brother Kogyo Kabushiki Kaisha File transmitting device and multi function device
US8108386B2 (en) 2004-09-07 2012-01-31 Stuart Robert O More efficient search algorithm (MESA) using alpha omega search strategy
US20070118794A1 (en) 2004-09-08 2007-05-24 Josef Hollander Shared annotation system and method
GB0419882D0 (en) 2004-09-08 2004-10-13 Bamford Excavators Ltd Calculation module
JP4371965B2 (ja) 2004-09-14 2009-11-25 キヤノン株式会社 画像処理装置、画像処理方法
US20060074828A1 (en) 2004-09-14 2006-04-06 Heumann John M Methods and apparatus for detecting temporal process variation and for managing and predicting performance of automatic classifiers
US8949287B2 (en) 2005-08-23 2015-02-03 Ricoh Co., Ltd. Embedding hot spots in imaged documents
US9171202B2 (en) 2005-08-23 2015-10-27 Ricoh Co., Ltd. Data organization and access for mixed media document system
US9384619B2 (en) 2006-07-31 2016-07-05 Ricoh Co., Ltd. Searching media content for objects specified using identifiers
US9530050B1 (en) 2007-07-11 2016-12-27 Ricoh Co., Ltd. Document annotation sharing
US8276088B2 (en) 2007-07-11 2012-09-25 Ricoh Co., Ltd. User interface for three-dimensional navigation
US8156116B2 (en) * 2006-07-31 2012-04-10 Ricoh Co., Ltd Dynamic presentation of targeted information in a mixed media reality recognition system
US8335789B2 (en) 2004-10-01 2012-12-18 Ricoh Co., Ltd. Method and system for document fingerprint matching in a mixed media environment
US10192279B1 (en) 2007-07-11 2019-01-29 Ricoh Co., Ltd. Indexed document modification sharing with mixed media reality
US8965145B2 (en) 2006-07-31 2015-02-24 Ricoh Co., Ltd. Mixed media reality recognition using multiple specialized indexes
US8838591B2 (en) 2005-08-23 2014-09-16 Ricoh Co., Ltd. Embedding hot spots in electronic documents
US8489583B2 (en) 2004-10-01 2013-07-16 Ricoh Company, Ltd. Techniques for retrieving documents using an image capture device
US7702673B2 (en) 2004-10-01 2010-04-20 Ricoh Co., Ltd. System and methods for creation and use of a mixed media environment
US7812986B2 (en) 2005-08-23 2010-10-12 Ricoh Co. Ltd. System and methods for use of voice mail and email in a mixed media environment
US9373029B2 (en) 2007-07-11 2016-06-21 Ricoh Co., Ltd. Invisible junction feature recognition for document security or annotation
US8856108B2 (en) 2006-07-31 2014-10-07 Ricoh Co., Ltd. Combining results of image retrieval processes
US7669148B2 (en) * 2005-08-23 2010-02-23 Ricoh Co., Ltd. System and methods for portable device for mixed media system
US8825682B2 (en) 2006-07-31 2014-09-02 Ricoh Co., Ltd. Architecture for mixed media reality retrieval of locations and registration of images
US8332401B2 (en) 2004-10-01 2012-12-11 Ricoh Co., Ltd Method and system for position-based image matching in a mixed media environment
US8369655B2 (en) 2006-07-31 2013-02-05 Ricoh Co., Ltd. Mixed media reality recognition using multiple specialized indexes
US9495385B2 (en) 2004-10-01 2016-11-15 Ricoh Co., Ltd. Mixed media reality recognition using multiple specialized indexes
US8868555B2 (en) * 2006-07-31 2014-10-21 Ricoh Co., Ltd. Computation of a recongnizability score (quality predictor) for image retrieval
US7551780B2 (en) 2005-08-23 2009-06-23 Ricoh Co., Ltd. System and method for using individualized mixed document
US8600989B2 (en) 2004-10-01 2013-12-03 Ricoh Co., Ltd. Method and system for image matching in a mixed media environment
US8521737B2 (en) 2004-10-01 2013-08-27 Ricoh Co., Ltd. Method and system for multi-tier image matching in a mixed media environment
US8385589B2 (en) 2008-05-15 2013-02-26 Berna Erol Web-based content detection in images, extraction and recognition
US8176054B2 (en) 2007-07-12 2012-05-08 Ricoh Co. Ltd Retrieving electronic documents by converting them to synthetic text
US9405751B2 (en) 2005-08-23 2016-08-02 Ricoh Co., Ltd. Database for mixed media document system
US20060079214A1 (en) 2004-10-12 2006-04-13 Nokia Corporation Method and apparatus for showing wireless mobile device data content on an external viewer
JP2006121607A (ja) 2004-10-25 2006-05-11 Canon Inc 画像処理装置及び方法
US7138905B2 (en) 2004-11-18 2006-11-21 Honeywell International Inc. Controlled environment thermal image detection system and methods regarding same
JP4681863B2 (ja) 2004-11-30 2011-05-11 キヤノン株式会社 画像処理装置、および、その制御方法
US20060119880A1 (en) 2004-12-02 2006-06-08 Dandekar Shree A Local photo printing
GB2437428A (en) * 2004-12-06 2007-10-24 Dspv Ltd System and method for generic symbol recognition and user authenication using a communication device with imaging capabilities
US7689655B2 (en) 2004-12-06 2010-03-30 Aol Inc. Managing and collaborating with digital content using a dynamic user interface
US20060140475A1 (en) 2004-12-15 2006-06-29 Chin Frances M Network support for corrupting images captured at a prohibited location
WO2006064751A1 (ja) 2004-12-16 2006-06-22 Matsushita Electric Industrial Co., Ltd. 複眼撮像装置
US8230326B2 (en) 2004-12-17 2012-07-24 International Business Machines Corporation Method for associating annotations with document families
US7409362B2 (en) 2004-12-23 2008-08-05 Diamond Review, Inc. Vendor-driven, social-network enabled review system and method with flexible syndication
KR100608596B1 (ko) 2004-12-28 2006-08-03 삼성전자주식회사 얼굴 검출을 기반으로 하는 휴대용 영상 촬영 기기 및영상 촬영 방법
US7698270B2 (en) 2004-12-29 2010-04-13 Baynote, Inc. Method and apparatus for identifying, extracting, capturing, and leveraging expertise and knowledge
US7545985B2 (en) 2005-01-04 2009-06-09 Microsoft Corporation Method and system for learning-based quality assessment of images
US8719700B2 (en) 2010-05-04 2014-05-06 Xerox Corporation Matching a page layout for each page of a document to a page template candidate from a list of page layout candidates
JP4455357B2 (ja) 2005-01-28 2010-04-21 キヤノン株式会社 情報処理装置及び情報処理方法
JP2006215756A (ja) 2005-02-02 2006-08-17 Dainippon Ink & Chem Inc 画像処理装置および画像処理方法ならびにそのプログラム
JP2006229465A (ja) 2005-02-16 2006-08-31 Matsushita Electric Ind Co Ltd 監視装置、監視方法、監視用プログラム
JP4428250B2 (ja) 2005-02-17 2010-03-10 セイコーエプソン株式会社 ネットワークに接続された印刷装置の印刷進行状況監視制御
US20060190812A1 (en) 2005-02-22 2006-08-24 Geovector Corporation Imaging systems including hyperlink associations
US7567262B1 (en) 2005-02-25 2009-07-28 IDV Solutions LLC Hybrid graphics for interactive reporting
US7644078B2 (en) 2005-02-28 2010-01-05 Gm Global Technology Operations, Inc. System and method for mining of temporal data
JP4332556B2 (ja) 2005-03-01 2009-09-16 公立大学法人大阪府立大学 文書・画像検索方法とそのプログラム、文書・画像登録装置および検索装置
US20060200480A1 (en) * 2005-03-01 2006-09-07 Harris David N System and method for using product identifiers
KR100679044B1 (ko) 2005-03-07 2007-02-06 삼성전자주식회사 사용자 적응형 음성 인식 방법 및 장치
US20060203010A1 (en) 2005-03-14 2006-09-14 Kirchner Peter D Real-time rendering of embedded transparent geometry in volumes on commodity graphics processing units
US20060218225A1 (en) 2005-03-28 2006-09-28 Hee Voon George H Device for sharing social network information among users over a network
US7546524B1 (en) 2005-03-30 2009-06-09 Amazon Technologies, Inc. Electronic input device, system, and method using human-comprehensible content to automatically correlate an annotation of a paper document with a digital version of the document
US7765231B2 (en) 2005-04-08 2010-07-27 Rathus Spencer A System and method for accessing electronic data via an image search engine
EP1877926A4 (en) * 2005-04-12 2010-07-07 Accoona Corp DEVICES, METHODS AND SYSTEMS FOR IDENTIFYING, GENERATING AND AGGREGATING QUALIFIED SALES AND MARKETING LEADS FOR DISTRIBUTION OF AN ONLINE SYSTEM FOR COMPETITIVE BIDDING
US7403642B2 (en) 2005-04-21 2008-07-22 Microsoft Corporation Efficient propagation for face annotation
JP2006305176A (ja) 2005-04-28 2006-11-09 Nintendo Co Ltd ゲームプログラムおよびゲーム装置
US7519200B2 (en) * 2005-05-09 2009-04-14 Like.Com System and method for enabling the use of captured images through recognition
US7809192B2 (en) 2005-05-09 2010-10-05 Like.Com System and method for recognizing objects from images and identifying relevancy amongst images and information
US7747642B2 (en) * 2005-05-09 2010-06-29 Trend Micro Incorporated Matching engine for querying relevant documents
US7809722B2 (en) * 2005-05-09 2010-10-05 Like.Com System and method for enabling search and retrieval from image files based on recognized information
US7450760B2 (en) * 2005-05-18 2008-11-11 Scanr, Inc. System and method for capturing and processing business data
US8200364B2 (en) 2005-05-31 2012-06-12 Neopost Technologies Intelligent mail system
US20070006129A1 (en) 2005-06-01 2007-01-04 Opasmedia Oy Forming of a data retrieval, searching from a data retrieval system, and a data retrieval system
US20060282312A1 (en) * 2005-06-10 2006-12-14 Microsoft Corporation Advertisements in an alert interface
US7676767B2 (en) 2005-06-15 2010-03-09 Microsoft Corporation Peel back user interface to show hidden functions
EP1897033A4 (en) 2005-06-16 2015-06-24 Strider Labs Inc SYSTEM AND METHOD FOR RECOGNIZING 2D IMAGES USING 3D CLASS MODELS
US20070050175A1 (en) * 2005-06-16 2007-03-01 Richard Schmelzer Content enhancement based on contextual data within a feed
KR100754656B1 (ko) 2005-06-20 2007-09-03 삼성전자주식회사 이미지와 관련한 정보를 사용자에게 제공하는 방법 및시스템과 이를 위한 이동통신단말기
US20060294049A1 (en) 2005-06-27 2006-12-28 Microsoft Corporation Back-off mechanism for search
US7702681B2 (en) 2005-06-29 2010-04-20 Microsoft Corporation Query-by-image search and retrieval system
JPWO2007004519A1 (ja) 2005-06-30 2009-01-29 オリンパス株式会社 検索システム及び検索方法
US7623711B2 (en) 2005-06-30 2009-11-24 Ricoh Co., Ltd. White space graphs and trees for content-adaptive scaling of document images
US8249344B2 (en) 2005-07-01 2012-08-21 Microsoft Corporation Grammatical parsing of document visual structures
GB2442166A (en) * 2005-07-19 2008-03-26 Direct Tv Pty Ltd Presentation content management and creation systems and methods
TW200705299A (en) 2005-07-21 2007-02-01 Yu-Chung Chu Method and system for consumer photograph based advertisement and information distribution
JP2007034847A (ja) * 2005-07-28 2007-02-08 Canon Inc 検索装置及び検索方法
US20070031063A1 (en) 2005-08-05 2007-02-08 Hui Zhou Method and apparatus for generating a composite image from a set of images
WO2007022460A2 (en) 2005-08-18 2007-02-22 Digital Business Processes, Inc. Post-ocr image segmentation into spatially separated text zones
KR100980748B1 (ko) 2005-08-23 2010-09-07 가부시키가이샤 리코 혼합 미디어 환경을 생성 및 사용하는 시스템 및 방법
WO2007052171A2 (en) * 2005-09-01 2007-05-10 Zvi Haim Lev System and method for reliable content access using a cellular/wireless device with imaging capabilities
JP4775700B2 (ja) 2005-09-05 2011-09-21 カシオ計算機株式会社 画像処理装置及び画像処理方法
US9363487B2 (en) 2005-09-08 2016-06-07 Avigilon Fortress Corporation Scanning camera-based video surveillance system
US20080009268A1 (en) 2005-09-14 2008-01-10 Jorey Ramer Authorized mobile content search results
US7457825B2 (en) 2005-09-21 2008-11-25 Microsoft Corporation Generating search requests from multimodal queries
US8599832B2 (en) * 2005-09-28 2013-12-03 Ingenio Llc Methods and apparatuses to connect people for real time communications via voice over internet protocol (VOIP)
GB2430735A (en) 2005-09-30 2007-04-04 Sony Uk Ltd Object detection
US7801893B2 (en) 2005-09-30 2010-09-21 Iac Search & Media, Inc. Similarity detection and clustering of images
US7730081B2 (en) * 2005-10-18 2010-06-01 Microsoft Corporation Searching based on messages
US8849821B2 (en) 2005-11-04 2014-09-30 Nokia Corporation Scalable visual search system simplifying access to network and device functionality
JP4753072B2 (ja) 2005-11-14 2011-08-17 独立行政法人産業技術総合研究所 映像内の複数広告看板の認識方法
US7663671B2 (en) 2005-11-22 2010-02-16 Eastman Kodak Company Location based image classification with map segmentation
US8326037B1 (en) 2005-11-23 2012-12-04 Matrox Electronic Systems, Ltd. Methods and apparatus for locating an object in an image
JP2007148500A (ja) * 2005-11-24 2007-06-14 Olympus Corp 画像処理装置および画像処理方法
EP1796039B1 (en) 2005-12-08 2018-11-28 Topcon Corporation Device and method for image processing
US8212832B2 (en) 2005-12-08 2012-07-03 Ati Technologies Ulc Method and apparatus with dynamic graphics surface memory allocation
US20100005485A1 (en) 2005-12-19 2010-01-07 Agency For Science, Technology And Research Annotation of video footage and personalised video generation
US20080317383A1 (en) 2005-12-22 2008-12-25 Koninklijke Philips Electronics, N.V. Adaptive Point-Based Elastic Image Registration
JP2007174270A (ja) 2005-12-22 2007-07-05 Canon Inc 画像処理装置、画像処理方法、記憶媒体、プログラム
US7643659B2 (en) 2005-12-31 2010-01-05 Arcsoft, Inc. Facial feature detection on mobile devices
US7761436B2 (en) 2006-01-03 2010-07-20 Yahoo! Inc. Apparatus and method for controlling content access based on shared annotations for annotated users in a folksonomy scheme
US7725451B2 (en) 2006-01-23 2010-05-25 Microsoft Corporation Generating clusters of images for search results
GB2434933B (en) 2006-02-01 2009-06-03 Motorola Inc Apparatus and method for image labelling
US7463270B2 (en) 2006-02-10 2008-12-09 Microsoft Corporation Physical-virtual interpolation
JP2007264992A (ja) 2006-03-28 2007-10-11 Konica Minolta Holdings Inc 文書検索装置、文書検索方法、および文書検索プログラム
US7647331B2 (en) 2006-03-28 2010-01-12 Microsoft Corporation Detecting duplicate images using hash code grouping
JP4864508B2 (ja) 2006-03-31 2012-02-01 富士通株式会社 情報検索プログラム、情報検索方法および情報検索装置
US8554690B2 (en) * 2006-03-31 2013-10-08 Ricoh Company, Ltd. Techniques for using media keys
US7860317B2 (en) 2006-04-04 2010-12-28 Microsoft Corporation Generating search results based on duplicate image detection
US7668405B2 (en) 2006-04-07 2010-02-23 Eastman Kodak Company Forming connections between image collections
US7672508B2 (en) 2006-04-11 2010-03-02 Sony Corporation Image classification based on a mixture of elliptical color models
US8330830B2 (en) 2006-04-13 2012-12-11 Eastman Kodak Company Camera user input based image value index
EP2012527B1 (en) 2006-04-19 2017-10-25 Panasonic Intellectual Property Corporation of America Visual processing device, visual processing method, program, display device, and integrated circuit
US20070260597A1 (en) * 2006-05-02 2007-11-08 Mark Cramer Dynamic search engine results employing user behavior
US20070276845A1 (en) 2006-05-12 2007-11-29 Tele Atlas North America, Inc. Locality indexes and method for indexing localities
US20080010273A1 (en) 2006-06-12 2008-01-10 Metacarta, Inc. Systems and methods for hierarchical organization and presentation of geographic search results
US20080004519A1 (en) 2006-06-15 2008-01-03 Theriault Richard H System for and method of performing a medical evaluation
CN100456298C (zh) * 2006-07-12 2009-01-28 百度在线网络技术（北京）有限公司 广告信息检索系统及广告信息检索方法
US8676810B2 (en) 2006-07-31 2014-03-18 Ricoh Co., Ltd. Multiple index mixed media reality recognition using unequal priority indexes
US8489987B2 (en) 2006-07-31 2013-07-16 Ricoh Co., Ltd. Monitoring and analyzing creation and usage of visual content using image and hotspot interaction
US9063952B2 (en) 2006-07-31 2015-06-23 Ricoh Co., Ltd. Mixed media reality recognition with image tracking
US8201076B2 (en) 2006-07-31 2012-06-12 Ricoh Co., Ltd. Capturing symbolic information from documents upon printing
US9176984B2 (en) 2006-07-31 2015-11-03 Ricoh Co., Ltd Mixed media reality retrieval of differentially-weighted links
US7946491B2 (en) 2006-08-03 2011-05-24 Nokia Corporation Method, apparatus, and computer program product for providing a camera barcode reader
US8838560B2 (en) * 2006-08-25 2014-09-16 Covario, Inc. System and method for measuring the effectiveness of an on-line advertisement campaign
JP2008064885A (ja) 2006-09-05 2008-03-21 Honda Motor Co Ltd 音声認識装置、音声認識方法、及び音声認識プログラム
US7774431B2 (en) 2006-09-05 2010-08-10 Gloto Real time collaborative on-line multimedia albums
KR101443404B1 (ko) * 2006-09-15 2014-10-02 구글 인코포레이티드 페이퍼 및 전자 문서내의 주석의 캡처 및 디스플레이
US20080071929A1 (en) * 2006-09-18 2008-03-20 Yann Emmanuel Motte Methods and apparatus for selection of information and web page generation
US7752534B2 (en) 2006-09-19 2010-07-06 International Business Machines Corporation Method and apparatus for customizing the display of multidimensional data
US7766241B2 (en) 2006-09-29 2010-08-03 Konica Minolta Systems Laboratory, Inc. Barcode for two-way verification of a document
US9361943B2 (en) 2006-11-07 2016-06-07 The Board Of Trustees Of The Leland Stanford Jr. University System and method for tagging objects in a panoramic video and associating functions and indexing panoramic images with same
US9436779B2 (en) 2006-11-17 2016-09-06 Oracle International Corporation Techniques of efficient XML query using combination of XML table index and path/value index
JP4426563B2 (ja) 2006-12-25 2010-03-03 大日本印刷株式会社 情報提供システム
US7900847B2 (en) 2007-01-18 2011-03-08 Target Brands, Inc. Barcodes with graphical elements
US8347206B2 (en) 2007-03-15 2013-01-01 Microsoft Corporation Interactive image tagging
US20080267504A1 (en) 2007-04-24 2008-10-30 Nokia Corporation Method, device and computer program product for integrating code-based and optical character recognition technologies into a mobile visual search
EP2151091A4 (en) 2007-05-17 2010-07-21 Fat Free Mobile Inc METHOD AND SYSTEM FOR TRANSCODING WEB PAGES BY SELECTION LIMITATION THROUGH DIRECTIONAL REFERENCES
US20080319844A1 (en) * 2007-06-22 2008-12-25 Microsoft Corporation Image Advertising System
US7882177B2 (en) 2007-08-06 2011-02-01 Yahoo! Inc. Employing pixel density to detect a spam image
US20090059922A1 (en) 2007-08-30 2009-03-05 Barry Appelman Systems and Methods for Multicast Communication
US8788589B2 (en) * 2007-10-12 2014-07-22 Watchitoo, Inc. System and method for coordinating simultaneous edits of shared digital data
US8540158B2 (en) 2007-12-12 2013-09-24 Yiwu Lei Document verification using dynamic document identification framework
US7801845B1 (en) 2007-12-21 2010-09-21 Amazon Technologies, Inc. Creating forums associated with a search string
US10402833B2 (en) 2008-03-05 2019-09-03 Ebay Inc. Method and apparatus for social network qualification systems
US8321406B2 (en) 2008-03-31 2012-11-27 Google Inc. Media object query submission and response
US20090254643A1 (en) 2008-04-04 2009-10-08 Merijn Camiel Terheggen System and method for identifying galleries of media objects on a network
US8499335B2 (en) 2008-04-22 2013-07-30 Xerox Corporation Online home improvement document management service
US8566717B2 (en) * 2008-06-24 2013-10-22 Microsoft Corporation Rendering teaching animations on a user-interface display
US8107740B2 (en) 2008-08-15 2012-01-31 Honeywell International Inc. Apparatus and method for efficient indexing and querying of images in security systems and other systems
US8520979B2 (en) * 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
US20100063961A1 (en) * 2008-09-05 2010-03-11 Fotonauts, Inc. Reverse Tagging of Images in System for Managing and Sharing Digital Images
US8194102B2 (en) * 2008-10-06 2012-06-05 Microsoft Corporation Rendering annotations for images
US8255394B2 (en) 2009-06-01 2012-08-28 International Business Machines Corporation Apparatus, system, and method for efficient content indexing of streaming XML document content
US8385660B2 (en) 2009-06-24 2013-02-26 Ricoh Co., Ltd. Mixed media reality indexing and retrieval for repeated content
US8271529B2 (en) 2009-08-10 2012-09-18 Yuheng Qiu Location-based and time control-based interactive information group and distribution platform
US8229929B2 (en) 2010-01-06 2012-07-24 International Business Machines Corporation Cross-domain clusterability evaluation for cross-guided data clustering based on alignment between data domains
US8949252B2 (en) 2010-03-29 2015-02-03 Ebay Inc. Product category optimization for image similarity searching of image-based listings in a network-based publication system
US8386336B1 (en) 2011-03-30 2013-02-26 Amazon Technologies, Inc. Customized solicitations of product suggestions and product recommendations
US9058331B2 (en) 2011-07-27 2015-06-16 Ricoh Co., Ltd. Generating a conversation in a social network based on visual search results

Also Published As

Publication number Publication date
US20150324848A1 (en) 2015-11-12
US20120166435A1 (en) 2012-06-28
US8452780B2 (en) 2013-05-28
JP5482185B2 (ja) 2014-04-23
EP2202646A2 (en) 2010-06-30
US8156116B2 (en) 2012-04-10
JP2010152897A (ja) 2010-07-08
EP2202646A3 (en) 2010-09-29
JP2014053030A (ja) 2014-03-20
JP2014053029A (ja) 2014-03-20
JP5829662B2 (ja) 2015-12-09
US20090125510A1 (en) 2009-05-14
US9087104B2 (en) 2015-07-21
US10007928B2 (en) 2018-06-26
EP2202646B1 (en) 2020-02-12
US20130218886A1 (en) 2013-08-22

Similar Documents

Publication Publication Date Title
JP5621897B2 (ja) 処理方法、コンピュータプログラム及び処理装置
JP5673765B2 (ja) 検索システム、検索方法及びコンピュータプログラム
US8489987B2 (en) Monitoring and analyzing creation and usage of visual content using image and hotspot interaction
US8868555B2 (en) Computation of a recongnizability score (quality predictor) for image retrieval
US8510283B2 (en) Automatic adaption of an image recognition system to image capture devices
US8856108B2 (en) Combining results of image retrieval processes
US9020966B2 (en) Client device for interacting with a mixed media reality recognition system
US9495385B2 (en) Mixed media reality recognition using multiple specialized indexes
US8676810B2 (en) Multiple index mixed media reality recognition using unequal priority indexes
US8369655B2 (en) Mixed media reality recognition using multiple specialized indexes
US8385660B2 (en) Mixed media reality indexing and retrieval for repeated content
US9972108B2 (en) Mixed media reality recognition with image tracking
US8965145B2 (en) Mixed media reality recognition using multiple specialized indexes
CA2711143C (en) Method, system, and computer program for identification and sharing of digital images with face signatures

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20140107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140520

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140826

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140908

R151 Written notification of patent or utility model registration

Ref document number: 5621897

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151