Nothing Special   »   [go: up one dir, main page]

CN104239408B - 基于由移动设备记录的图像的内容的数据访问 - Google Patents

基于由移动设备记录的图像的内容的数据访问 Download PDF

Info

Publication number
CN104239408B
CN104239408B CN201410374755.8A CN201410374755A CN104239408B CN 104239408 B CN104239408 B CN 104239408B CN 201410374755 A CN201410374755 A CN 201410374755A CN 104239408 B CN104239408 B CN 104239408B
Authority
CN
China
Prior art keywords
image
information
described image
data
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410374755.8A
Other languages
English (en)
Other versions
CN104239408A (zh
Inventor
阿伦·拉玛努嘉帕若姆
马尔科姆·斯莱尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yahoo Assets LLC
Yahoo AD Tech LLC
Original Assignee
Aoshi Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aoshi Co filed Critical Aoshi Co
Publication of CN104239408A publication Critical patent/CN104239408A/zh
Application granted granted Critical
Publication of CN104239408B publication Critical patent/CN104239408B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/535—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明提供了一种基于由移动设备记录的图像的内容的数据访问，其实施例涉及使用图像数据和情境性数据来基于一个或多个先前获得的图像确定关于场景的信息。诸如图像捕捉的位置之类的情境性数据可用于确定与情境性数据相关的先前获得的图像，和其他位置相关信息，例如告示牌位置。即使在低分辨率设备(例如蜂窝电话)的情况下，也可以在先前获得的图像和新捕捉的图像之间比较图像属性，例如直方图或光学辨识的字符。在预定的阈值内匹配的属性指示出匹配的图像。关于匹配的先前获得的图像的内容的信息可被提供回给捕捉了新图像的用户。用户简档数据可细化内容信息。内容信息还可用作搜索字词，以用于额外的搜索或其他处理。

Description

基于由移动设备记录的图像的内容的数据访问
分案申请说明
本申请是申请日为2009年04月20日、题为“基于由移动设备记录的图像的内容的数据访问”的中国发明专利申请No.200980116509.X(PCT国际申请PCT/US2009/041146)的分案申请。
相交申请的交叉引用
本申请要求2008年5月15日提交的美国专利申请No.12/121,259的优先权，特此通过引用将该专利申请全部并入。
技术领域
本发明涉及基于成像访问信息，更具体而言涉及利用具有相似的情境关连元素(context correlation element)(例如邻近的位置)的多个图像来确定与图像的内容相关的信息。
背景技术
将信息输入到移动电话或其他移动设备中是困难的。输入信息通常涉及在小按键上键入以将一小组单词输入到搜索窗口中。在键入统一资源定位符(URL)和其他特殊数据所需的特殊字符时，这就更加困难了。取代键入，一些移动设备使用户可以输入语音命令。然而，语音命令的数目和类型通常是非常有限的。这些移动设备根据语音命令来解释特殊字符也是很困难的。
另外，用户常常对与其看到的事物相关的信息感兴趣，这些事物是很难描述成语音命令或音频输入的。许多移动设备现在包括数字相机。移动设备用户通常可以捕捉图像，并且下载该图像和/或利用消息将该图像传输到另一计算设备。这些相机通常比键盘更便宜，但也通常具有较低的分辨率，例如三百万像素或更低。这些低分辨率相机通常不适合于对象辨识。
附图说明
参考以下附图描述本发明的非限制性和非穷举性实施例。在附图中，除非另有指明，否则相似的标号在各图中始终指代类似的部件。
为了更好地理解本发明，现在将参考以下应联系附图来阅读的“具体实施方式”部分，附图中：
图1图示了本发明可在其中实现的示例性系统的一个实施例的示图；
图2示出了示例性移动设备的一个实施例的示意图；
图3图示了示例性网络设备的一个实施例的示意图；
图4图示了用于基于所捕捉的图像来确定和处理图像相关信息的示例性整体逻辑的流程图；并且
图5图示了用于基于所捕捉的图像来确定搜索字词和结果的示例性逻辑的流程图。
具体实施方式
现在将在下文中参考附图更全面地描述本发明，附图形成说明书的一部分，并且以图示方式示出了可用来实现本发明的具体示例性实施例。然而，本发明可以用许多不同形式来实现并且不应当被解释为限于这里记载的实施例；更确切地说，提供这些实施例是为了使本公开详尽并完整并且会将本发明的范围完全地传达给本领域的技术人员。本发明可以实现为方法或设备，等等。从而，本发明可以采取完全硬件的实施例或者组合软件和硬件方面的实施例的形式。以下详细描述因此不应当从限制意义上来理解。
在整个说明书和权利要求中，除非上下文明确地另有规定，否则以下术语采取与这里明确关联的含义。这里使用的短语“在一个实施例中”不一定指的是同一实施例，但也可以指同一实施例。另外，这里使用的短语“在另一实施例中”不一定指的是一不同实施例，但它也可指一不同实施例。因此，如下所述，本发明的各种实施例可以很容易被组合，而不脱离本发明的范围或精神。
此外，这里使用的术语“或”是包含性“或”运算符，并且等同于术语“和/或”，除非上下文明确地另有规定。术语“基于”不是排他的并且允许基于没有记载的其他因素，除非上下文明确地另有规定。此外，在整个说明书中，“a”、“an”和“the”的含义包括多数形式。“在...中”的含义包括“在...中”和“在...上”。
简言之，本发明的实施例涉及使用图像数据和情境性数据来确定关于场景的信息。内容信息可被直接访问并返回给用户，可被用作搜索字词，用作其他处理的输入，或者用于其他目的。所捕捉的图像数据、先前图像分析数据、简档数据和从许多用户收集到的其他数据被用于更好地确定所捕捉的图像的主题以及用户最可能期望的信息。不是依赖于高分辨率图像和复杂的图像处理技术，而是将与图像和位置相关的各种形式的数据的集合用作基于社区的辨识。
图像数据可包括邻近同一位置的一个或多个图像。这些图像可由许多不同的用户利用不同的相机或其他设备拍摄。这(一个或多个)图像可包括非文本信息，例如徽标、地标等等。作为附加或替换，这(一个或多个)图像可包括文本信息，例如标牌、告示牌等等上的字符串。情境性数据可包括拍摄每个图像的位置、与拍摄一个或多个这种图像的移动设备相关联的用户简档，等等。作为附加或替换，情境性数据可包括关于该位置的已知信息，例如商家、建筑物、街道名称、关于该位置附近的一个或多个用户执行的动作的信息，等等。可以分析图像以确定标识出图像的特性的直方图。如果图像分辨率允许，可执行某种对象辨识。还可分析图像以定位和辨识图像内的字符。可以相对于同一用户和/或其他用户对其他图像的分析来评估这些图像分析，以确定图像的可能内容。类似地，可以评估情境性数据以确定或修改图像的可能内容和/或期望的关于图像的可能信息。在一个实施例中，可以将所确定或辨识的关键字、类别或其他信息提交给数据搜索系统，以取回搜索结果、来自具体辨识的统一资源定位符(URL)的网页、电话簿信息、广告或其他结果。作为附加或替换，可对这些结果进行过滤、区分优先级、分类或其他方式的进一步处理。
本发明的实施例识别用户拍摄的对象的含义，并且使用此含义作为对更多信息的请求。传统上，图像评估是利用图像辨识算法、嵌入码或条码来完成的。通常，这些图像线索是不可靠的，图像质量太低，并且单是图像辨识算法无法提供期望水平的精确度。在拥有了足够的情境性信息的情况下，基于已知的对象位置、先前搜索的结果等等，本发明的实施例可以迅速地判定用户拍摄了一张告示牌的照片，该告示牌广告最近的动作电影或其他具体信息。本发明的实施例可以向用户示出一定制显示屏，该显示屏示出关于图像的主题(例如最近的电影)的更多信息。额外信息可包括最邻近的放映的位置和时间和/或其他信息。
本发明的实施例使用尽可能多的辅助信息来辨别用户在图像中正看着什么。此额外信息在这里通常被称为情境或情境性信息。情境一般包括相机的位置、照片拍摄于何时、时间、其他用户在此位置处拍摄照片的概率、其他照片的内容(其中一些可能是利用高分辨率相机拍摄的)、用户先前寻找过的信息、在给定同一情境的情况下不同用户选择了某一种信息的可能性、邻近此位置的对象的已知位置，等等。
可以通过许多不同的方式来使用情境。情境可用于使搜索偏向于有可能存在于用户拍摄的照片中的对象。中央服务器可从用户接收低质量图像，并利用诸如地点敏感型哈希之类的算法执行图像匹配，以找出同一位置中同一对象的更好质量的图像。因为服务器过去曾接收更好的图像，所以服务器已知分析过更好的图像。通过对更好图像的这种先前分析所获得的信息可能导致先前的用户点击了所产生的链接或者执行了被服务器跟踪的其他动作。从而，服务器一般拥有与可能希望的关于图像的主题的信息有关的更多情境性信息。还可利用概率模型来对情境性信息编码，这提供了关于图像的主题的额外情境。例如，看到Starbucks店面的概率在城市地区可能较高。作为另一示例，位置和其他情境可用于辨识独特的社区信息，例如语言字符。例如，在美国的少数位置中最有可能看到中文字符。基于用户的位置，服务器可以将精力集中于辨识采取已知在新图像的地区中普遍使用的语言的最有可能的字符。
分析图像的工作也可被分布在网络上，就像情境信息可被分布那样。可利用低复杂度算法来确定图像的数字指纹，这种算法可利用最低限度的CPU能力(例如用户的移动设备)来计算。数字指纹和用户的位置可被发送到服务器，以查明此图像是否已经被服务器接收过。如果该图像先前曾被服务器接收，则对该图像的分析结果可被立即返回，从而使重新分析的成本达到最低限度，并且通信费用也达到最低限度。在该网络事务进行期间，用户的移动设备可以对图像进行初始的特征提取和压缩，以为在需要时将其发送到服务器以便进行更详细的分析做准备。该处理可开始于简单的图像匹配，进而是更精妙的算法，执行光学字符辨识(OCR)以确定图像中的任何文本，请求用户输入关于图像的信息，或者进行到其他分析。本发明的一些实施例使用尽可能多的情境和图像信息来缩窄用户信息请求的范围并且递送相关内容。先前跟踪的用户行为信息也可用于确定图像的最可能内容，和/或用户期望的最可能信息。分析可随着一次按钮点击(即，对相机快门的点击)而发生。在以下对示例性实施例的论述中提供额外细节。
示例性操作环境
图1图示了本发明可在其中操作的环境的一个实施例。然而，实现本发明可能不需要所有这些组件，并且可以对组件的布置和类型进行改变，而不脱离本发明的精神或范围。
如图中所示，系统100包括客户端设备102-104、网络105以及服务器106。网络105与客户端设备102-104中的每一个和服务器106通信并且使得客户端设备102-104中的每一个和服务器106之间能够通信。
客户端设备102-104可包括几乎任何能够经由网络(例如，网络105)从另一计算设备(例如内容服务器108)接收和向另一计算设备发送消息、相互发送消息等等的计算设备。这种设备的集合可包括通常利用无线通信介质连接的设备，例如蜂窝电话、智能电话、寻呼机、步话机、射频(RF)设备、红外(IR)设备、CB、组合了一个或多个前述设备的集成电路、或者几乎任何移动设备，等等。类似地，客户端设备102-104可以是任何能够利用有线或无线通信介质连接的设备，例如个人数字助理(PDA)、掌上PC、可佩戴计算机以及任何其他被配备为经由有线和/或无线通信介质通信的设备。这种设备的集合可包括通常利用有线通信介质连接的设备，例如个人计算机、微处理器系统、基于微处理器的或可编程的消费类电子产品、网络PC等等。
客户端设备102-104内的每个客户端设备可包括被配置为发送、接收和显示网页等等的浏览器应用。浏览器应用可被配置为采用几乎任何基于web的语言来接收和显示图形、文本、多媒体等等，所述基于web的语言包括但不限于标准通用标记语言(SMGL)，比如超文本标记语言(HTML)、可扩展标记语言(XML)、手持设备标记语言(HDML)，比如无线标记语言(WML)、WMLScript、JavaScript，等等。客户端设备102-104还可包括被配置为向采用另一机制的另一计算设备发送和/或从该另一设备接收消息的消息传递应用，包括但不限于即时消息传递(IM)、电子邮件、短消息服务(SMS)、多媒体消息服务(MMS)、互联网中继聊天(IRC)、mIRC、Jabber，等等。
网络105被配置为将一个计算设备耦合到另一计算设备以使它们能够通信。网络105能够采用用于将信息从一个电子设备传输至另一电子设备的任何形式的计算机可读介质。另外，网络105可以包括无线接口，和/或有线接口，例如因特网，以及局域网(LAN)、广域网(WAN)、例如通过通用串行总线(USB)端口的直接连接、其他形式的计算机可读介质，或者它们的任何组合。在LAN的互连集(包括基于不同体系结构和协议的那些)上，路由器充当LAN之间的链路，使得消息能够从一个发送至另一个。另外，LAN内的通信链路通常包括双绞线对或同轴线缆，而网络之间的通信链路可以利用模拟电话线路、包括T1、T2、T3和T4的全部或部分专用数字线路、数字信号级别3(DS3)、光载波3(OC3)、OC12、OC48、异步传输模式(ATM)、综合业务数字网(ISDN)、数字用户线(DSL)、包括卫星链路的无线链路或者本领域技术人员已知的其他通信链路。另外，远程计算机和其他相关电子设备可以经由调制解调器或临时电话链路被远程地连接到LAN或WAN。网络105被构造为结合各种通信协议和技术使用，所述通信协议和技术包括传输控制协议/互联网协议(TCP/IP)、用户数据报协议(UDP)、无线应用协议(WAP)、全球移动通信系统(GSM)、码分多址(CDMA)、时分多址(TDMA)、通用分组无线电服务(GPRS)、超宽带(UWB)、IEEE802.16全球微波接入互通(WiMax)，等等。实质上，网络105包括可用来在客户端设备102-104和/或服务器106之间传送信息的任何通信方法。
用于在如上所述的通信链路中传输信息的介质一般包括可被计算设备访问的任何介质。计算机可读介质可包括计算机存储介质、有线和无线通信介质、或其任何组合。此外，计算机可读介质通常包含计算机可读指令、数据结构、程序模块或其他数据。这种数据可利用诸如载波、数据信号或其他传输机制之类的经调制的数据信号通过通信介质传输，并且包括任何信息递送介质。术语“经调制的数据信号”和“载波信号”包括这样一种信号，该信号的特性中的一个或多个以将信息、指令、数据等等编码在该信号中的方式被设定或改变。例如，通信介质包括诸如用于声学、RF、红外和其他无线信号的液体或空间之类的无线介质，以及诸如双绞线对、同轴线缆、光纤、波导之类的有线介质和其他有线介质。
服务器106可包括多个计算设备或单个计算设备。服务器106可提供图像分析服务，例如确定直方图、执行OCR、将图像与先前存储的图像相比较、确定关于图像的信息、执行数据库操作、执行对额外信息的搜索、存储关于图像的信息、跟踪用户行为，等等。服务器106还可提供内容和/或其他服务，例如网站、在线日志(例如，博客)、照片、评介、诸如消息传递之类的在线服务、搜索、新闻、购买、广告，等等。服务器106还可提供管理性服务，例如网络资源(比如网页等等)之间的关系的创建、修改和管理。简言之，服务器106可包括任何能够连接到网络105的计算设备并且可管理对网络用户(例如，客户端设备102-104中的至少一个的用户)的服务。可充当服务器106的设备包括专用服务器设备、个人计算机、桌面型计算机、多处理器系统、基于微处理器的或可编程的消费类电子产品、网络PC，等等。服务器106和/或客户端设备102-104中的任何一个可以实现在一个或多个计算设备上，例如参考图2描述的客户端。
示例性客户端设备
图2示出了根据本发明一个实施例的用作参考数据收集器设备的示例性客户端设备200。在一个实施例中，客户端设备200是移动设备，例如膝上型计算机。移动设备的另一示例包括被布置为经由一个或多个无线通信接口发送和接收语音通信和诸如SMS消息之类的消息的PDA或蜂窝电话。移动电子设备常常能够通过连接到一个或多个无线网络、连接到单个无线网络的多个节点、经由一个或多个信道与一个或多个网络通信、或者以其他方式参与一个或多个通信会话，来进行个人通信。一般地，客户端设备200可包括任何移动或静止电子设备。这种设备包括膝上型电脑、掌上电脑、PDA、手持计算机、蜂窝电话、智能电话、寻呼机、射频(RF)设备、红外(IF)设备、组合了一个或多个前述设备的集成电路，等等。客户端设备200还可包括其他电子设备，例如个人计算机、多处理器系统、基于微处理器的或可编程的消费类电子产品、网络PC、可佩戴计算机，等等。
客户端设备200可包括比图2所示的多得多或更少的组件。然而，所示出的组件足以公开用于实现本发明的示例性实施例。如图中所示，客户端设备200包括经由总线224与大容量存储器230通信的处理单元222。
大容量存储器230包括RAM232、ROM234和其他存储装置。大容量存储器230例示了用于信息存储的计算机存储介质的另一示例，这些信息例如是计算机可读指令、数据结构、程序模块或其他数据。大容量存储器230存储用于控制客户端设备200的低级操作的基本输入/输出系统(“BIOS”)240。大容量存储器还存储用于控制客户端设备200的操作的操作系统241。将会明白，该组件可以包括：通用操作系统，例如某一版本的UNIX或或者专用移动通信操作系统，例如Windows MobileTM、操作系统，等等。操作系统例如可以包括虚拟机模块或与之相接口，虚拟机模块经由Java应用程序来使能对硬件组件和/或操作系统操作的控制。
存储器230还包括一个或多个数据存储单元242，其可以被客户端设备200用来存储程序244和/或其他数据等等。程序244可包括计算机可执行指令，这些指令在被客户端设备200执行时发送、接收、渲染和/或以其他方式处理标记页面，例如HTML页面、XML页面、WAP页面(有时称为WAP卡)，等等。从而，程序244可包括计算机可执行指令的浏览器程序，其可在操作系统241的控制下运行，以使能和管理对标记页面和消息(例如，HTTP、TCP/IP、SMS、MMS、IM、电子邮件和/或其他消息)、音频、视频的请求、接收和渲染以及使能与另一客户端设备的另一用户的通讯。应用程序的其他示例包括日历、联系人管理器、任务管理器、代码转换器、数据库程序、字处理程序、电子表格程序、游戏，等等。
此外，大容量存储器230存储图像处置模块246，其可作为在操作系统241控制下的外部模块运行，作为浏览器内的插件模块运行，在网页内运行，或者经由其他配置运行。图像处置模块246可执行对图像数据、情境信息、对图像数据的用户请求和与移动设备获取或接收的图像相关的其他数据的初始处理或完整处理。
客户端设备200还包括电源226、一个或多个无线接口250、音频接口252、显示器254、键区256、照明器258、可选的数据捕捉模块259、输入/输出接口260、可选的触觉接口262以及可选的全球定位系统(GPS)接收器264。电源226向客户端设备200提供电力。可以使用可再充电或不可再充电的电池来提供电力。也可以由诸如AC适配器或给电池补充电力和/或再充电的座式充电器(powered docking cradle)之类的外部电源提供电力。
客户端设备200可以可选地与基站通信或者直接与另一客户端设备通信。无线接口250包括用于将客户端设备200耦合到一个或多个无线网络的电路，并且被构造为结合一个或多个通信协议和技术使用，所述通信协议和技术包括但不限于TCP/IP、UDP、GSM、CDMA、TDMA、SMS、GPRS、WAP、UWV、IEEE802.16(WiMax)，等等。
音频接口252被布置为产生和接收音频信号，例如人类语音的声音、音乐，等等。例如，音频接口252可耦合到扬声器和麦克风(未示出)，来使能与他人的通讯以及/或生成对某个动作的音频确认。显示器254可以是液晶显示器(LCD)、气体等离子体、发光二极管(LED)或与客户端设备结合使用的任何其他类型的显示器。显示器254还可以包括被布置来从诸如触笔或人类的手指之类的物体接收输入的触摸感知屏。
键区256可以包括被布置来从用户接收输入的任何输入设备。例如，键区256可以包括键盘、按钮数字拨号盘，等等。键区256还可以包括与选择和执行可改变的处理相关联的命令按钮。照明器258可以提供状态指示和/或提供光。照明器258可以在特定时段期间或响应于事件而保持活动。例如，当照明器258活动时，其可以从背后照明键区256上的按钮并且在客户端设备被供电期间保持开启。另外，照明器258可以在特定的动作(例如，拨叫另一客户端设备)被执行时以不同的图案来从背后照明这些按钮。照明器258还可以使得位于移动设备的透明或半透明外壳内的光源响应于动作来进行照明。照明器258还可用作图像捕捉的闪光灯。在客户端设备200中可包括数据捕捉模块259，例如相机。客户端设备可获得图像、视频、温度、压力或其他数据。
客户端设备200还包括用于与外部设备(例如，头戴式耳机)或图2中未示出的其他输入或输出设备进行通信的输入/输出接口260。输入/输出接口260可以利用一种或多种通信技术，例如USB、红外、BluetoothTM等等。可选的触觉接口262被布置为向客户端设备的用户提供触觉反馈。例如，触觉接口可以被用来在另一客户端设备用户呼叫时以特定方式振动客户端设备200。
可选的GPS收发器264可以确定客户端设备200在地球表面上的物理坐标，其通常将位置以维度和经度值的形式输出。GPS收发器264还可以采用其他地理定位机制，包括但不限于三角测量、辅助GPS(AGPS)、增强型观测时间差(E-OTD)、蜂窝标识符(CI)、服务区域标识符(SAI)、增强型定时提前(ETA)、基站子系统(BSS)等等，来进一步确定客户端设备200在地球表面上的物理位置。可以理解，在不同的条件下，GPS收发器264可以为客户端设备200确定毫米精度的物理位置；而在其他情况中，所确定的物理位置可能不那么精确，例如精度为米或大得多的距离。
示例性网络设备
图3示出了根据本发明一个实施例的网络设备的一个实施例。网络设备300可包括比所示出的多得多或更少的组件。然而，所示出的组件足以公开用于实现本发明的示例性实施例。网络设备300例如可表示分类服务器106、内容服务器108或图1的另一客户端设备。出于示例目的，将把网络设备300作为服务器设备来描述。
如图中所示，网络设备300包括经由总线324与大容量存储器330通信的处理单元322。大容量存储器330一般包括RAM332、ROM334和其他存储装置。大容量存储器330例示了一类计算机可读介质，即计算机存储介质。计算机存储介质可以包括以任何信息存储的方法或技术实现的易失性、非易失性、可移除和非可移除介质，这些信息例如是计算机可读指令、数据结构、程序模块或其它数据。计算机存储介质的示例包括EEPROM、闪存或其它半导体存储器技术、CD-ROM、数字多功能盘(DVD)或其它光学存储装置、盒式磁带、磁带、磁盘存储装置或其它磁存储设备或可以用来存储所期望的信息并且可由计算设备访问的任何其它介质。
大容量存储器330存储用于控制服务器设备300的低级操作的基本输入/输出系统(“BIOS”)340。大容量存储器还存储用于控制服务器设备300的操作的操作系统341。将会明白，该组件可以包括通用操作系统，例如某一版本的Windows、UNIX、LINUX、Solaris等等。操作系统也可以包括Java虚拟机模块或与之相接口，Java虚拟机模块经由Java应用程序来使能对硬件组件和/或操作系统操作的控制。
大容量存储器330还包括一个或多个数据存储单元342，其可被服务器设备300用来存储程序344和/或其他数据等等。程序344可包括计算机可执行指令，这些指令可被服务器设备300执行以实现标记处置器应用，例如用于发送、接收和以其他方式处理HTTP通信的HTTP处置器应用、用于发送、接收和以其他方式处理WAP通信的WAP处置器应用，等等。类似地，程序344可包括安全套接字层(SSL)处置器应用，用于处理安全连接，例如以安全方式发起以外部应用的通信。应用程序的其他示例包括内容管理应用、消息传递应用、日程安排器、日历、web服务、代码转换器、数据库程序、字处理程序、电子表格程序、游戏，等等。从而，程序344可处理图像、音频、视频或标记页面，使能与另一电子设备的另一用户的通讯，和/或其他服务。
此外，大容量存储器330存储图像处理模块346。图像处理模块346可包括计算机可执行指令，这些指令可在操作系统341的控制下运行，以分析图像、比较图像、确定情境信息、访问与位置相关联的信息、评估用户行为数据、确定搜索字词、或者执行与图像相关的其他处理。在一个实施例中，图像处理模块346一般与客户端设备上的图像处置模块通信。大容量存储器330还可包括搜索模块348，其可以是图像处理模块346的一部分或与图像处理模块346通信。搜索模块348可包括搜索引擎，该搜索引擎一般执行数据搜索，例如内容搜索、对到网络资源的链接的搜索、数据库搜索，等等。
服务器设备300还包括用于与输入/输出设备通信的输入/输出接口360，所述输入/输出设备例如是键盘、鼠标、滚轮、操纵杆、摇臂开关、键区、打印机、扫描仪和/或图3中没有具体示出的其他输入设备。服务器设备300的用户可使用输入/输出设备来与用户接口交互，该用户接口可与操作系统341、程序344和/或其他模块分离或集成。与用户接口的交互包括经由显示器和视频显示适配器354的视觉交互。
服务器设备300可包括用于计算机可读存储介质的可移除介质驱动器352和/或永久介质驱动器354。可移除介质驱动器352可包括光盘驱动器、软盘驱动器和/或磁带驱动器中的一种或多种。永久或可移除存储介质可包括以任何信息存储的方法或技术实现的易失性、非易失性、可移除和非可移除介质，这些信息例如是计算机可读指令、数据结构、程序模块或其它数据。计算机存储介质的示例包括CD-ROM355、数字多功能盘(DVD)或其他光存储装置、盒式磁带、磁带、磁盘存储装置或其它磁存储设备、RAM、ROM、EEPROM、闪存或其他存储器技术、或可以用来存储所期望的信息并且可由计算设备访问的任何其它介质。
经由网络通信接口单元350，服务器设备300可与广域网(例如因特网)、局域网、有线电话网、蜂窝电话网或某种其他通信网络(例如图1中的网络105)通信。网络通信接口单元350有时被称为收发器、收发设备、网络接口卡(NIC)，等等。
示例性逻辑
图4图示了用于基于图像数据来处理信息请求的示例性流程图400。在一个示例性实施例中，信息请求可以是基于从图像确定的数据的额外信息的搜索请求。在操作402，一个或多个数据服务建立情境性关连数据的一个或多个数据库，所述情境性关连数据例如是位置相关信息、用户相关信息、时间相关数据、或者指示出图像的情境或用于关连图像的其他数据。情境关连信息的示例可包括地理位置数据、广告信息、商家信息、通信节点信息、天气信息、交通信息或其他信息。地理位置数据可包括GPS数据、邮政编码、街道名称、街道地址、建筑物名称、地标，等等。广告信息可包括关于告示牌、绘制的壁式标牌、街道级标牌、店面标牌等等的位置、内容和其他信息。商家信息可包括商家名称、地址、电话号码、商标、徽标、URL、电子邮件地址、许诺销售的产品、库存信息、价格，等等。通信节点信息可包括蜂窝塔位置、wifi热点位置、网络地址信息、通信能力信息，等等。也可通过位置相关信息的(一个或多个)数据库来维护实时数据。例如，数据服务可提供当前天气状况、交通状况、事件活动，等等。
类似地，在此实施例中，(一个或多个)数据服务在操作404中跟踪客户端的在线行为。客户端用户行为一般与行为的位置相关联。在用户许可的情况下，该(一个或多个)数据服务可跟踪消息传递、执行的搜索、选择的URL、进行的购买，等等。该(一个或多个)数据服务还可确定与在线行为相关的其他参数。例如，数据服务可基于消息交换而确定若干个客户端用户认识彼此，可以确定客户端用户可能有的兴趣，等等。数据服务还可以确定构成用户的社交网络的间接关系。
在操作406，客户端用户利用移动客户端设备来捕捉图像数据。所捕捉的图像数据一般与一个或多个情境关连数据元素相关联，所述情境关连数据元素例如是位置和/或以上所述的其他数据。例如，用户可利用蜂窝电话拍摄告示牌的照片。图像和/或位置数据可与时间戳、蜂窝塔位置、wifi网络节点地址或其他数据相关联。告示牌可包括商家名称、徽标、电话号码、URL或其他内容。客户端设备可在本地执行进一步的处理，或者可将图像和/或位置数据传输给服务器。例如，客户端设备可能能够执行某种图像直方图分析、图像指纹分析，等等。客户端设备可执行这种分析并将结果传输给服务器。然而，在许多情况下，诸如蜂窝电话之类的客户端设备将具有有限的图像处理能力。这种设备一般将把原始的或经压缩的图像数据和位置数据发送给服务器。
在可选的操作408，服务器可接收捕捉了图像的客户端的客户端标识符，例如电话号码、移动标识号码、用户标识符，等等。服务器可以使用客户端标识符来访问先前存储的与该客户端标识符相关联的信息，例如先前提交的图像、先前提交的位置、客户端设备能力、用户行为、与该客户端标识符相关的汇总信息，等等。服务器或客户端设备还可接收与图像的位置相关联的其他信息。如上所述，这种信息可以是预先确立的位置数据或者可包括与位置相关的实时数据。例如，服务器可访问或接收与邻近图像捕捉位置的位置相关联的商家信息。该商家信息可标识出商家及其与图像捕捉位置的距离。类似地，服务器可以访问或接收与图像捕捉位置相关的其他情境数据，例如街道名称、邮政编码、天气状况、交通状况，等等。
在操作410，服务器或客户端设备分析所捕捉的图像以确定图像直方图。图像直方图一般标识出图像的颜色参数和其他特性，以便图像可以很容易被比较。在每个人都利用相同相机在同一位置拍摄图片的理想情形中，那么通过比较相应的图像像素进行的简单图像比较就将给出关于这些图像是否是对同一对象拍摄的的确切度量。但这种简单的度量一般是不充分的。
在简单的情况中，通过计算在图像中找到的颜色的直方图来比较两个图像以寻找相似点。用于确定两个图像是否相似的量度只是比较(数十种)不同颜色中的每一种颜色的像素部分的问题。此量度之所以有用是因为不论相机如何被旋转它都能起作用，并且往往不受缩放和变换的影响。例如，它一般对于确定看到了哪个告示牌是很有用的，因为在不同公司之间颜色是独特的。对于确定在所捕捉的图像中某人站在若干个灰石型银行大楼中的哪一个前面，它则可能不那么有效。
更精妙的方案，例如那些基于显点(salient point)的，一般更健壮。在此方案中，在图像上运行一操作符，该操作符标识出图像中尤其明显的点或者不论朝向如何都突显出来的点。这些点通常是诸如拐角之类的图像特征。一旦识别出显点，就通过包括颜色、局部纹理和朝向在内的任意数目的度量来表征它们。一般在如下情况下可判断两个图像相似，即，如果每个图像中的显点有很大比例可被匹配并且它们具有正确的对齐。这种技术的示例的更多细节在David G.Lowe所著的“Object Recognition from Local Scale-Invariant Features”中记载。
在判定操作412，服务器可以检查先前存储的直方图(或显点，等等)是否在预定的匹配阈值内匹配新接收的图像的直方图(或显点，等等)。在此示例性实施例中，服务器选择来自先前接收的图像的直方图数据，用于与所捕捉的图像的直方图结果相比较。为了减少比较次数，服务器可以基于情境关连元素来选择先前图像分析数据，例如从所捕捉的图像的位置起的预定半径。在一个实施例中，服务器可以选择“最佳”先前图像，或者与当前捕捉的图像相距一定距离内的最高分辨率图像中排名靠前的若干个。作为附加或替换，服务器可以使用其他标准来对先前直方图数据进行过滤、优先级区分或其他方式的选择。其他标准可包括从所捕捉的图像起的一定范围内的直方图特性、各种数据库中的图像的分辨率、仅限与特定的一组用户标识符或移动设备标识符相关联的先前图像分析数据、在从图像捕捉位置起的一定数目的已知街区内的先前图像分析数据，等等。
一旦选择了先前图像分析数据，服务器就将所选择的数据与对所捕捉图像的图像分析结果相比较。另一图像可具有非常相似的图像直方图，即使该另一图像可能具有不同的变焦、光线或其他图像参数。例如，一个图像可从一定的距离、在一天的某个时刻捕捉告示牌。另一图像可从另一不同距离、在一天的另一不同时刻捕捉同一告示牌。每个图像的图像直方图可被比较，以确定它们是否捕捉同一告示牌。或者，一个图像的一部分可具有与另一图像的一部分的直方图非常相似的直方图。相似的部分可被检测和比较。相似的部分可对应于徽标或其他非字符符号。每个直方图可充当用于标识图像的数字指纹。相同的或者从统计角度而言在预定阈值内相同的直方图可被认为是等同的。这些比较帮助识别图像的内容。
如果用户简档数据与所捕捉的图像和至少一个先前图像相关联，则先前用户简档数据也可被选择并与当前捕捉的图像的用户简档数据相比较。这可帮助解决关于分辨可能的徽标的不确定性，提供先前商家交互信息，或者提供关于所捕捉的图像的其他额外情境信息。
一般地，如果找到了匹配，则服务器可以访问上述任何一项，或者其他描述性信息、搜索字词、或与先前图像相关的其他信息、和/或与用于与所捕捉的图像相关的情境关连数据相关的信息。在一个实施例中，情境关连数据是捕捉当前和先前图像的位置。在一些实施例中，在操作414，服务器可以执行搜索，执行其他处理，和/或立即向客户端设备返回图像内容信息，例如先前存储的图像相关信息和/或先前存储的位置相关信息。图像内容信息可以仅标识出图像的内容或者可以包括关于图像的内容的信息。在一些实施例中，服务器可以在此结束其图像处理操作，或者可以继续进行进一步处理，如图所示，以获得额外的图像相关信息和/或位置相关信息。
与直方图评估类似，在操作416，服务器或客户端设备可执行光学字符辨识(OCR)分析，以识别出图像内的字符。在此实施例中，服务器以光学方式辨识出现在所捕捉的场景的图像中的字符。这种图像一般是照片而不只是简单的黑白页面，因此诸如用于视频OCR的技术之类的更复杂的技术是有用的。一个处理包括两个步骤：检测和辨识。检测一般识别出图像的下述可能区域：这种区域包括具有指示出其可能是文本的统计行为的纹理。例如，西方字母具有许多紧邻的水平和垂直线。一旦识别出可能区域，可能具有用于约束可能的单词的语言模型的模式辨识方法就被用于确定最可能的文本。用于OCR的示例性技术的细节在Roman Yampolskiy所著的“Feature Extraction Approaches For Optical CharacterRecognition”(其中包括Rainer Lienhart所著的一章)中记载。
在此实施例的判定操作418中，服务器选择来自先前接收的图像的OCR数据，用于与所捕捉的图像的OCR结果相比较。与直方图分析类似，服务器可以基于情境关连数据来选择先前图像分析数据，例如从所捕捉的图像的位置起的预定半径。在一个实施例中，服务器可以选择“最佳”先前图像，或者与当前捕捉的图像相距一定距离内的最高分辨率图像中排名靠前的若干个。作为附加或替换，服务器可以使用其他标准来对先前OCR数据进行过滤、优先级区分或其他方式的选择。其他标准可包括各种数据库中的图像的分辨率、与OCR结果的单词相似的单词的所需最小数目、仅限与特定的一组用户标识符或移动设备标识符相关联的先前图像分析数据、在从图像捕捉位置起的一定数目的已知街区内的先前图像分析数据，等等。
一旦选择了先前OCR图像分析数据，服务器就将所选择的数据与对所捕捉图像的图像分析结果相比较。所辨识出的字符可被比较，以确定匹配的单词、URL、电话号码，等等。匹配可基于预定的匹配阈值。例如，为了断定在所捕捉的图像和先前获得的图像之间存在匹配，可能需要字符串中的预定百分比匹配。这些OCR比较可独立地帮助识别图像的内容，或者可与直方图比较结合使用。
同样与直方图分析类似，如果用户简档数据与所捕捉的图像和至少一个先前OCR图像相关联，则先前用户简档数据也可被选择并与当前捕捉的图像的用户简档数据相比较。这可帮助解决关于部分辨识的字符或串的不确定性，提供先前商家交互信息，或者提供关于所捕捉的图像的其他额外情境信息。
一般地，如果找到了匹配，则服务器可以访问上述任何一项，或者其他描述性信息、搜索字词、或与先前图像相关的其他信息、和/或与捕捉当前和先前图像的位置相关的信息。在一些实施例中，在操作420，服务器可以执行搜索，执行其他处理，和/或立即向客户端设备返回图像内容信息，例如先前存储的图像相关信息和/或先前存储的位置相关信息。在一些实施例中，服务器可以在此结束其图像处理操作，或者可以继续进行进一步处理，如图所示，以获得额外的图像相关信息和/或位置相关信息，确定客户端用户可能期望的图像相关信息和/或位置相关信息，执行搜索，或执行其他操作。
在此示例性实施例中，在操作422，服务器使用通过直方图和OCR分析获得的信息来对图像相关信息和/或位置相关信息执行一个或多个可选择的或自动的操作。这种操作可包括执行统计分析以确定可能的内容、搜索字词或当前捕捉的图像的其他图像相关信息。服务器可组合从所有信息源收集的信息，例如图像、位置、来自数据库的邻近兴趣点、来自这个和其他用户的点进数据，等等。服务器还可以判定是否存在冲突的或含糊的信息。服务器可以访问数据服务、返回链接、请求额外用户输入、或者其他操作。在一个实施例中，服务器执行搜索，这将参考图5来更详细描述。
在操作424，服务器存储位置信息、直方图信息、OCR信息、操作结果、或其他数据。所存储的信息一般被索引到所捕捉的图像，使得所存储的信息可用于评估以后捕捉的图像。
图5示出了用于基于所捕捉的图像来确定搜索字词和结果的示例性逻辑的流程图。在一些实施例中，可通过当前捕捉的图像和相似图像数据内的可能搜索字词或者基于当前捕捉的图像和相似图像数据的可能搜索字词来识别图像内容或用户期望的信息。这些字词可包括所辨识的字符、匹配的串、匹配的直方图特性、手工预填充的字词、所捕捉的图像的位置，等等。所捕捉的图像的直方图数据可用作其他直方图数据库或其他图像数据库的搜索输入。一些实施例可使用加权来确定主要电话号码、或URL、或商家名称、或者当前捕捉的图像内的或基于当前捕捉的图像的其他优选字词。其他实施例可使用加权来确定主要科学字词(例如实验室中的那些)或者艺术字词(例如博物馆中的那些)，等等。
在此示例性实施例中，为了基于图像数据确定可能的搜索字词，在操作502，服务器使用情境性的图像相关数据来确定更可能的搜索字词。可基于图像相关数据来搜索用户简档数据、个体或汇总行为数据、设备标识符数据、或者其他这种数据。此情境性数据还可用于对最终搜索字词的确定进行加权。例如，与所捕捉的数据相关联的用户简档数据可指示出捕捉图像的移动设备的用户经常搜索电影信息。邻近同一位置的先前图像也可与电影字词相关联。从而，所辨识的字符和直方图数据有可能对应于影院告示牌，其列出当前放映的电影。从而，服务器可确定搜索单词、短语、演员姓名、影院品牌、或者与电影相关的其他字词。
被跟踪的位置数据也可用于确定与搜索字词相关的概率模式。位置数据一般被与图像特征相组合。位置估计一般包括一个或多个概率估计。例如，估计可以指示出图像是从一定的方向以及某一可能的距离拍摄的概率。这一般形成概率空间中该点处的高斯突起。在此突起内，服务器一般将知道有具有某一概率的一些对象，这些对象可以是来自先前图像和服务器已知的任何地理信息的估计。例如，服务器可能知道在所捕捉的图像的位置附近有一银行。类似地，图像分类工作或OCR也可具有与之相关联的概率。可通过在后验概率估计中寻找峰值来改进对所捕捉的图像的主题的确定。这可能是已知位置概率估计、已知的关于所捕捉图像附近区域的先前信息和图像辨识结果的乘法函数。服务器还可以通过假定先前信息不会一直去到零，来使计算规则化，因为新的建筑物或新的告示牌可能在任何时间被构建。例如，有可能新的普通零售店会在短时间内出现。
基于先前图像分析数据，先前图像一般具有与每个先前图像相关联的语义字词，这些语义字词可用于搜索匹配和其他处理。例如，与图像相关联的字词可标识出特定登入页面、服务或其他网络资源的位置。网络资源可能由广告主、商家等等提供或由其赞助。作为附加或替换，与图像相关联的字词可提供去到一个或多个搜索结果页面的关键。(一个或多个)搜索数据库可限于或包括注册广告主或商家的数据库，这些注册广告主或商家提供了名称、电话号码、URL、电子邮件地址、位置或者关于广告主或商家的告示牌、标牌或图像中可能捕捉的其他物品的其他信息。广告或商家数据库或其内容可基于展示位置出价、额外服务收费等等而被加权、过滤、区分优先级，等等。中间结果可被获得并用于细化搜索字词。
服务器返回与所捕捉的图像相关的搜索字词。例如，服务器可返回最有可能是所捕捉的图像的主题的商家名称、电话号码和URL。服务器可以基于所返回的搜索字词而自动获得信息，或者可以将这些字词发送到捕捉了图像的移动设备。移动设备的用户可以判定是否通过浏览器将返回的字词提交给通用搜索引擎。
在操作504，服务器或另外的搜索引擎基于所确定的搜索字词或者所确定的字词中用户选择的那些来执行搜索。可以执行一次或多次搜索迭代，以及/或者可搜索多个数据库。在结果操作506中，服务器可返回WML页面、XHTML页面、文本页面、SMS消息、或者可索引到先前图像的其他信息。返回的页面可被认为是关于图像中捕捉的对象的主页。返回主页可使得服务器向商家、广告主或主页的其他(一个或多个)赞助者收取费用。这样可以基于每图片成本或每相机点击成本而产生收入。
以上说明书、示例和数据提供了对本发明的构成的制造和使用的完整描述。例如，可以仅基于匹配的直方图信息；或者仅基于匹配的OCR数据来执行搜索处理或其他操作。作为另一示例，可以按类似的方式评估所捕捉的音频数据，以确定搜索字词或由此产生的信息。类似地，可以按类似的方式评估所捕捉的视频数据，以确定搜索字词或由此产生的信息。随着在位置附近获得额外图像，还可调整匹配阈值。由于可在不脱离本发明的精神和范围的情况下做出本发明的许多实施例，因此本发明存在于权利要求中。

Claims (19)

1.一种用于访问信息的方法，包括：
由处理器接收表示由移动设备捕捉的图像的图像数据；
由所述处理器接收指示出所述移动设备捕捉所述图像的位置的位置数据；
由所述处理器根据所述图像数据确定图像属性信息；
由所述处理器确定所述图像属性信息是否在预定的匹配阈值内匹配先前获得的属性信息，所述先前获得的属性信息是从先前获得的图像数据获得的，所述先前获得的图像数据表示在从所述移动设备捕捉所述图像的位置起的预定距离内捕捉的先前图像；
如果所述图像属性信息在所述预定的匹配阈值内匹配所述先前获得的属性信息，则由所述处理器基于所述位置数据来访问图像内容信息，其中所述内容信息标识出与所述先前获得的图像数据相关联并且与所述位置相关联的所述图像的内容；
基于所述图像内容信息来确定与所捕捉的图像相关的搜索项；并且
将所确定的搜索项提供到所述移动设备以供所述移动设备用于使用所确定的搜索项来提交后续搜索。
2.如权利要求1所述的方法，其中，所述图像属性信息包括所述图像的直方图，并且所述先前获得的属性信息包括先前确定的所述先前图像的直方图。
3.如权利要求1所述的方法，其中，所述图像属性信息包括通过光学字符辨识从所述图像确定的字符，并且所述先前获得的属性信息包括先前确定的所述先前图像的字符。
4.如权利要求1所述的方法，还包括：如果所述图像属性信息在所述预定的匹配阈值内匹配所述先前获得的属性信息，则由所述处理器基于所述图像内容信息来访问位置相关信息，其中所述位置相关信息与所述先前获得的图像数据相关联并且与所述位置相关联。
5.如权利要求1所述的方法，其中，所述图像内容信息包括商家信息的标识符。
6.如权利要求1所述的方法，其中，所述先前获得的图像数据是利用第二移动设备获得的。
7.如权利要求1所述的方法，还包括：
由所述处理器确定与所述图像内容信息相关联的搜索字词；以及
由所述处理器基于所述搜索字词执行数据搜索。
8.如权利要求1所述的方法，还包括：
由所述处理器接收所述移动设备的移动设备标识符；
由所述处理器访问与所述移动设备标识符相关联的简档信息；以及
由所述处理器基于所述简档信息来选择所述图像内容信息的一部分。
9.如权利要求8所述的方法，其中，所述简档信息包括与所述移动设备的用户相关联的用户行为信息。
10.如权利要求1所述的方法，还包括：
由所述处理器确定在所述预定距离内捕捉的多个先前图像中每一个的优先级；以及
由所述处理器基于由所述先前获得的图像数据表示的先前图像的所确定的优先级来选择所述先前获得的属性信息。
11.如权利要求1所述的方法，还包括由所述处理器将所述图像内容信息返回给所述移动设备。
12.一种用于访问信息的服务器，包括：
处理器；
通信接口，所述通信接口与所述处理器和网络进行通信；以及
存储器，所述存储器与所述处理器进行通信、并且存储数据以及使得所述处理器执行包括下述项的多个操作的指令：
接收表示由移动设备捕捉的图像的图像数据；
接收指示出所述移动设备捕捉所述图像的位置的位置数据；
根据所述图像数据确定图像属性信息；
确定所述图像属性信息是否在预定的匹配阈值内匹配先前获得的属性信息，所述先前获得的属性信息是从先前获得的图像数据获得的，所述先前获得的图像数据表示在从所述移动设备捕捉所述图像的位置起的预定距离内捕捉的先前图像；以及
在所述图像属性信息在所述预定的匹配阈值内匹配所述先前获得的属性信息的情况下，基于所述位置数据来访问图像内容信息的装置，其中所述内容信息标识出与所述先前获得的图像数据相关联并且与所述位置相关联的所述图像的内容；
基于所述图像内容信息来确定与所捕捉的图像相关的搜索项；并且
将所确定的搜索项提供到所述移动设备以供所述移动设备用于使用所确定的搜索项来提交后续搜索。
13.如权利要求12所述的服务器，其中，所述图像属性信息包括以下各项中的至少一项：
所述图像的直方图，并且其中所述先前获得的属性信息包括先前确定的所述先前图像的直方图；以及
通过光学字符辨识从所述图像确定的字符，并且其中所述先前获得的属性信息包括先前确定的所述先前图像的字符。
14.如权利要求12所述的服务器，其中所述指令还使得所述处理器执行下述操作：
确定与所述图像内容信息相关联的搜索字词；以及
基于所述搜索字词执行数据搜索。
15.如权利要求12所述的服务器，其中所述指令还使得所述处理器执行下述操作：
接收所述移动设备的移动设备标识符；
访问与所述移动设备标识符相关联的简档信息，其中所述简档信息包括与所述移动设备的用户相关联的用户行为信息；以及
基于所述简档信息来选择所述图像内容信息的一部分。
16.一种用于访问信息的方法，包括：
利用移动设备来捕捉图像；
由处理器确定所述移动设备的位置；
由所述处理器根据所述图像创建图像数据；
由所述处理器根据所述图像数据确定图像属性信息；
由所述处理器通过网络接口将所述图像属性信息发送到数据服务器，其中所述图像属性信息是与要求确定所述图像属性信息是否在预定的匹配阈值内匹配先前获得的属性信息的请求一起被发送的，所述先前获得的属性信息是从先前获得的图像数据获得的，所述先前获得的图像数据表示在从所述移动设备捕捉所述图像的位置起的预定距离内捕捉的先前图像；以及
如果所述图像属性信息在所述预定的匹配阈值内匹配所述先前获得的属性信息，则由所述处理器基于位置数据来接收图像内容信息，其中所述内容信息标识出与所述先前获得的图像数据相关联并且与所述位置相关联的所述图像的内容；
基于所述图像内容信息来确定与所捕捉的图像相关的搜索项；并且
将所确定的搜索项提供到所述移动设备以供所述移动设备用于使用所确定的搜索项来提交后续搜索。
17.如权利要求16所述的方法，还包括由所述处理器向搜索引擎发送搜索请求，其中所述搜索请求包括所述图像内容信息的至少一部分。
18.一种用于访问信息的网络设备，包括：
处理器；
通信接口，所述通信接口与所述处理器和网络进行通信；
图像处理组件，所述图像处理组件与所述处理器进行通信；
位置检测器，所述位置检测器与所述处理器进行通信；
输出组件，所述输出组件与所述处理器进行通信；以及
存储器，所述存储器与所述处理器进行通信、并且存储数据以及使得所述处理器执行包括下述项的多个操作的指令：
使得所述图像处理组件捕捉图像；
使得所述位置检测器确定所述图像被捕捉处的位置；
根据所述图像创建图像数据；
根据所述图像数据确定图像属性信息；
通过网络接口将所述图像属性信息发送到数据服务器，其中所述图像属性信息是与要求确定所述图像属性信息是否在预定的匹配阈值内匹配先前获得的属性信息的请求一起被发送的，所述先前获得的属性信息是从先前获得的图像数据获得的，所述先前获得的图像数据表示在从所述图像被捕捉处的位置起的预定距离内捕捉的先前图像；
在所述图像属性信息在所述预定的匹配阈值内匹配所述先前获得的属性信息的情况下，基于位置数据来接收图像内容信息，其中所述内容信息标识出与所述先前获得的图像数据相关联并且与所述位置相关联的所述图像的内容；
基于所述图像内容信息来确定与所捕捉的图像相关的搜索项；并且
将所确定的搜索项提供到所述图像处理组件以供所述图像处理组件用于使用所确定的搜索项来提交后续搜索；以及
利用所述输出组件输出所述图像内容信息。
19.如权利要求18所述的网络设备，其中所述网络设备包括移动设备。
CN201410374755.8A 2008-05-15 2009-04-20 基于由移动设备记录的图像的内容的数据访问 Active CN104239408B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/121,259 US8406531B2 (en) 2008-05-15 2008-05-15 Data access based on content of image recorded by a mobile device
US12/121,259 2008-05-15
CN200980116509.XA CN102017661B (zh) 2008-05-15 2009-04-20 基于由移动设备记录的图像的内容的数据访问

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN200980116509.XA Division CN102017661B (zh) 2008-05-15 2009-04-20 基于由移动设备记录的图像的内容的数据访问

Publications (2)

Publication Number Publication Date
CN104239408A CN104239408A (zh) 2014-12-24
CN104239408B true CN104239408B (zh) 2019-05-17

Family

ID=41316239

Family Applications (2)

Application Number Title Priority Date Filing Date
CN200980116509.XA Active CN102017661B (zh) 2008-05-15 2009-04-20 基于由移动设备记录的图像的内容的数据访问
CN201410374755.8A Active CN104239408B (zh) 2008-05-15 2009-04-20 基于由移动设备记录的图像的内容的数据访问

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN200980116509.XA Active CN102017661B (zh) 2008-05-15 2009-04-20 基于由移动设备记录的图像的内容的数据访问

Country Status (7)

Country Link
US (4) US8406531B2 (zh)
JP (1) JP5457434B2 (zh)
KR (1) KR101190395B1 (zh)
CN (2) CN102017661B (zh)
HK (1) HK1202663A1 (zh)
TW (1) TWI524801B (zh)
WO (1) WO2009140028A2 (zh)

Families Citing this family (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8171237B2 (en) 2006-10-31 2012-05-01 Yahoo! Inc. Automatic association of reference data with primary process data based on time and shared identifier
FR2913510B1 (fr) * 2007-03-07 2009-07-03 Eastman Kodak Co Procede pour determiner automatiquement une probabilite de saisie d'images avec un terminal a partir de donnees contextuelles
US9753948B2 (en) * 2008-05-27 2017-09-05 Match.Com, L.L.C. Face search in personals
US8098894B2 (en) 2008-06-20 2012-01-17 Yahoo! Inc. Mobile imaging device as navigator
US20090327229A1 (en) * 2008-06-27 2009-12-31 Microsoft Corporation Automatic knowledge-based geographical organization of digital media
US8520979B2 (en) 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
US8363618B2 (en) 2008-08-29 2013-01-29 Ciright Systems, Inc. Content distribution platform
US20100205628A1 (en) 2009-02-12 2010-08-12 Davis Bruce L Media processing methods and arrangements
US9324054B2 (en) * 2008-12-11 2016-04-26 Adobe Systems Incorporated Cross-platform document exchange using mobile devices
US8862500B1 (en) * 2009-02-17 2014-10-14 Amazon Technologies, Inc. Automated billboard tagging and selling
US8385591B1 (en) 2009-04-28 2013-02-26 Google Inc. System and method of using images to determine correspondence between locations
US8300884B2 (en) 2009-05-21 2012-10-30 Digimarc Corporation Combined watermarking and fingerprinting
US20100333194A1 (en) * 2009-06-30 2010-12-30 Camillo Ricordi System, Method, and Apparatus for Capturing, Securing, Sharing, Retrieving, and Searching Data
US9135277B2 (en) * 2009-08-07 2015-09-15 Google Inc. Architecture for responding to a visual query
US8768313B2 (en) * 2009-08-17 2014-07-01 Digimarc Corporation Methods and systems for image or audio recognition processing
US9197736B2 (en) 2009-12-31 2015-11-24 Digimarc Corporation Intuitive computing methods and systems
US9143603B2 (en) * 2009-12-31 2015-09-22 Digimarc Corporation Methods and arrangements employing sensor-equipped smart phones
EP2348383B1 (en) * 2009-12-31 2017-07-12 Sony Computer Entertainment Europe Limited System and method of virtual interaction
WO2011146391A2 (en) * 2010-05-16 2011-11-24 Access Business Group International Llc Data collection, tracking, and analysis for multiple media including impact analysis and influence tracking
TWI407130B (zh) * 2010-05-25 2013-09-01 Nat Univ Tsing Hua 即時顯示電器之使用狀態及用電量資訊之系統及方法
EP2584515B1 (en) * 2010-06-15 2020-06-10 Navitime Japan Co., Ltd. Navigation system, terminal apparatus, navigation server, navigation apparatus, navigation method, and program
EP2583877B1 (en) * 2010-06-16 2018-06-06 Navitime Japan Co., Ltd. Navigation system, terminal device, navigation server, navigation method, and navigation program
KR20120028491A (ko) * 2010-09-15 2012-03-23 삼성전자주식회사 이미지 데이터 관리장치 및 방법
US20120109733A1 (en) * 2010-10-29 2012-05-03 Roper Colin J Method and system for providing dynamic marketing devices based on "real-time" data
US9380331B2 (en) * 2010-12-22 2016-06-28 Verizon Patent And Licensing Inc. Dynamic help content presentation methods and systems
KR101102896B1 (ko) * 2011-03-04 2012-01-09 (주)올라웍스 복수의 사용자가 동시에 콜렉션을 수행할 수 있도록 지원하기 위한 방법, 서버 및 컴퓨터 판독 가능한 기록 매체
US20150117796A1 (en) * 2011-03-28 2015-04-30 Google Inc. Method and system for prioritizing points of interest for display in a map
KR101548448B1 (ko) * 2011-06-03 2015-08-28 애플 인크. 네트워크-기반 디지털 데이터 리포지토리의 관리
US9201895B2 (en) 2011-06-03 2015-12-01 Apple Inc. Management of downloads from a network-based digital data repository based on network performance
US9239849B2 (en) * 2011-06-08 2016-01-19 Qualcomm Incorporated Mobile device access of location specific images from a remote database
US9152882B2 (en) * 2011-06-17 2015-10-06 Microsoft Technology Licensing, Llc. Location-aided recognition
WO2013013087A2 (en) * 2011-07-20 2013-01-24 The Regents Of The University Of California Efficient searching of stationary datasets
US9082035B2 (en) 2011-08-29 2015-07-14 Qualcomm Incorporated Camera OCR with context information
US9179278B2 (en) * 2011-09-01 2015-11-03 Qualcomm Incorporated Systems and methods involving augmented menu using mobile device
US9165017B2 (en) 2011-09-29 2015-10-20 Google Inc. Retrieving images
US9183546B2 (en) * 2011-10-07 2015-11-10 Hewlett-Packard Development Company, L.P. Methods and systems for a reminder servicer using visual recognition
US9280545B2 (en) 2011-11-09 2016-03-08 Microsoft Technology Licensing, Llc Generating and updating event-based playback experiences
US9143601B2 (en) * 2011-11-09 2015-09-22 Microsoft Technology Licensing, Llc Event-based media grouping, playback, and sharing
US9223902B1 (en) * 2011-11-29 2015-12-29 Amazon Technologies, Inc. Architectures for content identification
US20130145241A1 (en) 2011-12-04 2013-06-06 Ahmed Salama Automated augmentation of text, web and physical environments using multimedia content
CN103188334A (zh) * 2011-12-30 2013-07-03 宏碁股份有限公司 同步系统及其方法
US20130187862A1 (en) * 2012-01-19 2013-07-25 Cheng-Shiun Jan Systems and methods for operation activation
GB2499385A (en) * 2012-02-09 2013-08-21 Nokia Corp Automated notification of images with changed appearance in common content
JP2013164812A (ja) * 2012-02-13 2013-08-22 Nippon Telegr & Teleph Corp <Ntt> 有用情報提示システム及び有用情報提示システムの制御方法
JP5557861B2 (ja) * 2012-02-13 2014-07-23 日本電信電話株式会社 有用情報提示システム及び有用情報提示システムの制御方法
JP6078953B2 (ja) * 2012-02-17 2017-02-15 オムロン株式会社 文字認識方法、およびこの方法を用いた文字認識装置およびプログラム
US8620021B2 (en) 2012-03-29 2013-12-31 Digimarc Corporation Image-related methods and arrangements
US8942921B1 (en) * 2012-04-24 2015-01-27 Google Inc. Displaying dynamic entertainment information on marquees in street-level imagery
TWM439206U (en) * 2012-04-27 2012-10-11 Richplay Technology Corp Service information platform device with image searching capability
US20130297460A1 (en) * 2012-05-01 2013-11-07 Zambala Lllp System and method for facilitating transactions of a physical product or real life service via an augmented reality environment
US8843518B2 (en) * 2012-07-17 2014-09-23 Verizon Patent And Licensing Inc. Method and apparatus for establishing a connection with known individuals
US9288387B1 (en) * 2012-09-11 2016-03-15 Amazon Technologies, Inc. Content display controls based on environmental factors
US9124795B2 (en) * 2012-10-26 2015-09-01 Nokia Technologies Oy Method and apparatus for obtaining an image associated with a location of a mobile terminal
US10346877B1 (en) * 2012-12-03 2019-07-09 Maher Pedersoli Advertising and marketing platform
US9411801B2 (en) * 2012-12-21 2016-08-09 Abbyy Development Llc General dictionary for all languages
US20140240523A1 (en) * 2013-02-22 2014-08-28 T-Mobile Usa, Inc. Information delivery based on image data
US9311640B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods and arrangements for smartphone payments and transactions
US20140258358A1 (en) * 2013-03-11 2014-09-11 Htc Corporation Method of combining network data and mobile device using the same
US9208548B1 (en) * 2013-05-06 2015-12-08 Amazon Technologies, Inc. Automatic image enhancement
US20140365299A1 (en) * 2013-06-07 2014-12-11 Open Tv, Inc. System and method for providing advertising consistency
US20150006360A1 (en) * 2013-06-28 2015-01-01 Google Inc. Threshold Confidence Levels for Extracted Card Data
US9342533B2 (en) * 2013-07-02 2016-05-17 Open Text S.A. System and method for feature recognition and document searching based on feature recognition
US10769362B2 (en) 2013-08-02 2020-09-08 Symbol Technologies, Llc Method and apparatus for capturing and extracting content from documents on a mobile device
US10140257B2 (en) 2013-08-02 2018-11-27 Symbol Technologies, Llc Method and apparatus for capturing and processing content from context sensitive documents on a mobile device
US9036867B2 (en) * 2013-08-12 2015-05-19 Beeonics, Inc. Accurate positioning system using attributes
US9311338B2 (en) * 2013-08-26 2016-04-12 Adobe Systems Incorporated Method and apparatus for analyzing and associating behaviors to image content
US9554060B2 (en) 2014-01-30 2017-01-24 Google Inc. Zoom images with panoramic image capture
US9832353B2 (en) 2014-01-31 2017-11-28 Digimarc Corporation Methods for encoding, decoding and interpreting auxiliary data in media signals
MX353871B (es) 2014-02-10 2018-02-01 Geenee Gmbh Sistemas y métodos para reconocimiento basado en características de imágenes.
US9905233B1 (en) 2014-08-07 2018-02-27 Digimarc Corporation Methods and apparatus for facilitating ambient content recognition using digital watermarks, and related arrangements
US10311329B2 (en) * 2015-01-30 2019-06-04 International Business Machines Corporation Social connection via real-time image comparison
US9836650B2 (en) 2015-02-09 2017-12-05 Empire Technology Development Llc Identification of a photographer based on an image
US10757216B1 (en) 2015-02-20 2020-08-25 Amazon Technologies, Inc. Group profiles for group item recommendations
US11363460B1 (en) 2015-03-03 2022-06-14 Amazon Technologies, Inc. Device-based identification for automated user detection
JP6309477B2 (ja) * 2015-03-24 2018-04-11 国立大学法人京都大学 ユーザ関心推定システムおよび情報配信システム
US9763026B2 (en) * 2015-06-10 2017-09-12 Motorola Solutions, Inc. Method of and server for communicating with a remote device in a machine to machine wireless communication network
GB2539461B (en) * 2015-06-16 2020-01-08 Canon Kk Image data encapsulation
US9948603B1 (en) * 2015-06-23 2018-04-17 Symantec Corporation System and method of constructing dynamic namespaces in the internet of things
US10373204B1 (en) * 2015-06-24 2019-08-06 Groupon, Inc. Mobile visual locator
US10157372B2 (en) * 2015-06-26 2018-12-18 Amazon Technologies, Inc. Detection and interpretation of visual indicators
BR112018007979A2 (pt) 2015-10-21 2019-11-12 15 Seconds Of Fame Inc métodos e aparelho para minimização de falso positivo em aplicações de reconhecimento facial
US10546015B2 (en) * 2015-12-01 2020-01-28 Facebook, Inc. Determining and utilizing contextual meaning of digital standardized image characters
CN105551044B (zh) * 2015-12-16 2018-10-19 北京京东尚科信息技术有限公司 一种图片对比方法和装置
KR102469963B1 (ko) * 2016-03-16 2022-11-24 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
US10366144B2 (en) * 2016-04-01 2019-07-30 Ebay Inc. Analyzing and linking a set of images by identifying objects in each image to determine a primary image and a secondary image
US20170293938A1 (en) * 2016-04-08 2017-10-12 T-Mobile Usa, Inc. Interactive competitive advertising commentary
MX2018013449A (es) * 2016-05-05 2019-06-06 Walmart Apollo Llc Sistemas y métodos para recolectar y procesar datos de imagen.
US10996060B2 (en) 2016-08-26 2021-05-04 William Marsh Rice University Camera-based positioning system using learning
US10049310B2 (en) * 2016-08-30 2018-08-14 International Business Machines Corporation Image text analysis for identifying hidden text
US10606993B2 (en) * 2017-08-09 2020-03-31 Jumio Corporation Authentication using facial image comparison
US10607484B2 (en) 2017-12-28 2020-03-31 Intel Corporation Privacy-preserving distributed visual data processing
US11349753B2 (en) * 2017-12-28 2022-05-31 Intel Corporation Converged routing for distributed computing systems
US10797863B2 (en) 2017-12-28 2020-10-06 Intel Corporation Multi-domain cascade convolutional neural network
US11216506B1 (en) * 2018-05-17 2022-01-04 Shutterstock, Inc. Image querying to surface undiscovered images
US20200026726A1 (en) * 2018-07-17 2020-01-23 Vidit, LLC Systems and methods for interactive searching
TWI684907B (zh) * 2018-11-28 2020-02-11 財團法人金屬工業研究發展中心 數位影像辨識方法、電子裝置、電腦程式產品
US11200892B1 (en) 2018-12-10 2021-12-14 Amazon Technologies, Inc. Speech-enabled augmented reality user interface
EP3791350A1 (en) * 2018-12-21 2021-03-17 Google LLC Brand penetration determination system using image semantic content
US11593951B2 (en) * 2020-02-25 2023-02-28 Qualcomm Incorporated Multi-device object tracking and localization
TWI755198B (zh) * 2020-12-11 2022-02-11 財團法人工業技術研究院 基於圖像的行為辨識方法及計算機可讀媒體
CN118379606B (zh) * 2024-06-26 2024-09-27 深圳市锐明像素科技有限公司 图像的去重方法、去重装置、电子设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002183186A (ja) * 2000-12-18 2002-06-28 Yamaha Motor Co Ltd モバイル機を用いた情報交換システム
CN1577319A (zh) * 2003-07-28 2005-02-09 乐金电子(中国)研究开发中心有限公司 基于数字视频处理技术的位置追踪系统及方法
US7133555B2 (en) * 2002-08-02 2006-11-07 Intel Corporation Image color matching scheme

Family Cites Families (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5164992A (en) 1990-11-01 1992-11-17 Massachusetts Institute Of Technology Face recognition system
AU5135996A (en) 1995-03-20 1996-10-08 Lau Technologies Systems and methods for identifying images
US5978773A (en) * 1995-06-20 1999-11-02 Neomedia Technologies, Inc. System and method for using an ordinary article of commerce to access a remote computer
EP0814611B1 (de) * 1996-06-17 2002-08-28 Siemens Aktiengesellschaft Kommunikationssystem und Verfahren zur Aufnahme und Verwaltung digitaler Bilder
JP3893647B2 (ja) 1996-09-30 2007-03-14 マツダ株式会社 ナビゲーション装置
US5938721A (en) * 1996-10-24 1999-08-17 Trimble Navigation Limited Position based personal digital assistant
WO1998020411A1 (en) * 1996-11-08 1998-05-14 Neomedia Technologies, Inc. Automatic access of electronic information through machine-readable codes on printed documents
US6044168A (en) 1996-11-25 2000-03-28 Texas Instruments Incorporated Model based faced coding and decoding using feature detection and eigenface coding
US6983478B1 (en) * 2000-02-01 2006-01-03 Bellsouth Intellectual Property Corporation Method and system for tracking network use
CA2286707C (en) * 1997-05-09 2006-06-06 Neomedia Technologies, Inc. Method and system for accessing electronic resources via machine-readable data on intelligent documents
US6091957A (en) * 1997-06-12 2000-07-18 Northern Telecom Limited System and method for providing a geographic location of a mobile telecommunications unit
US6463426B1 (en) 1997-10-27 2002-10-08 Massachusetts Institute Of Technology Information search and retrieval system
JP2002536722A (ja) * 1999-02-01 2002-10-29 バーポイント．コム．インコーポレイテッド ネットワーク上で製品を調べるための対話型システム
US6651053B1 (en) * 1999-02-01 2003-11-18 Barpoint.Com, Inc. Interactive system for investigating products on a network
MXPA01010103A (es) * 1999-04-05 2002-11-04 Neomedia Tech Inc Sistema y metodo para utilizar codigos de enlace legibles por maquina o legibles por humanos para tener acceso a recursos de datos en red.
US20020072815A1 (en) * 2000-01-21 2002-06-13 Mcdonough William A. Portable information system and method for golf play enhancement, analysis, and scorekeeping
CA2298194A1 (en) 2000-02-07 2001-08-07 Profilium Inc. Method and system for delivering and targeting advertisements over wireless networks
US6766363B1 (en) * 2000-02-28 2004-07-20 Barpoint.Com, Inc. System and method of linking items in audio, visual, and printed media to related information stored on an electronic network using a mobile device
US6675165B1 (en) * 2000-02-28 2004-01-06 Barpoint.Com, Inc. Method for linking a billboard or signage to information on a global computer network through manual information input or a global positioning system
US6385541B1 (en) * 2000-02-29 2002-05-07 Brad Wayne Blumberg Global positioning-based real estate database access device and method
US20010044824A1 (en) * 2000-03-31 2001-11-22 Kevin Hunter System for using wireless web devices to store web link codes on list server for subsequent retrieval
US6882313B1 (en) * 2000-06-21 2005-04-19 At Road, Inc. Dual platform location-relevant service
JP2002007432A (ja) * 2000-06-23 2002-01-11 Ntt Docomo Inc 情報検索システム
JP2002183742A (ja) * 2000-12-18 2002-06-28 Yamaha Motor Co Ltd 旅の電子アルバム作成方法および装置並びに電子アルバム作成用モバイルツール
US20020147029A1 (en) * 2001-04-09 2002-10-10 Chung-Wei Wu Mobile phone
US7535492B2 (en) * 2002-07-02 2009-05-19 Lightsurf Technologies, Inc. Imaging system providing automated fulfillment of image photofinishing based on location
US7180622B2 (en) * 2002-11-25 2007-02-20 Eastman Kodak Company Method and system for automatically forwarding an image product
KR100703444B1 (ko) 2003-06-03 2007-04-03 삼성전자주식회사 네비게이션 시스템에서 위치 정보에 관련된 영상의 다운로드 및 표시 장치 및 방법
GB2402536B (en) 2003-06-05 2008-04-02 Canon Kk Image processing
AU2004252838B2 (en) * 2003-06-06 2010-09-02 Nm, Llc Automatic access of internet content with a camera-enabled cell phone
US20050030588A1 (en) * 2003-08-06 2005-02-10 Curtis Reese Methods and apparatus utilizing embedded data layers
JP2005134352A (ja) 2003-10-31 2005-05-26 Sony Corp ナビゲーション装置
US7627152B2 (en) * 2003-11-26 2009-12-01 Ge Medical Systems Information Technologies, Inc. Image-based indicia obfuscation system and method
JP3944160B2 (ja) * 2003-12-25 2007-07-11 キヤノン株式会社 撮像装置、情報処理装置、それらの制御方法及びプログラム
JP4401767B2 (ja) * 2003-12-26 2010-01-20 京セラ株式会社 無線通信システムおよび携帯端末装置
US7872669B2 (en) * 2004-01-22 2011-01-18 Massachusetts Institute Of Technology Photo-based mobile deixis system and related techniques
KR100651508B1 (ko) 2004-01-30 2006-11-29 삼성전자주식회사 증강현실을 이용한 지역 정보 제공 방법 및 이를 위한지역 정보 서비스 시스템
US7565139B2 (en) * 2004-02-20 2009-07-21 Google Inc. Image-based search engine for mobile phones with camera
US20070159522A1 (en) * 2004-02-20 2007-07-12 Harmut Neven Image-based contextual advertisement method and branded barcodes
US8421872B2 (en) * 2004-02-20 2013-04-16 Google Inc. Image base inquiry system for search engines for mobile telephones with integrated camera
US7751805B2 (en) * 2004-02-20 2010-07-06 Google Inc. Mobile image-based information retrieval system
US7707218B2 (en) * 2004-04-16 2010-04-27 Mobot, Inc. Mobile query system and method based on visual cues
US7739033B2 (en) * 2004-06-29 2010-06-15 Sony Corporation Information processing device and method, program, and information processing system
JP4400347B2 (ja) 2004-07-08 2010-01-20 株式会社デンソー ナビゲーション装置およびプログラム
JP2006059136A (ja) 2004-08-20 2006-03-02 Seiko Epson Corp ビューア装置及びそのプログラム
JP2006105640A (ja) 2004-10-01 2006-04-20 Hitachi Ltd ナビゲーション装置
WO2006043319A1 (ja) 2004-10-20 2006-04-27 Fujitsu Limited 端末及びサーバ
JP4632793B2 (ja) * 2005-01-12 2011-02-16 京セラ株式会社 ナビゲーション機能付き携帯型端末機
US20060164382A1 (en) 2005-01-25 2006-07-27 Technology Licensing Company, Inc. Image manipulation in response to a movement of a display
JP4630678B2 (ja) * 2005-01-28 2011-02-09 キヤノン株式会社 画像処理装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
US20060242565A1 (en) 2005-04-20 2006-10-26 Nokia Corporation System and method for handling absolute positioning in a small screen optimized layout
US8732025B2 (en) * 2005-05-09 2014-05-20 Google Inc. System and method for enabling image recognition and searching of remote content on display
US7519200B2 (en) * 2005-05-09 2009-04-14 Like.Com System and method for enabling the use of captured images through recognition
WO2006128947A1 (en) * 2005-05-30 2006-12-07 Nokia Corporation Method, associated device, system, and computer program product for data management
US7728869B2 (en) * 2005-06-14 2010-06-01 Lg Electronics Inc. Matching camera-photographed image with map data in portable terminal and travel route guidance method
US7577665B2 (en) * 2005-09-14 2009-08-18 Jumptap, Inc. User characteristic influenced search results
JP4687409B2 (ja) * 2005-11-11 2011-05-25 ソニー株式会社 撮像再生装置
US7523132B2 (en) * 2006-02-06 2009-04-21 Itaggit, Inc. Data tag creation from a physical item data record to be attached to a physical item
US20070244925A1 (en) * 2006-04-12 2007-10-18 Jean-Francois Albouze Intelligent image searching
US7813561B2 (en) * 2006-08-14 2010-10-12 Microsoft Corporation Automatic classification of objects within images
WO2008040004A2 (en) 2006-09-28 2008-04-03 Sfgt Inc. Apparatuses, methods, and systems for code triggered information querying and serving
US7620026B2 (en) 2006-10-12 2009-11-17 At&T Intellectual Property I, L.P. Methods, systems, and computer program products for providing advertising and/or information services over mobile ad hoc cooperative networks using electronic billboards and related devices
US8171237B2 (en) * 2006-10-31 2012-05-01 Yahoo! Inc. Automatic association of reference data with primary process data based on time and shared identifier
EP2090867A4 (en) 2006-12-05 2012-03-21 Navitime Japan Co Ltd NAVIGATION SYSTEM, PORTABLE TERMINAL DEVICE, AND PERIPHERAL IMAGE DISPLAY METHOD
CN101000623A (zh) * 2007-01-08 2007-07-18 深圳市宜搜科技发展有限公司 通过手机拍照进行图像识别搜索的方法及采用该方法的装置
US7751620B1 (en) * 2007-01-25 2010-07-06 Bitdefender IPR Management Ltd. Image spam filtering systems and methods
US20100309226A1 (en) * 2007-05-08 2010-12-09 Eidgenossische Technische Hochschule Zurich Method and system for image-based information retrieval
US7920849B2 (en) * 2007-07-13 2011-04-05 Pop Adrian Method and system for providing advertisements/messages based on wireless data communication technology
US20090083232A1 (en) * 2007-09-24 2009-03-26 Taptu Ltd. Search results with search query suggestions
US8315423B1 (en) * 2007-12-28 2012-11-20 Google Inc. Providing information in an image-based information retrieval system
US7847729B2 (en) * 2008-01-28 2010-12-07 Research In Motion Limited GPS pre-acquisition for geotagging digital photos
US8166189B1 (en) * 2008-03-25 2012-04-24 Sprint Communications Company L.P. Click stream insertions
US20090278949A1 (en) * 2008-05-06 2009-11-12 Mcmahan David Michael Camera system and method for providing information on subjects displayed in a camera viewfinder
US8676001B2 (en) * 2008-05-12 2014-03-18 Google Inc. Automatic discovery of popular landmarks
US9753948B2 (en) 2008-05-27 2017-09-05 Match.Com, L.L.C. Face search in personals
US8724909B2 (en) * 2008-06-03 2014-05-13 Kooaba Ag Method and system for generating a pictorial reference database using geographical information
US8098894B2 (en) 2008-06-20 2012-01-17 Yahoo! Inc. Mobile imaging device as navigator

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002183186A (ja) * 2000-12-18 2002-06-28 Yamaha Motor Co Ltd モバイル機を用いた情報交換システム
US7133555B2 (en) * 2002-08-02 2006-11-07 Intel Corporation Image color matching scheme
CN1577319A (zh) * 2003-07-28 2005-02-09 乐金电子(中国)研究开发中心有限公司 基于数字视频处理技术的位置追踪系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Automatic Image Feature Matching Based on Reference Points";Wei-zhong Zhang et al.;《2006 International Conference on Machine Learning and Cybernetics》;20060816;全文
"基于位置关系约束的SAR图像与光学图像匹配";李天池 等;《系统工程与电子技术 》;20070630;第29卷(第6期);全文

Also Published As

Publication number Publication date
US9665596B2 (en) 2017-05-30
CN104239408A (zh) 2014-12-24
TW201018298A (en) 2010-05-01
JP5457434B2 (ja) 2014-04-02
US20170024414A1 (en) 2017-01-26
KR101190395B1 (ko) 2012-10-16
US8406531B2 (en) 2013-03-26
CN102017661B (zh) 2014-08-20
WO2009140028A3 (en) 2010-01-28
US11256739B2 (en) 2022-02-22
HK1202663A1 (zh) 2015-10-02
US20090285492A1 (en) 2009-11-19
TWI524801B (zh) 2016-03-01
US20130223744A1 (en) 2013-08-29
WO2009140028A2 (en) 2009-11-19
US9483499B2 (en) 2016-11-01
JP2011525002A (ja) 2011-09-08
US20170255650A1 (en) 2017-09-07
CN102017661A (zh) 2011-04-13
KR20110015438A (ko) 2011-02-15

Similar Documents

Publication Publication Date Title
CN104239408B (zh) 基于由移动设备记录的图像的内容的数据访问
US10706094B2 (en) System and method for customizing a display of a user device based on multimedia content element signatures
US10652311B2 (en) Computerized system and method for determining and communicating media content to a user based on a physical location of the user
US10832738B2 (en) Computerized system and method for automatically generating high-quality digital content thumbnails from digital video
US9727565B2 (en) Photo and video search
US10896355B2 (en) Automatic canonical digital image selection method and apparatus
KR101763132B1 (ko) 콘텐트 처리를 위한 방법들 및 시스템들
US20150032535A1 (en) System and method for content based social recommendations and monetization thereof
US20240273136A1 (en) Systems and methods for mobile image search
CN109800325A (zh) 视频推荐方法、装置和计算机可读存储介质
CN105512180B (zh) 一种搜索推荐方法及装置
US20090299961A1 (en) Face search in personals
US10380267B2 (en) System and method for tagging multimedia content elements
KR20060026924A (ko) 디지털 데이터에 대한 태깅 방법 및 시스템
Adams et al. Sensing and using social context
CN110083762A (zh) 房源搜索方法、装置、设备及计算机可读存储介质
KR101479260B1 (ko) 사진 기반 인물 친밀도 검색 방법
US20150052155A1 (en) Method and system for ranking multimedia content elements
CN109657143B (zh) 展品信息的推送方法、装置、设备和存储介质
Manniche ContexTag-Context-Aware Media Annotation Utilizing Social Networks

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1202663

Country of ref document: HK

TA01 Transfer of patent application right

Effective date of registration: 20170821

Address after: California, USA

Applicant after: YAHOO Holdings

Address before: California, USA

Applicant before: YAHOO! Inc.

TA01 Transfer of patent application right
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180402

Address after: American New York

Applicant after: Aoshi Co.

Address before: California, USA

Applicant before: YAHOO Holdings

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210325

Address after: New York State, USA

Patentee after: Verizon media

Address before: New York State, USA

Patentee before: Aoshi Co.

TR01 Transfer of patent right
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: New York, United States

Patentee after: Yahoo Advertising Technology Co.,Ltd.

Address before: New York, United States

Patentee before: Verizon media

TR01 Transfer of patent right

Effective date of registration: 20221024

Address after: California, USA

Patentee after: Yahoo Assets Co.,Ltd.

Address before: New York, United States

Patentee before: Yahoo Advertising Technology Co.,Ltd.

TR01 Transfer of patent right