CN111727440A - 基于多部分标识符来确定数字目的地的系统和方法 - Google Patents

Abstract

一个总体方面包括一种方法，该方法包括：捕获对象的图像，该对象上显示有多部分标识符，该多部分标识符包括第一部分和第二部分，第一部分包括图形内容，并且第二部分包括人类可识别的文本内容。该方法还包括基于捕获的图像，识别与图形内容相关联的域。该方法还包括基于捕获的图像，识别该域的与文本内容相关联的子部分。该方法还包括基于识别的域和识别的子部分来识别数字目的地。该方法还包括基于该数字目的地执行动作。该方面的其他实施例包括相应的计算机系统、装置和记录在一个或更多个计算机存储设备上的计算机程序，其中每一个都被配置成执行该方法的动作。

Description

基于多部分标识符来确定数字目的地的系统和方法

背景

快速响应(QR)码和其他二维条形码可以在各种移动设备操作系统上使用。这些设备支持统一资源定位器(URL)重定向，其允许QR码向设备上的现有应用发送元数据。许多付费或免费app都有扫码并硬链接到外部URL的能力。这些码由在白色背景上的正方形网格中布置的黑色正方形组成，可以被成像设备(例如相机)读取。因此，在用相机扫描QR码时用户通常不知道QR码可以重定向到哪个URL。这阻挠了用户的处理，并且让用户不太可能想要使用QR码进行URL重定向。

本文描述的实施例单独地和共同地解决了这些问题。

简要概述

本文描述的实施例涉及捕获包括对象的图像并识别图像内的该对象，该对象具有包括第一部分和第二部分的多部分标识符(multi-part identifier)。例如，对象可以是一张纸上的手写文本或者是海报或传单上的印刷文本。第一部分可以包括图形内容，并且第二部分可以包括人类可识别的文本内容。图形内容可以用于识别域，并且人类可识别的文本内容可以用于识别该域的子部分。例如，图形内容可以包括社交网络服务提供商的徽标，并且人类可识别的文本内容可以包括在社交网络中注册的用户的用户名。图形内容和人类可识别的文本内容可以一起用于识别数字目的地(digital destination)，并且可以根据所识别的数字目的地来执行动作。

例如，可以采取的动作可以包括，当在太阳镜商店利用用户设备捕获并识别包括图形内容和人类可识别的文本内容的对象时，用户设备可以在商店内经由设备的相机来应用增强现实(AR)效果，以在设备的前置相机上预览时，将商店出售的太阳镜叠加在用户上。可以采取的动作的另一个示例包括打开支付应用并基于所识别的数字目的地预先填写支付的接收者信息。

图形内容和人类可识别的内容的组合可以提供优于传统QR码的优点。首先，如上面所提及的，图形内容和人类可识别的内容的组合提供了对象至数字目的地的1:1映射。其次，图形内容和人类可识别的内容的组合通常是人类可读且可理解的，这可以给相机的用户关于在捕获并分析对象时基于所识别的数字目的地将发起的动作的一些信息。对对象的识别可以通过机器学习模型来被训练。更具体地，可以训练卷积神经网络模型来估计图形内容和人类可识别的内容的位置和大小。

具有一个或更多个计算机的系统可以被配置成通过在该系统上安装软件、固件、硬件或它们的组合来执行特定的操作或动作，安装的软件、固件、硬件或它们的组合在操作中使得系统执行这些动作。一个或更多个计算机程序可以被配置成通过包括指令来执行特定的操作或动作，当这些指令被数据处理装置执行时，使得该装置执行这些动作。一个总体方面包括一种方法，该方法包括：捕获对象的图像，该对象上显示有多部分标识符，该多部分标识符包括第一部分和第二部分，第一部分包括图形内容，并且第二部分包括人类可识别的文本内容。该方法还包括基于捕获的图像，识别与图形内容相关联的域。该方法还包括基于捕获的图像，识别该域的与文本内容相关联的子部分。该方法还包括基于识别的域和识别的子部分来识别数字目的地。该方法还包括基于该数字目的地执行动作。该方面的其他实施例包括相应的计算机系统、装置和记录在一个或更多个计算机存储设备上的计算机程序，其中每一个都被配置成执行该方法的动作。

实现可以包括以下特征中的一个或更多个。根据该方法，其中，执行动作包括显示与数字目的地相关联的内容。根据该方法，其中，执行动作包括基于存储在数字目的地处的数据执行应用。根据该方法，其中，识别该域的与文本内容相关联的子部分包括解码文本内容。根据该方法，其中，识别与图形内容相关联的域包括将图形内容作为输入提供给机器学习模型，其中，响应于该输入，机器学习模型输出标识该域的类别。根据该方法，其中，机器学习模型是卷积神经网络(CNN)。根据该方法，其中，对象包括海报、广告牌、标志、手写内容、数字内容或收据中的至少一种。所描述的技术的实现可以包括硬件、方法或过程或计算机可访问介质上的计算机软件。

一个总体方面包括一种系统，该系统包括：处理器；以及耦合到该处理器的非暂时性计算机可读介质，该计算机可读介质包括代码，该代码能够由处理器执行以用于实现一种方法，该方法包括：该系统还包括捕获对象的图像，该对象上显示有多部分标识符，该多部分标识符包括第一部分和第二部分，第一部分包括图形内容，并且第二部分包括人类可识别的文本内容。该系统还包括基于捕获的图像，识别与图形内容相关联的域。该系统还包括基于捕获的图像，识别该域的与文本内容相关联的子部分。该系统还包括基于识别的域和识别的子部分来识别数字目的地。该系统还包括基于该数字目的地执行动作。该方面的其他实施例包括相应的计算机系统、装置和记录在一个或更多个计算机存储设备上的计算机程序，其中每一个都被配置成执行该方法的动作。

实现可以包括以下特征中的一个或更多个。根据该系统，其中，执行动作包括显示与数字目的地相关联的内容。根据该系统，其中，执行动作包括基于存储在数字目的地处的数据执行应用。根据该系统，其中，识别该域的与文本内容相关联的子部分包括解码文本内容。根据该系统，其中，识别与图形内容相关联的域包括将图形内容作为输入提供给机器学习模型，其中，响应于该输入，机器学习模型输出标识该域的类别。根据该系统，其中，机器学习模型是卷积神经网络(CNN)。根据该系统，其中，对象包括海报、广告牌、标志、手写内容、数字内容或收据中的至少一种。所描述的技术的实现可以包括硬件、方法或过程或计算机可访问介质上的计算机软件。

一个总体方面包括存储计算机可执行指令的一个或更多个非暂时性计算机可读介质，该计算机可执行指令在被执行时，使得一个或更多个计算设备执行操作，所执行的操作包括：捕获对象的图像，该对象上显示有多部分标识符，该多部分标识符包括第一部分和第二部分，第一部分包括图形内容，并且第二部分包括人类可识别的文本内容。该一个或更多个非暂时性计算机可读介质还包括基于捕获的图像，识别与图形内容相关联的域。该一个或更多个非暂时性计算机可读介质还包括基于捕获的图像，识别该域的与文本内容相关联的子部分。该一个或更多个非暂时性计算机可读介质还包括基于识别的域和识别的子部分来识别数字目的地。该一个或更多个非暂时性计算机可读介质还包括基于该数字目的地执行动作。该方面的其他实施例包括相应的计算机系统、装置和记录在一个或更多个计算机存储设备上的计算机程序，其中每一个都被配置成执行该方法的动作。

实现可以包括以下特征中的一个或更多个。根据该一个或更多个非暂时性计算机可读介质，其中，执行动作包括下列项中的至少一项：显示与数字目的地相关联的内容、或基于存储在数字目的地处的数据执行应用。根据该一个或更多个非暂时性计算机可读介质，其中，识别该域的与文本内容相关联的子部分包括解码文本内容。根据该一个或更多个非暂时性计算机可读介质，其中，识别与图形内容相关联的域包括将图形内容作为输入提供给机器学习模型，其中，响应于该输入，机器学习模型输出标识该域的类别。根据该一个或更多个非暂时性计算机可读介质，其中，机器学习模型是卷积神经网络(CNN)。根据该一个或更多个非暂时性计算机可读介质，其中，对象包括海报、广告牌、标志、手写内容、数字内容或收据中的至少一种。所描述的技术的实现可以包括硬件、方法或过程或计算机可访问介质上的计算机软件。

一个总体方面包括一种方法，该方法包括：捕获对象的图像，该对象上显示有多部分标识符，该多部分标识符包括第一部分和第二部分，第一部分包括图形内容，并且第二部分包括人类可识别的文本内容。该方法还包括基于捕获的图像，识别与图形内容相关联的域。该方法还包括基于捕获的图像，识别该域的与文本内容相关联的子部分。该方法还包括基于识别的域和识别的子部分来识别数字目的地。该方法还包括基于该数字目的地执行动作。该方面的其他实施例包括相应的计算机系统、装置和记录在一个或更多个计算机存储设备上的计算机程序，其中每一个都被配置成执行该方法的动作。

实现可以包括以下特征中的一个或更多个。根据该方法，其中，文本内容完全或部分是非静态的。该方法还可以可选地包括，其中，在显示器上显示文本内容。该方法还可以可选地包括，其中，在图像捕获之前、期间和/或之后，文本内容改变。根据该方法，其中，执行动作包括显示与数字目的地相关联的内容。根据至23中的任一项的方法，其中，执行动作包括基于存储在数字目的地处的数据执行应用。根据至24中的任一项的方法，其中，执行动作包括基于从文本内容读取的数据来执行应用和执行对该应用的输入。根据至25中的任一项的方法，其中，识别该域的与文本内容相关联的子部分包括解码文本内容。根据至26中的任一项的方法，其中，识别与图形内容相关联的域包括将图形内容作为输入提供给机器学习模型，其中，响应于该输入，机器学习模型输出标识该域的类别。该方法还可以可选地包括，其中，机器学习模型是卷积神经网络(CNN)。根据至27中的任一项的方法，其中，对象包括海报、广告牌、标志、手写内容、数字内容或收据中的至少一种。所描述的技术的实现可以包括硬件、方法或过程或计算机可访问介质上的计算机软件。

一个总体方面包括一种系统，该系统包括：处理器；以及耦合到该处理器的非暂时性计算机可读介质，该计算机可读介质包括代码，该代码能够由处理器执行以用于实现一种方法，该方法包括：该系统还包括捕获对象的图像，该对象上显示有多部分标识符，该多部分标识符包括第一部分和第二部分，第一部分包括图形内容，并且第二部分包括人类可识别的文本内容。该系统还包括基于捕获的图像，识别与图形内容相关联的域。该系统还包括基于捕获的图像，识别该域的与文本内容相关联的子部分。该系统还包括基于识别的域和识别的子部分来识别数字目的地。该系统还包括基于该数字目的地执行动作。该方面的其他实施例包括相应的计算机系统、装置和记录在一个或更多个计算机存储设备上的计算机程序，其中每一个都被配置成执行该方法的动作。

实现可以包括以下特征中的一个或更多个。根据该系统，其中，文本内容完全或部分是非静态的。该系统还可以可选地包括，其中，在显示器上显示文本内容。该系统还可以可选地包括，其中，在图像捕获之前、期间和/或之后，文本内容改变。根据该系统，其中，执行动作包括显示与数字目的地相关联的内容。根据至31中的任一项的系统，其中，执行动作包括基于存储在数字目的地处的数据执行应用。根据至32中的任一项的系统，其中，执行动作包括基于从文本内容读取的数据来执行应用和执行对该应用的输入。根据至33中的任一项的系统，其中，识别该域的与文本内容相关联的子部分包括解码文本内容。根据至34中的任一项的系统，其中，识别与图形内容相关联的域包括将图形内容作为输入提供给机器学习模型，其中，响应于该输入，机器学习模型输出标识该域的类别。该系统还可以可选地包括，其中，机器学习模型是卷积神经网络(CNN)。根据至35中的任一项的系统，其中，对象包括海报、广告牌、标志、手写内容、数字内容或收据中的至少一种。所描述的技术的实现可以包括硬件、方法或过程或计算机可访问介质上的计算机软件。

一个总体方面包括一种方法，该方法包括：捕获对象的图像，该对象上显示有多部分标识符，该多部分标识符包括第一部分和第二部分，第一部分包括图形内容，并且第二部分包括人类可识别的文本内容。该方法还包括基于捕获的图像，识别与图形内容相关联的域。该方法还包括基于捕获的图像，识别该域的与文本内容相关联的子部分。该方法还包括基于识别的域和识别的子部分来识别数字目的地。该方法还包括基于该数字目的地执行动作。该方面的其他实施例包括相应的计算机系统、装置和记录在一个或更多个计算机存储设备上的计算机程序，其中每一个都被配置成执行该方法的动作。

实现可以包括以下特征中的一个或更多个。根据该方法，其中，文本内容完全或部分是非静态的。该方法还可以可选地包括，其中，在显示器上显示文本内容。该方法还可以可选地包括，其中，在图像捕获之前、期间和/或之后，文本内容改变。根据该方法，其中，执行动作包括显示与数字目的地相关联的内容。根据至39中的任一项的方法，其中，执行动作包括基于存储在数字目的地处的数据执行应用。根据至40中的任一项的方法，其中，执行动作包括基于从文本内容读取的数据来执行应用和执行对该应用的输入。根据至41中的任一项的方法，其中，识别该域的与文本内容相关联的子部分包括解码文本内容。根据至42中的任一项的方法，其中，识别与图形内容相关联的域包括将图形内容作为输入提供给机器学习模型，其中，响应于该输入，机器学习模型输出标识该域的类别。该方法还可以可选地包括，其中，机器学习模型是卷积神经网络(CNN)。根据至43中的任一项的方法，其中，对象包括海报、广告牌、标志、手写内容、数字内容或收据中的至少一种。所描述的技术的实现可以包括硬件、方法或过程或计算机可访问介质上的计算机软件。

附图简述

通过示例的方式来说明本公开的各方面。在附图中，相似的附图标记指示相似的元素。

图1示出了根据一些实施例的移动设备的简图。

图2是示出用于识别数字目的地并基于该数字目的地执行动作的示例性方法的流程图。

图3示出了根据一些实施例的其上显示有多部分标识符的示例性对象。

图4A示出了根据一些实施例的捕获对象的图像的移动设备。

图4B示出了根据一些实施例的在移动设备上显示的社交网络服务应用。

图4C示出了根据一些实施例的传统销售点(PoS)终端，其上粘贴有多部分标识符。

图4D示出了根据一些实施例的在移动设备的显示器的用户界面内显示的移动支付应用。

图5示出了可以在其中实现一个或更多个实施例的计算系统的示例。

详细描述

现在将参照附图描述若干说明性实施例，附图构成本发明的一部分。虽然下面描述了可以在其中实现本公开的一个或更多个方面的特定实施例，但是可以使用其他实施例，并且可以进行各种修改，而不偏离本公开的范围或所附权利要求的精神。

图1示出了可以结合一个或更多个实施例的移动设备100的简图。移动设备100可以包括处理器110、麦克风120、显示器130、输入设备140、扬声器150、存储器160、动作数据库170、相机180和计算机可读介质190。

处理器110可以是可操作来在移动设备100上执行指令的任何通用处理器。处理器110耦合到设备100的其他单元，包括麦克风120、显示器130、输入设备140、扬声器150、存储器160、动作数据库170、相机180和计算机可读介质190。

麦克风120可以是将声音输入转换成电信号的任何设备。麦克风120可以捕获在移动设备100附近的用户语音或任何其他声音。

显示器130可以是向用户显示信息的任何设备。示例可以包括LCD屏、CRT监视器或七段显示器。在一些实施例中，显示器130可以是能够接收输入的触摸屏显示器，以与在设备100上执行的相机应用进行交互。

输入设备140可以是接受来自用户的输入的任何设备。示例可以包括键盘、小键盘(keypad)、鼠标或触控输入。在一些实施例中，显示器130也可以用作输入设备140。

扬声器150可以是向用户输出声音的任何设备。示例可以包括内置扬声器或响应于电子音频信号而产生声音的任何其他设备。

存储器160可以是任何磁存储器、电存储器或光存储器。存储器160的示例可以是动态随机存取存储器(DRAM)。

动作数据库170可以存储与一个或更多个动作有关的信息，响应于基于分别从图像中捕获的图形内容和文本内容中识别的域和识别的子部分来识别数字目的地，处理器110可以执行该一个或更多个动作。

相机180可以被配置成经由位于移动设备100的主体上的透镜182来捕获一个或更多个图像。透镜182可以是相机180子系统的一部分。捕获的图像可以是静止图像或视频图像。相机180可以包括用于捕获图像的CMOS图像传感器。运行在处理器110上的各种应用可以访问相机180来捕获图像。可以理解，相机180可以连续捕获图像，而图像实际上不被存储在设备100内。捕获的图像也可以称为图像帧。

相机180还可以包括图像传感器184。图像传感器184可以是检测并传递构成图像的信息的传感器。它可以通过将光波的(在光波穿过对象或反射离开对象时)的可变衰减转换成信号(即传递信息的电流的小突发脉冲(burst))来实现。波可以是光或其他电磁辐射。图像传感器在模拟和数字类型的电子成像设备中被使用。例如，当打开时，透镜182可以允许光穿过它照射到图像传感器184。图像传感器184可以捕获穿过透镜182的光，并将光转换成表示图像的电信号。

计算机可读介质190可以是任何磁、电、光存储介质或其他计算机可读存储介质。计算机可读存储介质190可以存储包括代码子系统的计算机可读代码，代码子系统包括图像捕获子系统190a、图形内容识别子系统190b、文本内容识别子系统190c、数字目的地确定子系统190d和动作子系统190e。

图像捕获子系统190a包含代码，该代码当由处理器110执行时可以使用移动设备100上的相机180的透镜182和图像传感器184来捕获图像。捕获的图像可以具有定位在移动设备100的外部主体的后部后面的相机180的视场。例如，当用户启动在移动设备100上的相机应用时，处理器110可以执行图像捕获子系统190a。图像捕获子系统190a可以实时捕获相机180的视场的一帧或多帧。在一些实施例中，相机180的视场可以包括其上显示有多部分标识符的一个或更多个对象。多部分标识符可以包括第一部分和第二部分，第一部分包括图形内容，并且第二部分包括人类可识别的文本内容。

图形内容识别子系统190b包含代码，该代码当由处理器110执行时可以分析在由图像捕获子系统190a捕获的图像内的对象。图形内容识别子系统190b可以分析该对象以定位并识别作为显示在该对象上的多部分标识符的一部分的图形内容。可以通过应用机器学习模型来定位并识别图形内容，已经使用具有不同形状、大小和字体的图形内容的各种图像对该机器学习模型进行了训练。例如，图形内容可以是与社交网络服务相关联的徽标，例如字母“f”。在一些实施例中，可以通过注释徽标来将徽标限定为可识别的图形内容。例如，可以用围绕字母的括号来限定徽标“f”，例如“[f]”。机器学习模型可以接收由图像捕获子系统190a捕获的图像作为输入，并且可以输出一类别，该类别标识图像中的对象是否包含作为多部分标识符的一部分的图形内容。图形内容识别子系统190b可以将识别的图形内容输出到数字目的地确定子系统190d。

文本内容识别子系统190c包含代码，该代码当由处理器110执行时可以分析在由图像捕获子系统190a捕获的图像内的对象。文本内容识别子系统190c可以分析该对象以定位并识别作为显示在对象上的多部分标识符的一部分的文本内容。可以通过应用上述机器学习模型或者通过使用解析或解码文本内容以使用光学字符识别(OCR)来识别文本内容的字符的算法来定位并识别文本内容。例如，文本内容可以是写着“Liam_Neeson”的文本。文本内容识别子系统190c可以识别文本“Liam_Neeson”中的字符，并将该文本内容的字符提供给数字目的地确定子系统190d。在一些实施例中，文本内容可以完全或部分是非静态的。文本内容可以例如被显示在显示器上。在一些实施例中，在捕获图像之前、期间和/或之后，文本内容可以改变。例如，文本内容可以是在收银机显示器上显示的价格，每次向小计(subtotal)添加额外的项时或者在向小计添加销售税之后，显示内容会改变。

数字目的地确定子系统190d包含代码，该代码当由处理器110执行时，基于图形内容识别子系统190b输出的图形内容来识别域，并基于文本内容识别子系统190c输出的文本内容来识别该域的子部分。例如，数字目的地确定子系统190d可以识别与所识别的图形内容相关联的特定域。例如，如果图形内容描绘了“[f]”，则数字目的地确定子系统190d模型可以识别出与该图形内容相关联的域是Facebook。在一些实施例中，基于图形内容的对域的识别可以通过查询所存储的与不同的相关图形内容相关联的域的数据库来完成。在一些实施例中，基于文本内容的对域的子部分的识别可以基于文本内容识别子系统190c输出的文本内容的字符。例如，数字目的地确定子系统190d可以基于图形内容将域识别为Facebook，并且基于文本内容将域的子部分识别为“Liam_Neeson”。

一旦识别了域和子域，数字目的地确定子系统190d就可以基于识别的域和识别的域的子部分来识别或确定数字目的地。域和域的子部分的组合可以构成数字目的地。例如，如果域是社交网络服务的域(例如上面提供的“[f]”示例)，并且该域的子部分是社交网络服务内的用户简档地址(例如“Liam_Neeson”)，则数字目的地可以是用户“Liam_Neeson”的简档页面。在另一示例中，如果域是支付服务的域，并且该域的子部分是在支付服务上注册的用户的用户名，则数字目的地可以是该注册用户的支付简档。在又一示例中，如果域是移动应用商店的域，并且该域的子部分是虚拟游戏的名称，则数字目的地可以是移动应用商店上该虚拟游戏的下载页面。这些只是数字域的几个示例，另外，下面描述了其他示例。

在一些实施例中，域和域的子部分的组合可以用于app间通信的URL机制(URLscheme)。例如，域可以是在移动设备上执行的第三方应用的域。域的子部分可以是第三方应用可访问的特定URL。因此，数字目的地可以是由第三方应用打开的URL。

动作子系统190e包含代码，该代码当由处理器110执行时基于数字目的地执行动作。在一些实施例中，执行动作可以包括显示与数字目的地相关联的内容或者基于存储在数字目的地处的数据执行应用。在一些实施例中，动作子系统190e可以查询动作数据库170，以便基于数字目的地来确定要执行的适当动作。动作数据库170可以存储根据各种域和域的各种子部分可以执行的动作的列表。参考上面的示例，如果域是社交网络服务的域，并且该域的子部分是社交网络服务内的用户简档地址，则动作子系统190e可以启动用于社交网络服务的web浏览器或移动应用，并且将web浏览器或移动应用定向到用户的简档页面。在另一示例中，如果域是支付服务的域，并且该域的子部分是在支付服务上注册的用户的用户名，则动作子系统190e可以启动在移动设备100本地的支付应用，并且预先填写与在支付服务上注册的用户相关的支付信息和支付金额。在另一示例中，如果域是移动应用商店的域，并且该域的子部分是虚拟游戏的名称，则动作子系统190e可以启动移动应用商店的应用，并将该应用定向到虚拟游戏的下载页面。

在一些实施例中，执行动作包括基于从文本内容读取的数据来执行应用和执行对该应用的输入。例如，文本内容和域一起可以指示与第三方支付应用内的零售商的结账页面相关的数字目的地。执行动作可以包括启动移动设备上的第三方应用，并将该应用定向到零售商的结账页面。

在一些实施例中，可以在通信地耦合到移动设备100的服务器计算机上实现图形内容识别子系统190b、文本内容识别子系统190c和数字目的地确定子系统190d的功能。在经由图像捕获子系统190a捕获图像时，移动设备100可以经由收发器(未示出)将捕获的图像发送给服务器计算机进行处理和分析。服务器计算机可以识别图像内的图形内容和文本内容，并基于此确定数字目的地。服务器计算机可以向移动设备100返回数字目的地的身份，并且动作子系统190e可以在数字目的地上执行适当的动作。

上述实施例提供了优于传统QR码或条形码的许多优点。通过识别图形内容而不是二进制的正方形网格，执行图像捕获的用户可以更好地理解可以在数字目的地上执行的一般动作。例如，如果图形内容是“[f]”(如上面的示例所示)，执行图像捕获的用户会有数字目的地可能在Facebook域内的一般想法。此外，通过使用分类器来识别与图形内容相关联的域，图形内容不需要在每次被印刷或绘制在对象上时都被完美地再现。可以通过使用机器学习模型来考虑在图形内容的印刷或绘制中的变化，即使在不同的对象上图形内容可能变化，该机器学习模型仍然能够识别与图形内容相关联的域。相比之下，传统的QR码或条形码要求二进制网格中的正方形或位置被正确捕获并解码，从而正常工作。此外，如上所述，本文描述的实施例能够识别与手写或绘制的图形内容相关联的域。

在一些实施例中，图形内容可以充当数字目的地的标识的锚点(anchor)，并且文本内容可以不是固有地静态的。例如，文本内容可以是基于时间的并且随着时间而变化，例如一次性密码或令牌(token)或URL。

图2是示出用于识别数字目的地并基于该数字目的地执行动作的示例性方法的流程图200。该方法从步骤202开始，例如，当用户在具有嵌入式相机功能的移动设备100上启动相机应用或其他应用时。在步骤204处，一个图像或一连串的图像被该应用且经由移动设备的相机捕获。例如，图像捕获子系统190a可以实时捕获相机180的视场的一帧或多帧。图像可以包括具有多部分标识符的对象。例如，对象可以是海报、广告牌、标志、一张纸、显示器上的数字内容或收据。多部分标识符可以包括第一部分和第二部分。多部分标识符的第一部分可以包括图形内容，并且多部分标识符的第二部分可以包括人类可识别的文本内容。

例如，多部分标识符可以是“*sN*john.smith”，其中“sN”是第一部分，并且“john.smith”是第二部分。“sN”可以以图形方式印刷或写在对象上。例如，“sN”可以是社交网络服务的风格化徽标。第二部分“john.smith”可以是手写的或使用标准化字体印刷的人类可识别的文本内容。

在步骤206处，在该应用经由移动设备的相机捕获一个图像或一连串图像之后，可以识别与图形内容相关联的域。例如，图形内容识别子系统190b可以分析该对象以定位并识别作为显示在该对象上的多部分标识符的一部分的图形内容。可以通过应用机器学习模型来定位并识别图形内容，已经使用具有不同形状、大小和字体的图形内容的各种图像对该机器学习模型进行了训练。在一些实施例中，机器学习模型可以是卷积神经网络(CNN)。例如，图形内容可以是与社交网络服务相关联的徽标，例如“*sN*”。在一些实施例中，可以通过注释徽标来将徽标限定为可识别的图形内容。例如，可以用围绕字母的星号来限定“sN”徽标，例如“*sN*”。机器学习模型可以接收由图像捕获子系统190a捕获的图像作为输入，并且可以输出一类别，该类别标识图像中的对象是否包含作为多部分标识符的一部分的图形内容。

在步骤208处，在识别了与图形内容相关联的域之后，可以识别该域的与文本内容相关联的子部分。例如，文本内容识别子系统190c可以分析该对象以定位并识别作为显示在对象上的多部分标识符的一部分的文本内容。可以通过应用上述机器学习模型或者通过使用解析或解码文本内容以使用光学字符识别(OCR)来识别文本内容的字符的算法来定位并识别文本内容。例如，如上所述，文本内容可以是写着“john.smith”的文本。文本内容识别子系统190c可以识别文本“john.smith”中的字符，并将该文本内容的字符提供给数字目的地确定子系统190d。

在步骤210处，在识别了该域的与文本内容相关联的子部分之后，可以基于数字目的地执行动作。在一些实施例中，执行动作可以包括显示与数字目的地相关联的内容或者基于存储在数字目的地处的数据执行应用。例如，动作子系统190e可以查询动作数据库170，以便基于数字目的地来确定要执行的适当动作。上面参照动作子系统190e的描述描述了可以基于数字目的地执行的动作的一些示例。

图3示出了根据一些实施例的其上显示有多部分标识符的示例性对象310。在该示例中，对象310是光盘(CD)。在对象310上显示有多部分标识符，该多部分标识符包括包含图形内容的第一部分320和包含人类可识别的文本内容的第二部分330。第一部分320包括徽标形式的图形内容，示出为“f”。该徽标可以是与社交网络服务相关联的徽标。该徽标可以例如印刷在对象310上、手写在对象310上、是置于对象310上的标签等。此外，如上所述，包围“f”的正方形可以用作图形内容的限定符(qualifier)。

第二部分包括人类可识别的文本内容，其写着“SallyWilliams”。同样，人类可识别的文本内容可以例如印刷在对象310上、手写在对象310上、是置于对象310上的标签等。

如上所述，可以经由移动设备100上的相机应用来捕获对象310的图像。可以基于第一部分320的图形内容来分析捕获的图像以识别域。例如，图形内容识别子系统190b可以使用在上面示例中描述的分类器来分析对象310，以定位并识别作为第一部分320的一部分的图形内容。此外，还可以分析捕获的图像以识别该域的基于第二部分330的人类可识别的文本内容的子部分。例如，文本内容识别子系统190c可以使用上述的字符解析或解码来分析该对象，以定位并识别作为显示在对象上的多部分标识符的一部分的文本内容。

在说明性示例中，用户可以购买存储特定艺术家的音乐的CD，该CD上显示有多部分标识符。第二用户可以在他/她方便的时候播放该CD上存储的媒体，并且对艺术家产生兴趣，并且希望更多地了解该艺术家。多部分标识符可以表示在社交网络服务内的该艺术家的简档页面的链接。用户可以在他/她的移动设备上打开相机应用，并捕获CD的一个图像或一系列图像。根据上面的示例，可以由图形内容识别子系统190b和文本内容识别子系统190c对图像进行分析，以确定域和域的子部分。例如，域可以被识别为关联于徽标“f”的社交网络服务，并且该域的子部分可以被识别为“SallyWilliams”。一旦识别了域和域的子部分，数字目的地确定子系统190d就可以基于域和域的子部分来识别数字目的地。例如，数字目的地可以被识别为关联于徽标“f”的社交网络服务内的Sally William的简档页面。然后，动作子系统190e可以基于该数字目的地来确定并执行动作。例如，动作子系统190e可以将在“f”域内识别的任何事物关联成是由与社交网络服务相关联的社交网络服务应用打开的。因此，动作子系统190e可以启动在移动设备100上的社交网络服务应用，并且将社交网络服务应用定向到Sally William的简档页面。替代地，如果社交网络服务应用没有安装在移动设备100上，则动作子系统190e可以替代地启动web浏览器应用，并且将web浏览器应用定向到在社交网络服务的域内的托管Sally William的简档页面的URL。

图4A示出了根据一些实施例的捕获对象420的图像的移动设备100。在该示例中，对象420可以是其上具有多部分标识符的名片。在对象420上显示有多部分标识符，该多部分标识符包括包含图形内容的第一部分430和包含人类可识别的文本内容的第二部分440。第一部分430包括徽标形式的图形内容，示出为“f”。该徽标可以是与社交网络服务相关联的徽标。该徽标可以例如印刷在对象420上、手写在对象420上、是置于对象420上的标签等。此外，如上所述，围绕“f”的括号可以用作图形内容的限定符。

第二部分包括人类可识别的文本内容，其写着“Liam_Neeson”。同样，人类可识别的文本内容可以例如印刷在对象420上、手写在对象420上、是置于对象420上的标签等。

在说明性示例中，且类似于参照图3的描述，相识之人可以给用户名片。在某个时刻，用户可能希望更多地了解该相识之人，并访问社交网络服务内的该相识之人的简档。由于图形内容可能是关联于社交网络服务的众所周知的徽标，因此用户会有这样的想法，即用移动设备100的相机扫描多部分标识符可能导致移动设备100启动社交网络服务应用并将该应用定向到社交网络服务内的Liam Neeson的简档。用户可以打开移动设备100上的相机应用，并呈现有在移动设备100的显示器上显示的用户界面410内所示的相机的视场的预览。

用户可以将移动设备100悬停在名片上方，使得名片在用户界面410内显示的预览内被捕获。在图形内容识别子系统190b和文本内容识别子系统190c识别出多部分标识符的图形内容和文本内容时，包围多部分标识符的叠加图(overlay)可以呈现在用户界面410内。例如，叠加图可以是包围多部分标识符的带有虚线的矩形。叠加图可以向用户提供多部分标识符被子系统和用户界面410正确识别的确认。此外，在图形内容识别子系统190b和文本内容识别子系统190c识别出多部分标识符的图形内容和文本内容之后，数字目的地确定子系统190d可以基于所识别的图形内容和文本内容来确定数字目的地。在基于所识别的图形内容和文本内容确定了数字目的地之后，用户界面410可以向用户呈现通知450，该通知450指示数字目的地被确定。例如，通知450可以是用户界面内的弹出式(pop-up)通知，其写着“检测到了数字目的地！轻击继续…(Digital Destination Deteted！Tap tocontinue...)”。用户能够通过提供用于选择通知450的输入手势(例如，轻击)来与通知450交互。

在与通知450交互时，动作子系统190e可以在数字目的地上执行适当的动作。例如，如图4B所示，动作子系统190e可以确定要在数字目的地上执行的动作是打开在移动设备100上运行的社交网络服务应用，并指示社交网络服务应用显示Liam Neeson的简档页面。可以在社交网络服务应用内、在移动设备100的显示器上显示的用户界面410内显示简档页面。从用移动设备100的相机扫描对象420上的多部分标识符至用户能够在社交网络服务应用内查看简档页面的整个过程可以在几秒钟内完成。

如图所示，多部分标识符既可用于供个人使用，又可用于提供个人互动的乐趣。本文描述的实施例可以用于许多用例。例如，两个陌生人可能会在酒吧相遇并相处融洽。他们可能希望在社交网络服务上成为朋友。他们每个人都可以在餐巾纸上草草写下一个简单的社交网络服务徽标并在该徽标之后写下他们在该社交网络服务上的用户名。例如，其中一个人可以草草写下“[f]jason17”。例如，第二天，另一个人可以用移动设备100上的相机扫描餐巾纸上草草写下的文本，并被呈现显示在移动设备100上的jason17的社交网络服务简档。在另一个示例中，一个人可能希望从没有销售点(PoS)终端的卖家购买物品。替代地，卖家可以在他们的结账柜台处张贴一个标志(sign)，该标志具有类似于关联于移动支付服务的徽标的图形内容和位于该图像内容之后的卖家的支付账号或用户名。结账时，希望购买物品的个人可以在移动设备100上扫描在卖家的结账柜台处显示的标志。根据上面的描述，数字目的地可以被确定为驻留在个人设备上的移动支付应用。动作子系统190e可以启动在移动设备100上的移动支付应用，并指示移动支付应用显示卖家的商店简档，在该商店简档中，这个人可以快速地输入交易金额并向卖家提交物品的移动支付。

在一些实施例中，可以向用户提供来自卖家的收据。为了有所区别，收据可以仅包括多部分标识符，而不包括通常在收据上可以找到的交易具体信息。例如，收据上的多部分标识符可以显示“[r]38195810”。在用移动设备100的相机扫描多部分标识符时，数字目的地可以被确定为可以查看交易的完整收据的web页面。动作子系统190e可以启动在移动设备100上的web浏览器应用，并且将web浏览器应用定向到向用户显示收据的web页面。例如，图形内容(“[r]”)可以与收据跟踪服务的域相关联，并且人类可识别的文本内容(38195810)可以与收据号相关联。例如，打开的web页面可以是http://trackmyreceipts.com/38195810。

图4C示出了根据一些实施例的传统销售点(PoS)终端，其上粘贴有多部分标识符。本文描述的实施例对于采用不接受信用卡支付的传统POS终端(例如图5所描绘的传统收银机系统460)的卖家来说也可以是有利的。卖家可以将其上显示有多部分标识符的标签470粘贴到收银机460上。多部分标识符可以写着“[pP]dessertlife”。结账时，希望在该卖家处购买商品的用户可以扫描标签470，并且还可以在图像帧中捕获收银机460。根据上面的描述，在扫描标签470并在图像帧中捕获收银机460时，数字目的地可以被确定为关联于通过徽标(例如，图形内容)“pP”识别的移动支付服务的移动支付应用。动作子系统190e可以启动在用户的移动设备100上的移动支付应用，并将移动支付应用定向到通过文本内容“dessertlife”识别的卖家的支付页面。此外，动作子系统190e可以在卖家的支付页面中预先填写$9.83的交易金额。这可以通过动作子系统190e识别在收银机460的显示器上显示的字符来实现。这样，$9.83的金额可以被预先填写在卖家的支付页面上，并且用户支付商品需要做的只是点击在移动支付应用内显示的支付确认按钮来将支付发送给卖家。图4D示出了在移动设备100的显示器的用户界面内显示的移动支付应用的示例。

图5示出了可以在其中实现一个或更多个实施例的计算系统的示例。如图5所示的计算机系统可以被结合为上述计算机化设备的一部分。例如，计算机系统500可以表示电视、计算设备、服务器、台式机(desktop)、工作站、汽车中的控制或交互系统、平板电脑、上网本或任何其他合适的计算系统中的一些组件。计算设备可以是具有图像捕获设备或输入感测单元(sensory unit)以及用户输出设备的任何计算设备。图像捕获设备或输入感测单元可以是相机设备。用户输出设备可以是显示单元。计算设备的示例包括但不限于视频游戏控制台、平板电脑、智能手机和任何其他手持设备。图5提供了计算机系统500的一个实施例的示意性图示，该计算机系统500可以执行如本文所述的各种其他实施例提供的方法，和/或可以用作主机系统、远程信息亭/终端、销售点设备、汽车中的电话或导航或多媒体接口、计算设备、机顶盒、台式计算机和/或计算机系统。图5仅意在提供各种组件的概括性图示，在适当的情况下，可以使用其中任何组件或所有组件。因此，图5宽泛地示出了可以如何以相对分离或相对更集成的方式实现各个系统元素。在一些实施例中，元素计算机系统500可以用于实现图1中的移动设备100的功能。

计算机系统500被示为包括可以经由总线502电耦合(或者在适当的情况下可以以其他方式通信)的硬件元素。硬件元素可以包括一个或更多个处理器504，其包括但不限于一个或更多个通用处理器和/或一个或更多个专用处理器(例如数字信号处理芯片、图形加速处理器等)；一个或更多个输入设备508，其可以包括但不限于一个或更多个相机、传感器、鼠标、键盘、被配置成检测超声或其他声音的麦克风等；以及一个或更多个输出设备510，其可以包括但不限于显示单元(例如在本发明的实施例中使用的设备)、打印机等。

在本发明的实施例的一些实现中，各种输入设备508和输出设备510可以嵌入到界面(例如显示设备、桌子、地板、墙壁和窗纱)中。此外，耦合到处理器的输入设备508和输出设备510可以形成多维跟踪系统。

计算机系统500还可以包括(和/或与之通信的)一个或更多个非暂时性存储设备506，非暂时性存储设备506可以包括但不限于本地和/或网络可访问的存储装置，和/或可以包括但不限于磁盘驱动器、驱动器阵列、光学存储设备、固态存储设备(例如随机存取存储器(“RAM”)和/或只读存储器(“ROM”))，非暂时性存储设备506可以是可编程的、闪存可更新的等。这样的存储设备可以被配置成实现任何适当的数据存储，包括但不限于各种文件系统、数据库结构等。

计算机系统500还可以包括通信子系统512，通信子系统512可以包括但不限于调制解调器、(无线或有线)网卡、红外通信设备、无线通信设备和/或芯片组(例如Bluetooth^TM设备、802.11设备、Wi-Fi设备、WiMax设备、蜂窝通信设施等)等。通信子系统512可以允许与网络、其他计算机系统和/或本文描述的任何其他设备交换数据。在许多实施例中，计算机系统500还将包括非暂时性工作存储器518，非暂时性工作存储器518可以包括如上所述的RAM或ROM设备。

计算机系统500还可以包括被示出为当前位于工作存储器518内的软件元素，该软件元素包括操作系统514、设备驱动器、可执行库和/或其他代码(例如一个或更多个应用程序516)，应用程序516可以包括由各种实施例提供的计算机程序，和/或可以被设计成实现由其他实施例提供的方法和/或对由其他实施例提供的系统进行配置，如本文所述。仅作为示例，关于上面讨论的方法所描述的一个或更多个过程可以被实现为可由计算机(和/或计算机内的处理器)执行的代码和/或指令；然后，在一个方面，这样的代码和/或指令可以用于配置和/或适配通用计算机(或其他设备)以根据所描述的方法执行一个或更多个操作。

一组这些指令和/或代码可以存储在计算机可读存储介质(例如上述的存储设备506)上。在一些情况下，存储介质可以结合在计算机系统(例如计算机系统500)内。在其他实施例中，存储介质可以与计算机系统分离(例如，诸如光盘的可移动介质)，和/或在安装包中提供，使得存储介质可以用于对其上存储有指令/代码的通用计算机进行编程、配置和/或适配。这些指令可以采取可由计算机系统500执行的可执行代码的形式，和/或可以采取源代码和/或可安装代码的形式，(例如，使用各种通用编译器、安装程序、压缩/解压缩实用程序等中的任何一种)在计算机系统500上进行编译和/或安装时，这些指令然后采取可执行代码的形式。

根据具体要求，可以进行实质性的变更。例如，还可以使用定制的硬件，和/或可以以硬件、软件(包括便携式软件，例如小程序(applet)等)或者两者来实现特定的元素。此外，可以采用到诸如网络输入/输出设备的其他计算设备的连接。在一些实施例中，计算机系统500的一个或更多个元素可以被省略或者可以与所示系统单独实现。例如，处理器504和/或其他元素可以与输入设备508单独实现。在一个实施例中，处理器被配置成从单独实现的一个或更多个相机接收图像。在一些实施例中，除了图5所示的那些元素之外的元素可以被包括在计算机系统500中。

一些实施例可以采用计算机系统(例如计算机系统500)来执行根据本公开的方法。例如，响应于处理器504执行工作存储器518中包含的一个或更多个指令的一个或更多个序列(其可以被并入操作系统514和/或其他代码，例如应用程序516)，计算机系统500可以执行所描述的方法的一些或全部过程。这些指令可以从另一种计算机可读介质(例如一个或更多个存储设备506)被读入工作存储器518。仅作为示例，工作存储器518中包含的指令的序列的执行可以导致处理器504执行本文描述的方法的一个或更多个过程。

本文使用的术语“机器可读介质”和“计算机可读介质”指的是参与提供使机器以特定方式操作的数据的任何介质。在使用计算机系统500实现的一些实施例中，各种计算机可读介质可以涉及向处理器504提供指令/代码以供执行，和/或可以用于存储和/或携带这样的指令/代码(例如，作为信号)。在许多实现中，计算机可读介质是物理和/或有形存储介质。这种介质可以采取许多形式，包括但不限于非易失性介质、易失性介质和传输介质。非易失性介质包括例如光盘和/或磁盘(例如存储设备506)。易失性介质包括但不限于动态存储器(例如工作存储器518)。传输介质包括但不限于同轴电缆、铜线和光纤(包括构成总线502的电线)以及通信子系统512的各种组件(和/或通信子系统512提供与其他设备的通信的介质)。因此，传输介质也可以采取波的形式(包括但不限于无线电波、声波和/或光波，例如在无线电波和红外数据通信期间产生的那些波)。

物理和/或有形计算机可读介质的常见形式包括例如软盘(floppy disk)、软磁盘(flexible disk)、硬盘、磁带或任何其他磁介质、CD-ROM、任何其他光学介质、穿孔卡、纸带、具有孔图案的任何其他物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其他存储芯片或盒式存储器、下文所述的载波、或计算机可以从中读取指令和/或代码的任何其他介质。

在将一个或更多个指令的一个或更多个序列传送到处理器504以供执行时，可以涉及各种形式的计算机可读介质。仅作为示例，指令最初可以被承载在远程计算机的磁盘和/或光盘上。远程计算机可以将指令加载到其动态存储器中，并将指令作为信号在传输介质上发送，以由计算机系统500接收和/或执行。根据本发明的各种实施例，可以是电磁信号、声信号、光信号等形式的这些信号都可以是可以在其上对指令进行编码的载波的示例。

通信子系统512(和/或其组件)通常接收信号，然后总线502可以将信号(和/或信号所携带的数据、指令等)传送到工作存储器518，处理器504从工作存储器518中检索并执行指令。由工作存储器518接收的指令可以可选地在由处理器504执行之前或之后存储在非暂时性存储设备506上。

上面讨论的方法、系统和设备是示例。各种实施例可以视情况省略、替换或添加各种过程或组件。例如，在替代配置中，所描述的方法可以以不同于所描述的顺序来被执行，和/或可以添加、省略和/或组合各个阶段。此外，关于某些实施例描述的特征可以在各种其他实施例中被组合。实施例的不同方面和元素可以以相似的方式被组合。此外，技术不断发展，且因此许多元素是示例，并不将本公开的范围限制于那些具体示例。

在描述中给出了具体细节，以提供对实施例的透彻理解。然而，可以在没有这些具体细节的情况下实施实施例。例如，为了避免模糊实施例，众所周知的电路、过程、算法、结构和技术被示出，而没有不必要的细节。本描述仅提供示例实施例，并不意图限制本发明的范围、适用性或配置。相反，实施例的前述描述将为本领域技术人员提供用于实现本发明的实施例的可行说明(enabling description)。在不脱离本发明的精神和范围的情况下，可以在元素的功能和布置中进行各种改变。

此外，一些实施例被描述为过程，过程被描绘为流程图或框图。尽管每一个都可以将操作描述为顺序过程，但是许多操作可以并行或并发地被执行。此外，操作的顺序可以被重新排列。过程可以具有图中未包括的附加步骤。此外，可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或其任意组合来实现方法的实施例。当以软件、固件、中间件或微代码实现时，执行相关联的任务的程序代码或代码段可以存储在诸如存储介质的计算机可读介质中。处理器可以执行相关联的任务。因此，在上面的描述中，被描述为由计算机系统执行的功能或方法可以由被配置为执行这些功能或方法的处理器(例如，处理器504)来执行。此外，这样的功能或方法可以由执行一个或更多个计算机可读介质上存储的指令的处理器来执行。

已经描述了若干实施例，可以使用各种修改、替代结构和等同物而不偏离本公开的精神。例如，上述元素可以仅仅是更大系统的组件，其中，其他规则可以优先于本发明的应用或者以其他方式修改本发明的应用。另外，在考虑上述元素之前、期间或之后，可以采取许多步骤。因此，上面的描述不限制本公开的范围。

已经描述了各种示例。这些和其他示例都在所附权利要求的范围内。

Claims (44)

1.一种方法，包括：

捕获对象的图像，所述对象上显示有多部分标识符，所述多部分标识符包括第一部分和第二部分，所述第一部分包括图形内容，并且所述第二部分包括人类可识别的文本内容；

基于捕获的图像，识别与所述图形内容相关联的域；

基于所述捕获的图像，识别所述域的与所述文本内容相关联的子部分；

基于所识别的域和所识别的子部分来识别数字目的地；和

基于所述数字目的地执行动作。

2.根据权利要求1所述的方法，其中，执行所述动作包括显示与所述数字目的地相关联的内容。

3.根据权利要求1所述的方法，其中，执行所述动作包括基于存储在所述数字目的地处的数据执行应用。

4.根据权利要求1所述的方法，其中，识别所述域的与所述文本内容相关联的子部分包括解码所述文本内容。

5.根据权利要求1所述的方法，其中，识别与所述图形内容相关联的域包括将所述图形内容作为输入提供给机器学习模型，其中，响应于所述输入，所述机器学习模型输出标识所述域的类别。

6.根据权利要求5所述的方法，其中，所述机器学习模型是卷积神经网络(CNN)。

7.根据权利要求1所述的方法，其中，所述对象包括海报、广告牌、标志、手写内容、数字内容或收据中的至少一种。

8.一种系统，包括：

处理器；和

耦合到所述处理器的非暂时性计算机可读介质，所述计算机可读介质包括代码，所述代码能够由所述处理器执行以用于实现一种方法，所述方法包括：

捕获对象的图像，所述对象上显示有多部分标识符，所述多部分标识符包括第一部分和第二部分，所述第一部分包括图形内容，并且所述第二部分包括人类可识别的文本内容；

基于捕获的图像，识别与所述图形内容相关联的域；

基于所述捕获的图像，识别所述域的与所述文本内容相关联的子部分；

基于所识别的域和所识别的子部分来识别数字目的地；和

基于所述数字目的地执行动作。

9.根据权利要求8所述的系统，其中，执行所述动作包括显示与所述数字目的地相关联的内容。

10.根据权利要求8所述的系统，其中，执行所述动作包括基于存储在所述数字目的地处的数据执行应用。

11.根据权利要求8所述的系统，其中，识别所述域的与所述文本内容相关联的子部分包括解码所述文本内容。

12.根据权利要求8所述的系统，其中，识别与所述图形内容相关联的域包括将所述图形内容作为输入提供给机器学习模型，其中，响应于所述输入，所述机器学习模型输出标识所述域的类别。

13.根据权利要求12所述的系统，其中，所述机器学习模型是卷积神经网络(CNN)。

14.根据权利要求8所述的系统，其中，所述对象包括海报、广告牌、标志、手写内容、数字内容或收据中的至少一种。

15.存储计算机可执行指令的一个或更多个非暂时性计算机可读介质，所述计算机可执行指令在被执行时使得一个或更多个计算设备执行操作，所述操作包括：

捕获对象的图像，所述对象上显示有多部分标识符，所述多部分标识符包括第一部分和第二部分，所述第一部分包括图形内容，并且所述第二部分包括人类可识别的文本内容；

基于捕获的图像，识别与所述图形内容相关联的域；

基于所述捕获的图像，识别所述域的与所述文本内容相关联的子部分；

基于所识别的域和所识别的子部分来识别数字目的地；和

基于所述数字目的地执行动作。

16.根据权利要求15所述的一个或更多个非暂时性计算机可读介质，其中，执行所述动作包括下列项中的至少一项：显示与所述数字目的地相关联的内容、或基于存储在所述数字目的地处的数据执行应用。

17.根据权利要求15所述的一个或更多个非暂时性计算机可读介质，其中，识别所述域的与所述文本内容相关联的子部分包括解码所述文本内容。

18.根据权利要求15所述的一个或更多个非暂时性计算机可读介质，其中，识别与所述图形内容相关联的域包括将所述图形内容作为输入提供给机器学习模型，其中，响应于所述输入，所述机器学习模型输出标识所述域的类别。

19.根据权利要求18所述的一个或更多个非暂时性计算机可读介质，其中，所述机器学习模型是卷积神经网络(CNN)。

20.根据权利要求15所述的一个或更多个非暂时性计算机可读介质，其中，所述对象包括海报、广告牌、标志、手写内容、数字内容或收据中的至少一种。

21.一种方法，包括：

捕获对象的图像，所述对象上显示有多部分标识符，所述多部分标识符包括第一部分和第二部分，所述第一部分包括图形内容，并且所述第二部分包括人类可识别的文本内容；

基于捕获的图像，识别与所述图形内容相关联的域；

基于所述捕获的图像，识别所述域的与所述文本内容相关联的子部分；

基于所识别的域和所识别的子部分来识别数字目的地；和

基于所述数字目的地执行动作。

22.根据权利要求21所述的方法，其中，所述文本内容完全或部分是非静态的；

可选地，其中，所述文本内容显示在显示器上；

可选地，其中，在捕获所述图像之前、期间和/或之后，所述文本内容改变。

23.根据权利要求21或22所述的方法，其中，执行所述动作包括显示与所述数字目的地相关联的内容。

24.根据权利要求21至23中任一项所述的方法，其中，执行所述动作包括基于存储在所述数字目的地处的数据执行应用。

25.根据权利要求21至24中任一项所述的方法，其中，执行所述动作包括基于从所述文本内容读取的数据来执行应用和执行对所述应用的输入。

26.根据权利要求21至25中任一项所述的方法，其中，识别所述域的与所述文本内容相关联的子部分包括解码所述文本内容。

27.根据权利要求21至26中任一项所述的方法，其中，识别与所述图形内容相关联的域包括将所述图形内容作为输入提供给机器学习模型，其中，响应于所述输入，所述机器学习模型输出标识所述域的类别；

可选地，其中，所述机器学习模型是卷积神经网络(CNN)。

28.根据权利要求21至27中任一项所述的方法，其中，所述对象包括海报、广告牌、标志、手写内容、数字内容或收据中的至少一种。

29.一种系统，包括：

处理器；和

耦合到所述处理器的非暂时性计算机可读介质，所述计算机可读介质包括代码，所述代码能够由所述处理器执行以用于实现一种方法，所述方法包括：

捕获对象的图像，所述对象上显示有多部分标识符，所述多部分标识符包括第一部分和第二部分，所述第一部分包括图形内容，并且所述第二部分包括人类可识别的文本内容；

基于捕获的图像，识别与所述图形内容相关联的域；

基于所述捕获的图像，识别所述域的与所述文本内容相关联的子部分；

基于所识别的域和所识别的子部分来识别数字目的地；和

基于所述数字目的地执行动作。

30.根据权利要求29所述的系统，其中，所述文本内容完全或部分是非静态的；

可选地，其中，所述文本内容显示在显示器上；

可选地，其中，在捕获所述图像之前、期间和/或之后，所述文本内容改变。

31.根据权利要求29或30所述的系统，其中，执行所述动作包括显示与所述数字目的地相关联的内容。

32.根据权利要求29至31中任一项所述的系统，其中，执行所述动作包括基于存储在所述数字目的地处的数据执行应用。

33.根据权利要求29至32中任一项所述的系统，其中，执行所述动作包括基于从所述文本内容读取的数据来执行应用和执行对所述应用的输入。

34.根据权利要求29至33中任一项所述的系统，其中，识别所述域的与所述文本内容相关联的子部分包括解码所述文本内容。

35.根据权利要求29至34中任一项所述的系统，其中，识别与所述图形内容相关联的域包括将所述图形内容作为输入提供给机器学习模型，其中，响应于所述输入，所述机器学习模型输出标识所述域的类别；

可选地，其中，所述机器学习模型是卷积神经网络(CNN)。

36.根据权利要求29至35中任一项所述的系统，其中，所述对象包括海报、广告牌、标志、手写内容、数字内容或收据中的至少一种。

37.一种方法，包括：

捕获对象的图像，所述对象上显示有多部分标识符，所述多部分标识符包括第一部分和第二部分，所述第一部分包括图形内容，并且所述第二部分包括人类可识别的文本内容；

基于捕获的图像，识别与所述图形内容相关联的域；

基于所述捕获的图像，识别所述域的与所述文本内容相关联的子部分；

基于所识别的域和所识别的子部分来识别数字目的地；和

基于所述数字目的地执行动作。

38.根据权利要求37所述的方法，其中，所述文本内容完全或部分是非静态的；

可选地，其中，所述文本内容显示在显示器上；

可选地，其中，在捕获所述图像之前、期间和/或之后，所述文本内容改变。

39.根据权利要求37或38所述的方法，其中，执行所述动作包括显示与所述数字目的地相关联的内容。

40.根据权利要求37至39中任一项所述的方法，其中，执行所述动作包括基于存储在所述数字目的地处的数据执行应用。

41.根据权利要求37至40中任一项所述的方法，其中，执行所述动作包括基于从所述文本内容读取的数据来执行应用和执行对所述应用的输入。

42.根据权利要求37至41中任一项所述的方法，其中，识别所述域的与所述文本内容相关联的子部分包括解码所述文本内容。

43.根据权利要求37至42中任一项所述的方法，其中，识别与所述图形内容相关联的域包括将所述图形内容作为输入提供给机器学习模型，其中，响应于所述输入，所述机器学习模型输出标识所述域的类别；

可选地，其中，所述机器学习模型是卷积神经网络(CNN)。

44.根据权利要求37至43中任一项所述的方法，其中，所述对象包括海报、广告牌、标志、手写内容、数字内容或收据中的至少一种。

Images