CN107077292A - 剪贴信息提供方法和装置 - Google Patents

Abstract

提供了一种电子设备的信息提供方法。所述信息提供方法包括：基于用户输入来确定选定区域；基于包括在选定区域中的一个或多个对象的类型来确定提取方法；根据确定的提取方法的从选定区域提取信息；以及基于所述信息执行特定功能。

Description

剪贴信息提供方法和装置

技术领域

本申请要求2014年8月29日在韩国知识产权局提交的并分配序列号10-2014-0114104的韩国专利申请的权益，所述专利申请的全部内容通过引用并入本文。

本公开涉及一种使用户能够从显示在电子设备的屏幕上的内容中选择项目或对象并使用所选择的项目或对象的技术。

背景技术

诸如智能电话机的现有电子设备可以支持从显示在电子设备上的内容中选择诸如文本的项目的功能。例如，当用户识别显示在电子设备的显示器上的文本的任意部分时，可以选择文本或包括文本的字符串。例如，当在电子设备处接收与文本的任意部分相关联的输入时，可以在电子设备处可视地识别文本的任意部分或包括文本的任意部分的字符串。此外，用户可以控制与所识别的文本部分或对象相关联的选择范围，或者用户可以选择适当的编辑菜单。

此外，现有电子设备可以支持选择诸如图像的项目的功能。例如，当用户识别显示在电子设备的显示器上的任意图像时，可以选择图像。

然而，在现有电子设备中选择文本的能力是有限的。例如，短消息服务(SMS)接口中的接收消息和当前输入消息不可以不被同时选择。例如，只有在SMS接口的输入字段中提供的文本才能被选择。此外，在选择文本之后，仅可以支持与编辑选项对应的操作(例如，剪切、复制、粘贴、删除等)。此外，嵌入在图像内的文本无法单独选择。

诸如剪贴功能(scrap function)的其他操作功能可以提供捕获、存储和/或管理显示在屏幕上的内容的一部分或全部。

以上信息仅作为背景信息呈现以帮助理解本公开。关于上述内容中的任何一个是否可用作关于本公开的现有技术，没有做出确定，也没有做出断言。

发明内容

技术问题

然而，虽然剪贴功能可以使得能够选择内容内所包括的图像和文本两者，但它不支持提取嵌入在图像的选定区域内的文本的功能。

解决方案

本公开的方面旨在解决至少上述问题和/或缺点，并且提供至少下述优点。因此，本公开的一个方面是提供一种技术，所述技术用于允许用户从电子设备的屏幕的整个区域中选择内容的一部分，识别包括在与选择内容的部分关联的区域中的文本和/或非文本项目(例如，图像、相机预览等)，并且提取和/或分析包括在选定区域中的任何类型的文本，以便提供分析结果和与其相关的各种操作。

根据本公开的一个方面，提供了一种电子设备(即，用于电子设备)的信息提供方法。信息提供方法包括：基于用户输入来确定显示在电子设备的显示器上的内容的选定区域，即，显示器的区域；基于包括在选定区域中的一个或多个对象的类型来确定提取方法；根据确定的提取方法的从选定区域提取信息；以及基于所述信息执行特定功能。

根据本公开的某些实施例，信息提供方法包括分析所提取的信息，并将分析结果显示给电子设备的显示器。

根据本公开的某些实施例，确定选定区域包括：将具有使用户输入的起始点与用户输入的终点连接的对角线的四边形区域确定为选定区域。

根据本公开的某些实施例，选定区域的确定包括：将由用户输入形成的闭合曲线内切，即包围的四边形区域确定为选定区域。

本公开的另一方面提供了一种电子设备，所述电子设备包括：显示器，其被配置为显示内容；区域确定模块，其被配置为确定由用户选择的区域；解析模块，其被配置为根据基于包括在选定区域中的一个多个对象的类型确定的提取方法从选定区域提取信息；以及控制模块，其被配置为基于所提取的信息执行特定功能。

本公开的另一方面提供了一种计算机程序，其包括当被执行时被布置为实现根据上述方面中的任一方面的方法和/或设备的指令。另一方面提供存储这种程序的机器可读存储器。

从以下结合附图公开本公开的各种实施方式的详细描述，本公开的其他方面，优点和显着特征对于本领域技术人员将变得显而易见。

从以下描述可以理解，在本公开的某些实施例中，与用户接口的图形设计有关的特征与实现技术效果的相互作用步骤或手段相结合。

某些实施例旨在实现在执行某些计算机或设备交互时降低用户的负担(例如，认知、操作、操作或操纵负担)的技术效果和/或旨在实现提供更高效的人机(用户-机)接口的技术效果的目的。

有益效果

根据本公开的各种实施例，可以使用根据显示在电子设备上的内容的类型的各种方法来提取信息。

此外，由于根据本公开的各种实施例的信息提供方法不影响当前运行的应用的操作，所以可以使用输出到显示器的信息，而不限于正在运行的应用的类型。

附图说明

在结合附图进行以下详述时，本公开的某些实施例的上述和其他方面、特征和优点将变得更为显而易见，在附图中：

图1示出了根据本公开的各种实施例的网络环境中的电子设备；

图2是示出了根据本公开的各种实施例的程序模块的框图；

图3是示出了根据本公开的各种实施例的程序模块的框图；

图4示出了根据本公开的各种实施例的用于确定选择区域的方法；

图5示出了根据本公开的各种实施例的对象的分层结构；

图6示出了根据本公开的各种实施例的将文本提取方法应用于选择区域的过程；

图7示出了根据本公开的各种实施例的将图像分析方法应用于选择区域的过程；

图8示出了根据本公开的各种实施例的从包括具有图像属性和文本属性的对象的网页的选定区域提取的结果；

图9示出了根据本公开的各种实施例的用于提供对选定区域的分析结果的方法；

图10示出了根据本公开的各种实施例的用于从多个选定区域获得分析结果的方法；

图11示出了根据本公开的各种实施例的用于提供分析结果的方法；

图12示出了根据本公开的各种实施例的用于以相机预览状态提供分析结果的方法；

图13示出了根据本公开的各种实施例的用户接口(UI)；

图14示出了根据本公开的各种实施例实时提供分析结果的实例；

图15示出了根据本公开的各种实施例的文本提取和分析过程；以及

图16是示出了根据本公开的各种实施例的电子设备的框图。

在整个附图中，相同参照数字将被理解成指代相同部分、组件和结构。

具体实施方式

提供关于参照附图的以下描述来帮助全面理解由权利要求书及其等同物限定的本公开的各种实施方式。它包括各种特定细节以帮助理解，但这些细节仅被视为示例性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文所描述的各种实施方式进行各种改变和修改。此外，为了清楚和简明起见，可以省略对公知功能和构造的描述。

在以下描述和权利要求书中使用的术语和词语不限于书面意义，而是仅由发明人使用以使得能够清楚且一致地理解本公开。因此，对于本领域技术人员应当显而易见的是，提供本公开的各种实施方式的以下描述仅用于说明目的，而不是为了限制由所附权利要求书及其等同物限定的本公开的目的。

应当理解，除非上下文另有明确规定，单数形式“一”、“一个”和“所述”包括复数指示物。因此，例如，对“一个部件表面”的引用包括对一个或多个这样的表面的引用。

本文使用的术语“具有”、“可以具有”、“包括”、“可以包括”或“包括”表示存在相应的特征(例如，数字、功能、操作或元件)，并且不排除存在附加功能。

术语“A或B”、“A和/或B中的至少一个”或“A和/或B中的一个或多个”可以包括一起列出的所有可能的项目组合。例如，术语“A或B”、“A和B中的至少一个”或“A或B中的至少一个”可以指示以下所有情况：(1)包括至少一个A，(2)包括至少一个B，以及(3)包括至少一个A和至少一个B。

本文中使用的术语“第一”、“第二”等可以修改各种元件，而不管顺序和/或优先级，但不限制元件。此类术语可用来将一个元件与另一元件进行区分。例如，“第一用户设备”和“第二用户设备”可以指示不同的用户设备，而不管顺序或优先级。例如，在不脱离本公开的范围的情况下，第一元件可被称为第二元件，反之亦然。

结合本公开的特定方面、实施例或实例描述的特征、整体、特性、化合物、化学部分或基团应理解为可应用于本文所述的任何其他方面、实施例或实例，除非与其不相容。

将理解，当某个元件(例如，第一元件)被称为“与另一元件(例如，第二元件)”操作地或通信地耦合/连接“或”连接到“另一元件(例如，第二元件)时，所述某个元件可以是直接地或通过另一元件(例如，第三元件)耦合到另一元件。然而，当某个元件(例如，第一元件)被称为“直接耦合”或“直接连接”到另一元件(例如，第二元件)时，在所述元件与另一元件之间可以不存在中间元件(例如，第三元件)。

术语“配置(或设置)”可以与以下术语互换使用，例如“适合”、“具有能力”、“设计为”、“适于”、“制成”或“能够”。术语“配置(或设置)”可能不一定具有“专门设计为”的含义。在某些情况下，术语“被配置为…的设备”可以指示设备“可以与其他设备或部件一起执行”。例如，术语“被配置(或设置)为执行A、B和C的处理器”可以表示用于执行相应操作的专用处理器(例如，嵌入式处理器)，或用于执行存储在存储器设备中的至少一个软件程序以执行相应的操作的通用处理器(例如，中央处理单元(CPU)或应用程序处理器(AP))。

本文所使用的术语不是为了限定本公开，而是用于描述具体的各种实施例。本文所使用的术语，包括技术或科学术语，具有与本领域技术人员所理解的相同的含义。词典中定义的常用术语可被解释为具有与相关领域中定义的上下文含义相同或类似的含义，并且不应以理想化或过度正式意义来解释，除非另有明确定义。根据情况，即使本文定义的术语也不应被解释为排除本公开的各种实施例。

根据本公开的各种实施例的电子设备可以包括以下各项中的至少一者：智能电话机、平板个人计算机(PC)、移动电话机、视频电话机、电子书阅读器、台式PC、膝上型PC、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、运动图像专家组(MPEG-1或MPEG-2)音频层3(MP3)播放器、移动医疗设备、相机或可穿戴设备(例如，智能眼镜、头戴式设备(HMD)、电子服装、电子手链、电子项链、电子配件、电子纹身、智能镜或智能手表)。

在本公开的各种实施例中，电子设备可以是智能家用电器。智能家用电器可以包括以下各项中的至少一者：例如电视机(TV)、数字通用盘(DVD)播放器、音频、冰箱、空调、清洁器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、电视盒(例如，三星HOMESYNC、苹果TV或谷歌TV)、游戏控制台(例如，XBOX或PLAYSTATION)、电子词典、电子钥匙、摄像机或电子相框。

在本公开的各种实施例中，电子设备可以包括以下各项中的至少一者：各种医疗设备(例如，各种便携式医疗测量设备(例如，血糖测量设备、心率测量设备、血压测量设备，体温测量设备等)、磁共振血管造影(MRA)、磁共振成像(MRI)、计算机断层摄影(CT)、扫描仪、超声波设备等)、导航设备、全球定位系统(GPS)接收机、事件数据记录器(EDR)、飞行数据记录器(FDR)、车辆信息娱乐设备、用于船舶的电子设备(例如，导航系统、旋转罗盘等)、航空电子设备、安全设备、汽车的头单元、工业或家用机器人、自动取款机(ATM)、诸如商店或零售商的销售点(POS)设备或物联网设备(例如，灯泡、各种传感器、电气或燃气表、喷水灭火器、火灾报警器、恒温器、路灯、烤面包机、运动器材、热水箱、加热器、锅炉等)。

根据本公开的各种实施例，电子设备可以包括以下各项中的至少一者：家具或建筑物/结构的一部分、电子板、电子签名接收设备、投影仪或测量仪器(例如，水仪表、电表、燃气表、波表等)。在本公开的各种实施例中，电子设备可以是上述设备的一个或多个组合。根据本公开的一些各种实施例的电子设备可以是灵活的设备。根据本公开的实施例的电子设备不限于上述设备，并且可以包括具有技术发展的新型电子设备。

在下文中，将参照附图描述根据本公开的各种实施例的电子设备。本文所使用的术语“用户”可以指使用电子设备的人或可以指使用电子设备的设备(例如，人造电子设备)。

图1示出了根据本公开的各种实施例的网络环境中的电子设备。

将参照图1描述根据本公开的各种实施例的网络环境100中的电子设备101。

参照图1，电子设备101可包括总线110、处理器120、存储器130、输入/输出接口150、显示器160和通信接口170。在本公开的各种实施例中，可以省略上述元件中的至少一个，或者可以将另一元件添加到电子设备101。

总线110可包括用于将上述元件110至170彼此连接以及在上述元件之间传送通信(例如，控制消息和/或数据)的电路。

处理器120可包括CPU、AP或通信处理器(CP)中的至少一个。处理器120可执行数据处理、或用于对电子设备101的至少一个其他元件进行通信和/或控制的操作。

处理器120可包括用于执行各种功能的模块。例如，处理器120可包括用于控制电子设备101的整体操作并且执行特定功能的控制模块。此外，在示例性实施例中，处理器120可包括用于基于显示器160处接收的输入来确定选择区域的区域确定模块。稍后将参照图4描述根据输入确定区域的各种实例。

此外，处理器120可包括用于从选择区域提取信息并且分析信息的解析模块(例如，Hermes解析引擎)。解析模块可以被解释为分析模块或提取模块。处理器120还可包括作为解析模块的从属或并行的光学字符识别(OCR)模块。将参照图6和图7描述解析模块的操作。

存储器设备130可包括易失性存储器和/或非易失性存储器。存储器130可存储与电子设备101的至少一个其他元件相关的指令或数据。根据本公开的实施例，存储器130可以存储软件和/或程序140。程序140可包括例如内核141、中间件143、应用程序编程接口(API)145和/或应用程序(或“应用”)147。内核141、中间件143或API 145中的至少一部分可以被称为操作系统(OS)。尽管未示出，缓冲存储器可以被包括在存储器130中。

内核141可以控制或管理用于执行其他程序(例如，中间件143、API 145或应用程序147)的操作或功能的系统资源(例如，总线110、处理器120、存储器130等)。此外，内核141可以提供接口，其用于允许中间件143、API 145或应用程序147访问电子设备101的单个元件以便控制或管理系统资源。

中间件143可以用作API 145或应用程序147与内核141之间的中介，以使得API145或应用程序147与内核141通信和交换数据。此外，通过使用例如将使用电子设备101的系统资源(例如，总线110、处理器120、存储器130等)的优先级分配给应用程序147的至少一个应用程序的方法，中间件143可以相对于从应用程序147接收的操作请求执行控制操作(例如，调度或负载平衡)。

API 145是用于允许应用程序147控制由内核141或中间件143提供的功能的接口，所述API 145可包括用于文件控制、窗口控制、图像处理、字符控制等的至少一个接口或功能(例如，指令)。

输入/输出接口150可以用来将从用户或另一外部设备输入的指令或数据传送到电子设备101的其他元件。此外，输入/输出接口150可以向用户或另一外部设备输出从电子设备101的其他元件接收的指令或数据。

例如，显示器160可包括：液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、微机电系统(MEMS)显示器和电子纸显示器。显示器160可以向用户显示各种内容(例如，文本、图像、视频、图标、符号等)。显示器160可包括触摸屏，并且可以从电子笔或用户身体的一部分接收触摸、手势、接近度或悬停输入。

通信接口170可以提供电子设备101与外部电子设备(第一外部电子设备102、第二外部电子设备104或服务器106)之间的通信。例如，通信接口170可以被配置来连接到网络162以便通过网络162建立通信。在示例性实施例中，电子设备101可以通过网络162与外部电子设备(例如，第二外部电子设备104或服务器106)通信。通信接口170还可以被配置来使用短途通信164建立无线通信。短途通信164可包括以下中的至少一个：Wi-Fi、蓝牙、近场通信(NFC)和全球导航卫星系统(GNSS)。例如，GNSS可包括以下中的至少一个：GPS、全球导航卫星系统(GLONASS)、北斗导航卫星系统(北斗)和伽利略(欧洲全球卫星导航系统)。在下文中，在本公开中，“GPS”可以与“GNSS”互换地使用。

网络162可以是有线或无线网络。例如，网络162可以支持蜂窝通信协议中的至少一个，诸如长期演进(LTE)、LTE高级(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动通信系统(UMTS)、无线宽带(WiBro)、全球移动通信系统(GSM)等，以用于无线通信。有线通信技术可包括以下中的至少一个：通用串行总线(USB)、高清晰度多媒体接口(HDMI)、推荐标准232(RS-232)、普通老式电话服务(POTS)等。网络162可包括以下中的至少一个：例如计算机网络(例如，局域网(LAN)或广域网(WAN))的电信网络、互联网、电话网络等。

第一外部电子设备102和第二外部电子设备104可以是与电子设备101的类型相同或不同的类型。根据本公开的实施例，服务器设备106可包括一个或多个服务器的组。根据本公开的各种实施例，可以在一个或多个其他电子设备(例如，第一外部电子设备102、或第二外部电子设备104、或服务器106)中执行在电子设备101中执行的部分或全部的操作。根据本公开的实施例，在电子设备101应自动或响应于请求执行特定功能或服务的情况下，电子设备101可以代替或除了为自身执行功能或服务，从另一设备(例如，第一外部电子设备102、或第二外部电子设备104或服务器106)请求与功能或服务相关的功能的至少一部分。另一电子设备(例如，第一外部电子设备102、或第二外部电子设备104、或服务器106)可以执行所请求的功能或附加功能，并且可以将执行的结果传送到电子设备101。电子设备101可以使用或附加地处理所接收的结果以便提供所请求的功能或服务。为此，例如，可以使用云计算技术、分布式计算技术或客户端-服务器计算技术。

电子设备101还可包括图1中未示出的各种元件，诸如摄影模块(例如，相机)。稍后将参照图16描述可以附加地添加到电子设备101的各种元件的实例。

图2是根据本公开的各种实施例的程序模块200的框图。

参照图2，根据本公开的实施例，程序模块200(例如，程序140)可包括用于控制与电子设备(例如，电子设备101)相关的资源的OS、和/或在OS上运行的各种应用程序(例如，应用程序147)。OS可以是例如ANDROID、IOS、WINDOWS、SYMBIAN、TIZEN、BADA等。

程序模块200可包括内核220、中间件230、API 260和/或应用程序270。程序模块200的至少一部分可以预先加载到电子设备(例如，电子设备101、102、104)上、或者可以从服务器(例如，服务器106)下载。

例如，内核220(例如，图1的内核141)可包括系统资源管理器221和/或设备驱动器223。系统资源管理器221可以执行系统资源的控制、分配和/或检索。根据本公开的实施例，系统资源管理器221可包括进程管理单元、存储器管理单元、文件系统管理单元等。设备驱动器223可包括：例如显示器驱动器、相机驱动器、蓝牙(BT)驱动器、共享存储器驱动器、USB驱动器、小键盘驱动器、Wi-Fi驱动器、音频驱动器、或进程间通信(IPC)驱动器。

例如，中间件230可以提供应用程序270共同需要的功能，或可以通过API 260向应用程序270提供各种功能，以便允许应用程序270有效地使用电子设备内的有限系统资源。根据本公开的实施例，中间件230(例如，中间件143)可包括以下中的至少一个：运行时间库235、应用程序管理器241、窗口管理器242、多媒体管理器243、资源管理器244、电源管理器245、数据库(DB)管理器246、数据包管理器247、连接性管理器248、通知管理器249、位置管理器250、图形管理器251或安全管理器252。

运行时间库235可包括例如库模块，在应用程序270运行时，编译器使用所述库模块通过编程语言来添加新功能。运行时间库235可以执行用于输入/输出管理、存储器管理或算术功能的功能。

应用程序管理器241可以管理例如至少一个应用程序270的生命周期。窗口管理器242可以管理在屏幕中使用的图形用户接口(GUI)资源。多媒体管理器243可以识别播放各种媒体文件所需的格式，并且可以使用与格式匹配的编解码器对媒体文件进行编码或解码。资源管理器244可以管理资源，诸如至少一个应用程序270中的源代码、存储器或存储空间。

电源管理器245例如可以与基本输入/输出系统(BIOS)一起操作以便管理电池或电力，并且可以提供操作电子设备所需的电力信息。DB管理器246可以生成、搜索和/或修改将在至少一个应用程序270中使用的DB。数据包管理器247可以管理以数据包文件格式分布的应用程序的安装或更新。

连接性管理器248可以管理Wi-Fi、BT等的无线连接。通知管理器249可能以不干扰用户的方式来显示或通知诸如消息到达、约会和接近警报的事件。位置管理器250可以管理电子设备的位置信息。图形管理器251可以管理将提供给与其相关的用户或用户接口的图形效果。安全管理器252可以提供系统安全性或用户验证所需的各种安全功能。根据本公开的实施例，在电子设备(例如，电子设备101)包括电话功能的情况下，中间件230还可包括用于管理电子设备的语音或视频呼叫功能的电话管理器。

中间件230可包括用于形成上述元件的各种功能的组合的中间件模块。中间件230可以提供专用于每种类型的OS以便提供差别化功能的模块。此外，中间件230可以删除现有元件的一部分或者可以动态地添加新元件。例如，中间件230可包括视图管理器。视图管理器可以管理在电子设备屏幕上显示的对象。例如，视图管理器可以管理和获得在屏幕上显示的对象的坐标信息。

可以根据OS以不同的配置提供API 260(例如，API 145)，其例如是一组API编程功能。例如，在ANDROID或IOS的情况下，可以为每个平台提供一个API组，并且在TIZEN的情况下，可以为每个平台提供至少两个API组。

例如，应用程序270(例如，应用程序147)可包括用于提供功能的至少一个应用程序，诸如主页271、拨号器272、短消息系统(SMS)/多媒体消息系统(MMS)273、即时消息(IM)274、浏览器275、相机276、报警器277、联系人278、语音拨号279、电子邮件280、日历281、媒体播放器282、相册283、时钟284。应用程序270还可包括图2中未示出的其他应用程序，诸如医疗保健应用程序(例如，测量运动量或血糖)、或环境信息提供应用程序(例如，提供气压、湿度或温度信息)。

根据本公开的实施例，应用程序270可包括一种应用程序(在下文中称为“信息交换应用程序”)，其用于支持在电子设备(例如，电子设备101)与外部电子设备(例如，第一外部电子设备102或第二外部电子设备104)之间的信息交换。信息交换应用程序可包括例如用于将特定信息中继到外部电子设备的通知中继应用程序、或用于管理外部电子设备的设备管理应用程序。

例如，通知中继应用程序可以具有一种功能，其用于将电子设备的另一应用程序(例如，SMS/MMS应用程序、电子邮件应用程序、医疗保健应用程序、环境信息应用程序等)中生成的通知信息中继到外部电子设备(例如，电子设备102或104)。此外，通知中继应用程序可以从外部电子设备接收通知信息，并且可以向用户提供所接收的通知信息。例如，设备管理应用程序可以管理(例如，安装、删除或更新)与电子设备通信的外部电子设备(例如，电子设备104)的至少一个功能(例如，外部电子设备本身(或一些元件)的打开/关闭、或显示器的亮度(或分辨率)调整)、在外部电子设备中操作的应用程序、或从外部电子设备提供的服务(例如，呼叫服务或消息服务)。

根据本公开的实施例，应用程序270可以根据外部电子设备(例如，电子设备102或104)的属性(例如，电子设备的类型是移动医疗设备)，包括指定的应用程序(例如，医疗保健应用程序)。根据本公开的实施例，应用程序270可包括从外部电子设备(例如，服务器106、或电子设备102或104)接收的应用程序。根据本公开的实施例，应用程序270可包括预加载的应用程序、或可从服务器下载的第三方应用程序。所示的程序模块200中的元件的名称可以随着OS的类型而变化。

根据本公开的各种实施例，程序模块200的至少一部分可以用软件、固件、硬件或其组合来实现。例如，程序模块200的至少一部分可由处理器(例如，AP 120)实现(例如，执行)。例如，程序模块200的至少一部分可包括模块、程序、例程、指令集、和/或用于执行至少一个功能的进程。

图3示出了根据本公开的各种实施例的从选择区域提取信息并且提供信息的方法。

参照图3，在操作310中，电子设备(例如，电子设备101)可以基于用户输入来确定选择区域。例如，电子设备可以基于用户使用输入设备在电子设备的显示器(例如，显示器160)处提供的输入来确定某个选择区域，所述输入设备诸如用于产生触摸输入的手指、电子笔、触笔(例如，S笔)等。诸如电子笔或触笔的笔型输入设备在以下可以被称为“笔”。操作310可以由电子设备的区域确定模块(例如，剪贴簿)执行。例如，在用于监测笔的手势的服务(例如，在ANDROID OS上操作的服务)中，区域事件可以被传送到对应于用户选定区域的窗口。此事件可以被传送到视图，以使得可以获得对应于选定区域的文本或图像。将参照图4描述与此操作相关的具体实例。此外，将参照图5描述视图的结构。

在操作310中，用户输入可以选择电子设备的显示器的一个或多个区域。例如，在将显示器分成内容区域和文本区域的情况下，用户可以一次选择这两个区域。此外，即使将显示器分成多窗口、浮动窗口等，也可以选择包括不同属性窗口的部分的区域。在本公开的各种实施例中，在用户使用(电子)笔执行选择的情况下，电子设备可以自动切换到区域选择状态(例如，选择模式)。可替代地，电子设备可以通过诸如浮窗命令(air command)等的笔操作来切换到区域选择状态。用户可以使用笔来轻松选择当前显示的内容。

在本公开的各种实施例中，可以通过触摸输入来执行用户输入。例如，用户可以使用菜单按钮、切换按钮等将电子设备切换成区域选择状态。当电子设备切换成区域选择状态时，通过用户触摸输入的操作(诸如屏幕放大、缩小、和/或应用程序/链接的执行)可能受到限制，并且用户的触摸输入可被视为用于确定选择区域的输入。在本公开的各种实施例中，在电子设备将两个显示器功能划分的情况下(例如，扁平主显示器、以及从主显示器的一侧延伸的弯曲子显示器)，当从一个显示器(例如，子显示器)选择特定图标时，可以将另一显示器(例如，主显示器)切换成区域选择状态。

在本公开的各种实施例中，当用户输入完成时，电子设备可以释放区域选择状态。例如，当电子设备进入区域选择状态之后完成用户的触摸输入时，电子设备可以释放区域选择状态，并且响应于在区域选择状态的释放之后接收的用户输入，执行诸如文本选择、放大、缩小等的正常操作。

在操作320中，电子设备可以基于包括在选择区域中的对象的类型来确定提取方法。提取方法可包括例如文本提取方法和/或图像分析(提取)方法。在本公开的各种实施例中，在选择区域中包括文本类型对象的情况下，电子设备可以使用文本提取方法从对象提取文本。在这种情况下，电子设备可以忽略包括在选择区域中的非文本类型对象。然而，在本公开的各种实施例中，在选择区域中包括非文本型对象的情况下，电子设备可以同时使用文本提取方法和图像分析方法。在本公开的各种实施例中，可以配置电子设备，以使得当确定选择区域时，自动使用文本提取方法和图像分析方法两者。

在操作330中，电子设备可以根据操作320中确定的提取方法从选择区域提取文本，并且可以分析所提取的文本。例如，电子设备可以使用文本提取方法来提取每个对象的文本信息。此外，电子设备可以使用图像分析方法从包括在选择区域中的图像提取文本信息。

在一起使用文本提取方法和图像分析方法的情况下，可以使用OCR技术来识别包括在图像中的文本。在这种情况下，将使用各方法提取的相应结果彼此进行比较，并且排除与文本提取方法的提取结果重叠的图像分析方法的分析结果以便避免冗余。

在本公开的各种实施例中，当提取文本信息时，电子设备可以使用所提取的文本信息来执行分析。电子设备可以使用各种分析方法。例如，电子设备可以使用文本令牌(例如，Hermes服务令牌)来确定所提取的文本信息是否是有意义的信息。此外，电子设备可以使用本地位于电子设备中的或位于远程服务器中的DB，对所提取的文本信息进行分析。

在本公开的各种实施例中，电子设备可以将使用文本信息作为关键字而执行的搜索的结果添加到分析结果。例如，在与地点相关的关键字的情况下，可以将包括地点的地理信息(例如，地图)添加到分析结果。例如，在与店名相关的关键字的情况下，可以将对应商店或特许经营者的电话号码添加到分析结果中。例如，在与天气或股票相关的关键字的情况下，可以将天气预报或当前股价添加到分析结果。

在操作340中，电子设备可以显示分析结果。电子设备可以在电子设备的显示器的一个部分(例如，右上端等)上显示指示分析结果的图标。在本公开的各种实施例中，可以提供多个图标，并且多个图标中的一个或多个可以是可移动的浮动图标。例如，当生成一个浮动图标时，用户可以选择预定按钮(例如，图9的图标941上的“+”按钮)，或可以使用诸如电子笔的输入设备通过连续的区域选择操作生成指示分析结果的附加图标。在这种情况下，当用户选择预定按钮(“+”按钮)时，可以将电子设备切换到上述区域选择状态。

在本公开的各种实施例中，当选择图标时，包括在分析结果中的信息可以在显示器上弹出。例如，响应于图标的选择，可以在显示器的下部上显示分析结果(例如，地点、电话号码、日程表等)。然而，这只是一个实例。对于另一实例，当选择图标时，分析结果可以显示在显示器的右侧部分(例如，显示器区域的右侧三分之一)上。例如，当选择图标时，电子设备可以在显示器的预定区域(例如，下端区域)上显示图13的分析结果1331至1334，或在显示器的任意区域上显示图14的分析结果1413和1415。

在本公开的各种实施例中，分析结果可包括分析信息和与所述信息相关的应用程序或执行菜单。例如，在提取的文本表示地点或地名的情况下，电子设备可以提供包括地图应用程序的分析结果。例如，在提取的文本为“Starbucks”的情况下，可以基于通过使用“Starbucks”作为关键字执行的搜索获得的信息来显示多个图标。例如，多个图标可包括示出位于用户设备附近的STARBUCKS商店的地图和地图应用程序、STARBUCKS商店的电话号码和SMS/电话应用程序、STARBUCKS官方应用程序和执行或安装菜单、以及STARBUCKS的主页地址(例如，www.istarbucks.co.kr)和浏览器应用程序。将参照图13或图14描述与此操作相关的实例。

通过以上参照图3描述的处理，可以基于从选择区域提取的文本向用户提供信息。此外，还可以向用户提供可推荐的操作或操作卡，以使得可以改善用户的信息使用的效率。

以下参照图4至图15详细描述以上参照图3描述的操作和各种实例。

图4示出了根据本公开的各种实施例的用于确定选择区域的方法。

参照图4，来自用户的选择输入可以是可以被识别为各种曲线或直线的触摸拖曳型输入。例如，在屏幕410中，用户可以使用触笔411来提供将一个点连接到另一点的线性输入412。基于对应于输入的两个点(例如，起点和终点)，电子设备可以确定选择区域413。如图4所示的，选择区域413可以是预定形状，诸如具有连接两个点的对角线的四边形。然而，选择区域可以具有任何形状，诸如具有连接两点的直径线的圆等。虽然图4所示的选择输入是线性线，但在本公开的各种实施例中，选择输入可以是将一个点连接到另一点的自由曲线，其中电子设备可以识别曲线的起点和终点，并且可以确定连接两个点的图形作为选择区域。

在本公开的各种实施例中，电子设备可以确定与选择输入相关联的封闭曲线中内切的或包围的区域。例如，在屏幕420中，电子设备可以将选择区域确定为由用户输入形成的闭合曲线422中内切的四边形423。在本公开的各种实施例中，在可以在闭合曲线422中内切的四边形中，四边形423可以具有最大面积。在本公开的各种实施例中，在可以在闭合曲线422中内切的四边形中，四边形423的宽度与高度之间的比率可以最接近于1。然而，在本公开的各种实施例中，电子设备可以确定与外切于输入闭合曲线的四边形不同的形状作为选择区域，或可以将输入闭合曲线本身确定为选择区域。

在示例性实施例中，参照图4，可以使用诸如触笔或笔的选择输入设备431来突出在屏幕430上显示的内容的一部分。例如，选择输入设备431可以具有在文本第一行433上的开始输入、以及文本另一行434上的结束输入。选择输入设备431可以根据开始输入和结束输入形成垂直线，其中与从开始输入到结束输入的垂直线内的每行相关联的文本可以被突出，并且从而被选择输入设备431选择。

在本公开的各种实施例中，即使用户输入不形成闭合曲线，电子设备也可以基于用户输入确定选择区域。例如，即使因为用户急忙或粗略地输入了用户输入，用户输入从一个点开始并且在另一点处结束使得选择区域不形成闭合曲线，电子设备可以形成将一个点连接到另一点的最短虚拟线，并且可以确定将在用户所限定的闭合曲线区域中内切或外切于所述闭合曲线区域的选择区域，其中所述虚拟线是所述选择区域。根据这种选择区域确定方法，即使用户提供不是对区域选择特别准确的输入，也能够确定选择区域，并且用户可以不经历可能由向用户通知对区域的不准确选择的消息或再次提供输入的请求而引起的不便。

在本公开的各种实施例中，基于从电子设备显示器上的特定点向左或向右移动预定距离并且然后向上或向下滚动的用户输入，可以确定选择区域。在这种情况下，可以将未输出到初始显示的屏幕但通过滚动显示的区域添加到用户选定区域。

在本公开的各种实施例中，电子设备可以选择性地或组合地应用一个或多个上述选择区域确定方法。例如，基于电子笔或基于触摸的用户输入(在区域选择状态下的输入)，电子设备可以确定上述选择区域确定方法中的哪一个(例如，使用起点和终点的方法1、使用用户输入中内切的区域的方法2、以及使用滚动区域的方法3)对应于用户输入。例如，当确定用户输入具有对应于任意对角线的方向性时，电子设备可以应用方法1；或当确定用户输入形成内切区域或足以形成没有特定方向性的内切区域时，可以应用方法2；或当确定用户输入水平移动一定距离然后垂直移动时，可以应用方法3。

当确定选择区域时，电子设备可以确定用于提取与选择区域相关联的信息的提取方法(例如，操作320)。电子设备可以根据包括在选择区域中的对象的类型来确定不同的提取方法。下面参照图5描述用于确定包括在选择区域中的对象的类型的方法。

图5示出了根据本公开的各种实施例的对象的分层结构。

图5所示的实施例可以对应于ANDROID OS的视图。然而，这只是一个实例。在诸如WINDOWS、IOS或TIZEN的各种OS中使用用于配置屏幕的分层对象，并且本文所述的分层结构可以应用于不同的OS。

参照图5，最上面的对象501可以包括视图503。视图503可以包括对应于下层的各种对象。例如，视图503可以包括模拟时钟510、文本框520、图像框530、表面框(SurfaceView)540和进度条550。此外，每个对象可以包括其下层对象。例如，文本框520可以包括对应于编辑文本521、按钮523或数字时钟525的对象。此类对象可以形成直接显示在电子设备的屏幕上的用户接口。

在上述对象中，文本框520涉及在电子设备的显示器上显示文本。图像框530可能会展示图像。编辑文本521对应于能够接收文本的对象。在本公开的各种实施例中，文本框520及其下层对象可以对应于具有文本类型的对象。与文本框不对应的其他对象及其下层对象可以对应于不具有文本类型(具有非文本类型)的对象。例如，图像框530及其下层对象可以对应于具有图像类型的对象。

在本公开的各种实施例中，从一个对象导出的对象可以继承上层对象的属性。对象的属性可以包括例如对象的标识符(ID)、对象的宽度/长度、对象的背景颜色、内部/外部填充/边距等。

尽管图5中未示出，视图组可能包括在视图503中。视图组还可以包括各种下层对象。例如，视图组可以包括诸如帧布局、相对布局、线性布局等的对象。此类对象可以形成一种布局，在所述布局上显示包括在视图503中的上述对象。

在本公开的各种实施例中，电子设备可以使用上述对象来配置显示在电子设备的屏幕上的布局。这些对象可以具有分层结构或树型结构。当屏幕的特定区域被确定为选择区域时，电子设备可以确定对应于选择区域的对象。在本公开的各种实施例中，对应于选择区域的对象可以表示完全包括在选择区域中的对象或其中至少一部分被包括在选择区域中的对象。在本公开的各种实施例中，对应于选择区域的对象可以表示这样的对象，所述对象的至少一定比例的区域包括在选择区域中。

以下参照图6和图7描述根据包括在选择区域中的对象的类型应用不同提取方法的实例。

图6示出了根据本公开的各种实施例的将文本提取方法应用于选择区域的过程。

参照图6，在操作610中，电子设备可以确定与选定区域相关联的对象的属性。例如，电子设备可以确定位于选择区域内的至少一个对象的类型。操作610可以由例如解析模块来执行。

在操作620中，电子设备可以确定至少一个对象是否包括文本(例如，文本框520或其下层对象)。例如，在至少一个对象包括文本的情况下，电子设备可以执行操作630。在本公开的各种实施例中，在对象不包括文本或至少一个对象的一部分包括文本和一个或多个非文本对象两者，或者至少一个对象包括一个或多个图像类型对象的情况下，可以对操作620中识别的文本类型对象执行操作630。此外，可以对一个或多个图像类型对象执行操作670的图像分析方法。在本公开的各种实施例中，在操作630中，电子设备可以将操作670的图像分析方法应用于整个选择区域。此外，可以根据选定对象的类型在操作670中处理所有数据。参照图6描述文本提取方法(操作630至660)，并且参照图7描述图像分析方法。

在操作630中，电子设备可以通过分析当前展示的屏幕的窗口的树结构(或分层结构)来确定包括在树结构中的所有对象的类型。例如，电子设备可以确定任意对象是否具有文本类型(例如，文本框520)、图像类型(例如，图像框530)或布局类型(例如，线性布局)。

在操作640中，电子设备可以确定每个对象是否具有可收集信息。在文本提取方法中，电子设备可以将文本类型对象确定为具有可收集信息的对象。例如，诸如表示时钟的模拟时钟510的对象可能不被确定为具有可收集信息的对象。此外，形成布局的对象可以被确定为不具有可收集信息的对象。在本公开的各种实施例中，诸如按钮523或复选框的对象可被确定为不具有可收集信息的对象，即使这些对象是文本类型对象。包括可收集信息的对象的类型可以是预定的。

在操作650中，电子设备可以确定每个对象的属性信息。可以对在操作640中被确定为具有可收集信息的对象执行所述操作。在本公开的各种实施例中，每个对象可以继承上层对象的属性，并且电子设备(例如，解析模块)可以访问对象的所有属性(不仅包括对象的文本信息，而且包括颜色、字体、坐标、链接等)，以便获得关于属性的信息。

在操作660中，电子设备可以从对应于选择区域(例如，在操作310中确定的选择区域)的至少一个对象中提取文本信息。在这种情况下，可以一起提取关于在操作650中获得的文本颜色、字体、链接的信息。

图7示出了根据本公开的各种实施例的将图像分析方法应用于选择区域的过程。

在选择区域内的至少一个对象的一部分或全部在图6的操作620中不包括文本的情况下，可以应用图7的过程。此外，如上所述，可以执行图7的图像分析方法和权利要求6的文本提取方法两者。然而，在执行这两种方法的情况下，可以执行用于去除重叠提取结果的操作。在本公开的各种实施例中，在应用图像分析方法之前的各种操作可以被解释为操作A(例如，图6的操作670或之前的任意操作)。此外，除了用于执行图6的过程的线程之外，电子设备可以生成用于执行图7的过程的线程。

参照图7，在操作710中，电子设备可以在选定区域内执行图像捕获。在本公开的各种实施例中，电子设备可以在选定区域内执行图像捕获，或者可以在包括所有对象的区域上执行图像捕获，其中每个对象的至少一部分被包括在选定区域中。

在操作720中，电子设备可以从捕获的选定区域生成原始图像文件，并且可以将原始图像文件存储在存储器中。在这种情况下，存储器可以是缓冲器。此外，电子设备可以标题的形式将原始图像文件中捕获的选定区域的大小信息存储。

在本公开的各种实施例中，原始图像可以包括由图像传感器最低限度处理的数据。数据可能处于完全原始状态。原始图像文件可以仅包括关于由拍摄模块(例如，相机)感测的光强度信息，而不具有确定的白平衡、参数、颜色空间等。关于原始图像文件的格式，原始图像文件可以根据制造商具有不同的扩展名。例如，三星使用.srw的图像文件扩展名，松下使用.rwa的图像文件扩展名，而佳能使用.crw、cr2和.cr3的图像文件扩展名。

在操作730中，电子设备可以通过对原始图像文件应用OCR技术来识别包括在选定区域中的文本。例如，电子设备可以将存储在缓冲器中的原始图像文件传送到OCR引擎，以便执行文本提取。以这种方式，电子设备可以不仅从文本型对象而且从图像类型对象中提取文本。

在操作740中，电子设备可以从在操作730中识别的文本中获得从图像类型对象中识别的文本信息。例如，电子设备可以将在操作660中获得的文本信息与在操作730中识别的文本进行比较，以便确定不包括重叠文本的文本作为从图像类型对象获得的文本信息。

图7的过程与现有的OCR过程相比，可能会带来更好的效果。基于典型的OCR技术的文本识别通过将捕获的图像通过捕获的图像的位图压缩和解压缩的过程传送到OCR引擎来执行。例如，电子设备生成捕获区域的图像文件(通过位图压缩)，将图像文件存储在存储器中，将文件处理(或解压缩)成OCR引擎可识别的格式，并将处理后的文件提供给OCR引擎。然而，根据本公开的各种实施例，所述区域以原始图像文件的形式存储在缓冲器中，然后原始图像被传送到OCR引擎，从而提高了操作性能速度，这是因为跳过了压缩和解压缩。

图8示出了根据本公开的各种实施例的从包括具有图像属性和文本属性的对象的网页的选定区域提取的结果。

参照图8，网页800可以用适当的语言创建，诸如超文本标记语言(HTML)或超文本预处理器(PHP)。访问网页800的电子设备可以获取网页800以分析其源代码，并且可以配置电子设备的屏幕。在本公开的各种实施例中，电子设备800可以使用诸如以上参照图5描述的那些对象来配置屏幕，以便显示网页800。

可以基于通过各种输入手段接收的输入来选择特定区域810。所述区域可以包括文本和图像/图像属性文本820。在此，图像属性文本可以被解释为其中内容属性是图像的文本，但是所述文本使得用户能够可视地识别图像上的文本。可替代地，图像属性文本可以被解释为包括由OCR引擎可识别的文本的图像。

在本公开的各种实施例中，可以使用图6的文本提取方法从选定区域810中提取诸如“老年公民中心和儿童游乐场将不被要求建造在公寓内”、“法院的决定：由于二手烟而导致的肺部疾病不是工伤事故”、“星期三网络漫画的快捷方式”以及“科斯达克563.14▼1.79-0.32％”的文本。

在本公开的各种实施例中，可以使用图7的图像分析方法从选定区域810的图像820中提取诸如“网络漫画”、“多云”、“29摄氏度”和“江陵，比昨天低3度”的文本。

在图6的过程中，电子设备能够通过搜索包括在显示在屏幕上的窗口的整个树结构中的所有对象来获得不仅包括文本信息而且包括关于链接、颜色、字体等的信息的元信息。因此，除了文本之外，电子设备还可以获得字体信息、链接信息等。例如，可以一起获得“星期三网络漫画的快捷方式”的超链接信息。

在本公开的各种实施例中，解析模块可以对获得的信息执行语义分析。例如，诸如“▼”的符号可以分析成具有“下降”的含义。因此，提取结果830可以包括诸如“科斯达克563.14下降1.79-0.32％”的信息。此外，解析模块可以分析图像的对应于图像820的天气部分中的云的含义，以便提取单词“多云”。因此，提取结果830可以包括诸如“多云，29摄氏度，江陵，比昨天低3度”的信息。

图9示出了根据本公开的各种实施例的用于提供对选定区域的分析结果的方法。

参照图9，当接收到与区域选择相关联的输入时，可以调整包括区域选择的屏幕910。例如，在接收到与屏幕910的选定区域911相关联的输入之后，除了选定区域911之外，屏幕910可以是阴影的。

在本公开的各种实施例中，当用户停止对区域911的选择时，可以在屏幕920的一部分上显示指示选定区域的分析结果的图标941，同时释放区域选择状态(或者屏幕910返回到在区域选择之前的正常屏幕920)。在本公开的实施例中，即使区域911的选择完成，也可以维持屏幕910(例如，阴影的)，直到选择了需要交互的图标930。当维持屏幕910时，用户可以调整选定区域911的大小或位置。

在本公开的各种实施例中，除了在显示器上的选定区域上显示分析结果或者执行相关功能之外，电子设备可以将关于选定区域的分析结果以浮动图标(例如，图标941)的形式存储在显示器上。如上所述，用户使用电子设备执行的操作的用户体验(UX)场景可以被连续地维持而不被破坏。尽管图9示出了浮动图标941具有捕获区域的形式，浮动图标可以具有各种形式。此外，即使正在运行的应用改变，浮动图标941也可以保持在屏幕上。例如，代替将视图对象添加到应用，可以在服务中生成与浮动图标941对应的视图对象(即使应用终止也继续执行)，并且可以将其注册到窗口管理器(例如，窗口管理器342)或视图管理器，使得浮动图标941可以总是在顶视图上。

在本公开的各种实施例中，当主区域911选择完成时，用户可以执行用于选择诸如图标941的“+”按钮的辅助区域912(用于进入区域选择状态)的操作。然后，当用户完成辅助区域912的选择时，可以与上述关于主区域选择的选择相同的方式在屏幕920上显示指示辅助区域912的分析结果的图标942。以这种方式，用户可以从一个或多个应用连续地捕获所需的区域，以获得区域的分析信息。

在以上参照图8和图9描述的实例中，提取结果可以与分析结果不同。例如，图8的提取结果830可以表示从选定区域810提取的文本。图9的分析结果可以表示通过使用提取结果的分析获得的信息。例如，电子设备可以使用与图3的操作330相关的提取的文本来执行上述分析操作。例如，可以从图9的区域911中提取“义城郡、庆尚北道”的文本并且作为使用文本进行分析的结果，可以获得与庆水北部的义城郡相关联的地理位置、地图信息、人口、交通信息等。在本公开的各种实施例中，在用户选择图9的图标941的情况下，可以提供通过使用来自区域911的提取结果的分析获得的信息。

在本公开的各种实施例中，用户可以使用来自多个区域的提取结果来获得分析结果。以下参照图10对所述操作进行描述。

图10示出了根据本公开的各种实施例的用于从多个选定区域获得分析结果的方法。

参照图10，图标1041可以使用从屏幕1010的某个选定区域获得的提取结果(例如，一次提取结果)来指示分析结果。在此，当用户选择屏幕1020的某个区域1012，然后将区域1012拖到图标1041时，电子设备可以在区域1012上执行文本提取(例如，根据图6和/或图7的提取方法)。电子设备可以分析来自区域1012的提取结果(例如，二次提取结果)和一次提取结果。当分析完成时，当从基于一次提取结果的信息中选择图标1041时，电子设备可以将待提供的信息改变成基于一次和二次提取结果的信息。

通过图10的实例，用户可以获得基于不同的选定区域的信息。例如，当用户选择包括与“区域”相关的文本的区域时，电子设备可以获得使用对应区域作为关键字执行的分析结果，并且可以将分析结果存储在剪贴板等中。所述分析结果可能会在屏幕上显示为某个图标。当用户选择包括与“天气”相关的文本的区域并将所述区域拖放到图标时，电子设备可以获得使用“区域”和“天气”作为关键字执行的分析结果(例如，对应区域的今天/明天的天气)，并且可以将分析结果与图标相匹配。

在本公开的各种实施例中，电子设备可以基于第一区域显示指示分析结果的第一图标1041，并且基于第二区域显示指示分析结果的第二图标1042。当从用户接收到用于将第二图标1042拖放到第一图标1041的输入时，电子设备可以将分析结果与第一图标1041相匹配，所述分析结果基于来自第一区域的提取结果和第二区域的提取结果而获得。在这种情况下，第二图标1042可以从屏幕1010消失。

图11示出了根据本公开的各种实施例的用于提供分析结果的方法。

参照图11，用户可以从屏幕1110选择某个区域1111。在这种情况下，区域1111以外的区域可以是阴影的。

电子设备可以在区域1111上执行图3的操作310至340，并且可以将执行的结果显示在区域1112上。例如，区域1111可以包括“由于工程师的错误而导致在太白市的火车碰撞”的文本。电子设备可以从区域1111中提取文本，并且可以使用所提取的文本(例如，“太白市”)作为关键字来执行分析(例如，文本令牌分析、通过搜索引擎进行的信息获取等)。因此，例如，关于太白市的地理信息可能被包括在分析结果中。此外，分析结果可以包括用于共享所述信息或者执行与所述信息相关的地图应用程序的菜单。在本公开的实施例中，可以例如在选择指示基于从区域1111提取的文本的分析结果的图标(未示出)的情况下，提供区域1112中所提供的信息。

关于图10的实例，可以执行区域选择和分析，而不管由电子设备提供的网络浏览器的类型。例如，可以在电子设备上安装各种浏览器，例如GOOGLE CHROME、SAFARI、OPERA、FIREFOX和INTERNET EXPLORER。根据现有的文本信息提取方法，在某些情况下，根据网络浏览器的类型(例如，GOOGLE CHROME)可能无法访问文本信息。然而，根据本公开的各种实施例，在不能执行相应区域内的文本分析的情况下，可以捕获选定区域以进行图像分析，使得不管浏览器(或无论是否允许访问文本信息)如何都可进行文本分析。

与上述实例不同，现有的电子设备可能能够使用典型的OCR方法来提取显示在屏幕上的文本，但是在电子设备使用这种方法时不能提取包括关于颜色、大小、字体、链接等的文本信息的元信息，即使在允许访问文本信息的情况下。因此，根据本公开的各种实施例，即使在文本提取的情况下，也可以提取由电子设备可访问的整个信息范围。

图12示出了根据本公开的各种实施例的用于以相机预览状态提供分析结果的方法。

参照图12，即使在相机预览状态下，用户也可以使用上述各种方法和输入手段来选择某个区域。也就是说，根据本公开的各种实施例，使用输入手段确定分析区域(或选定区域)，并且提取区域内的信息(坐标)，并且因此根据本公开的各种实施例的选择和分析操作不影响当前正在运行的应用程序的操作。因此，可以从显示相机预览的屏幕1210中选择某个区域1211，如图12所示。可以提取区域1211内的文本信息，使得可以提供基于提取结果的推荐结果。与现有的方法相比，所述方法可以提高用户的便利性，因为与将要被分析的对象被拍摄，拍摄图像被读取并且通过OCR从中提取文本以便使用的现有方法相比，可以允许在预览状态下立即使用信息。

图13示出了根据本公开的各种实施例的UI。

参照图13，屏幕1310表示一个屏幕，在所述屏幕中用户从输出到显示器的内容选择区域1311。当使用以上参照图14所述的方法确定选定区域1321时，电子设备可以从区域1321提取文本，并且可以基于提取的文本提供分析结果。如屏幕1320所示，电子设备可以在展示选定区域的同时在某个下端区域处提供对解析信息的推荐操作。在本公开的各种实施例中，可以通过选择指示分析结果的图标的操作来提供推荐操作。

在本公开的各种实施例中，当选择分析结果(或指示分析结果的图标)时，可以与特定信息和与特定信息相关的应用/菜单一起提供至少一个分析结果。例如，分析结果1331可以与日历应用一起提供日程信息，分析结果1332可以与电话应用图标1332T、日程管理应用图标1332P和联系号码应用图标1332C一起提供日期(号码)信息。分析结果1333可以与地图应用图标1333M一起提供地理信息，并且分析结果1334可以与浏览器应用图标1334I一起提供链接信息。

在屏幕1320中，当选择位于选定区域1321的右上端的剪贴板图标时，选定区域1321可以存储在剪贴板中。指示存储在剪贴板中的区域的图标可以类似于屏幕1340的图标1341或图标1342进行显示。在本公开的各种实施例中，指示存储在剪贴板中的区域的图标可以不同于指示分析结果的图标被显示。

在屏幕1350中，用户可以通过选择显示屏幕1340上的图标1341或图标1342来检查存储在剪贴板中的内容1351。此外，如屏幕1360所示，由于在剪贴板中收集的信息包括对象(对象的类型、属性等)的所有信息，包括在所收集的信息中的按钮、菜单等可正常运行。

图14示出了根据本公开的各种实施例实时提供分析结果的实例。

参照图14，可以确定选定区域1410。电子设备可以在选定区域1410的一部分(诸如其右下端)处提供标记1411。在示例性实施例中，标记1411可以指示选定区域1410的大小和/或位置是可调节的。

电子设备可以在选定区域1410上执行文本提取和分析，并且可以将分析结果1413提供给电子设备的显示器的下端区域。在这种情况下，可以将选定区域1410和分析结果1413控制为不彼此重叠(例如使用滚动条等)。

当用户使用标记1411将选定区域1410调整到选定区域1420时，电子设备可以提供选定区域1420的分析结果1413和1415。在这种情况下，电子设备可以重新对区域1420执行分析，或者电子设备可以检测区域1410与区域1420之间的不同部分，然后可以单独地对不同部分执行分析，以便另外提供不同部分的分析结果(例如，分析结果1415)。

图15示出了根据本公开的各种实施例的文本提取和分析过程。

参照图15，在操作1510中，用户可以选择某个区域。在操作1520中，电子设备可以确定用户选择的区域，并且可以提取确定的区域的坐标。

在操作1530中，电子设备可以确定与在操作1520中确定的坐标对应的区域是否对应于图像。如果所述区域不是图像，则过程可以进行到操作1540，使得可以执行文本提取。所述操作可以对应于以上参照图6描述的文本提取方法。当所述区域是图像时，电子设备可以在所述区域上执行图像捕获以生成原始文件，并且可以在操作1550中通过缓冲器将文件传送到OCR引擎。在操作1560中，电子设备可以使用OCR引擎从图像提取文本。所述操作可以对应于以上参照图7描述的图像分析方法。

在上述各种实例中，图15的实施例可以被解释为根据用户选择的区域是否对应于文本或图像来使用不同的分析方法的实例。可以针对消息应用、电子邮件应用、图库应用等的执行屏幕(所述执行屏幕很可能仅包括文本或图像)，而不是浏览器应用的执行屏幕(其中文本嵌入在图像内)执行这种分析方法。

在操作1570中，电子设备可以使用在操作1540或1560中提取的文本来执行令牌分析(例如，Hermes服务令牌分析)。然而，这只是一个实例，因此可以应用上述各种分析方法。分析结果数据1571可以存储在剪贴板中(操作1580)，或者可以用于形成推荐操作1573。推荐操作1573可以包括诸如web导航(浏览器应用)、事件存储(日历应用)、电子邮件写作(电子邮件应用)、电话呼叫(电话应用)、消息写入(消息应用)或地方查看(地图应用)的各种操作。在至少一个推荐操作1573与分析结果数据1571匹配的情况下，可以与分析结果一起提供推荐操作(应用或菜单)。

在操作1590中，电子设备确定用户是否执行附加区域选择操作。当附加区域选择输入发生时，过程可以进行到操作1520，否则过程可以结束。

根据本公开的各种实施例的信息提供方法可以包括：基于用户输入来确定选定区域；基于包括在选定区域中的一个或多个对象的类型来确定提取方法；根据确定的提取方法的从选定区域提取信息；以及基于所述信息执行特定功能。所述方法还可以包括分析所提取的信息并在电子设备的显示器上显示分析结果。

在本公开的各种实施例中，选定区域的确定可以包括：将具有使用户输入的起始点与其终点连接的对角线的四边形区域确定为选定区域；将内切在由用户输入形成的封闭曲线中的四边形区域确定为选定区域；或者将由用户输入中的水平输入和垂直输入形成的拖动区域确定为选定区域。此外，在本公开的各种实施例中，选定区域的确定可以包括：接收用于将电子设备切换到选择模式的输入，并且基于在接收到输入之后发生的用户输入来确定选定区域。在这种情况下，所述方法还可以包括如果用户输入完成则释放选择模式。

在本公开的各种实施例中，提取方法的确定可以包括：确定与选定区域对应的一个或多个对象的类型；以及当所有对象的类型都是文本时，将提取方法确定为文本提取方法，或者当对象的属性的至少一部分不是文本类型时确定为文本提取方法或图像分析方法。

在本公开的各种实施例中，文本提取方法可以包括：分析包括一个或多个对象的树结构；收集包括在树结构中的每个对象的类型和属性；以及从与每个对象中的选定区域对应的一个或多个对象提取文本信息。此外，文本提取方法可以包括将文本颜色、字体或链接中的至少一者与文本信息一起提取。

在本公开的各种实施例中，图像分析方法可以包括以图像的格式捕获选定区域并且使用OCR技术提取从捕获图像识别的文本。此外，捕获可以包括通过在标题中配置捕获的信息的大小信息来捕获图像并将原始图像文件的格式存储在缓冲器中。

在本公开的各种实施例中，提取信息可以包括：将使用从选定区域提取的文本作为关键字获得的信息添加到提取结果，或者将通过使从选定区域提取的文本与位于电子设备内部或外部的DB进行比较获得的信息添加到提取结果。

在本公开的各种实施例中，分析结果的显示可以包括向显示器的一部分显示指示分析结果的图标。此外，分析结果的显示可以包括：当选择图标时，将包括在分析结果中的信息显示到显示器的指定区域。此外，分析结果的显示可以包括将包括在分析结果中的信息以及与所述信息相关的应用一起提供。

图16是示出了根据本公开的各种实施例的电子设备1601的框图。

参照图16，电子设备1601可以包括例如图1所示的电子设备101的一部分或全部。电子设备1601可以包括至少一个AP 1610、通信模块1620、用户识别模块(SIM)卡1624、存储器1630、传感器模块1640、输入设备1650、显示器1660、接口1670、音频模块1680、相机模块1691、电源管理模块1695、电池1696、指示器1697和电机1698。

AP 1610可以运行OS或应用程序，以便控制连接到AP 1610的多个硬件或软件元件，并且可以处理各种数据并且可以执行关于所述数据的操作。AP1610可以用例如片上系统(SoC)来实现。根据本公开的实施例，AP 1610还可以包括图形处理单元(GPU)和/或图像信号处理器。AP 1610可以包括图16所示的元件的至少一部分(例如，蜂窝模块1621)。AP1610可以在易失性存储器上加载从其他元件(例如，非易失性存储器)中的至少一个接收的指令或数据来处理指令或数据，并且可以将各种数据存储在非易失性存储器中。

通信模块1620可以具有与图1的通信接口170相同或类似的配置。通信模块1620可以包括例如蜂窝模块1621、Wi-Fi模块1623、BT模块1625、GPS模块1627、近场通信(NFC)模块1628和射频(RF)模块1629。

蜂窝模块1621可以通过通信网络提供例如语音呼叫服务、视频呼叫服务、文本消息服务或互联网服务。根据本公开的实施例，蜂窝模块1621可以使用用户识别模块(例如，SIM卡1624)来识别和认证通信网络中的电子设备1601。根据本公开的实施例，蜂窝模块1621可以执行由AP 1610提供的功能的至少一部分。根据本公开的实施例，蜂窝模块1621可以包括CP。

Wi-Fi模块1623、BT模块1625、GPS模块1627和NFC模块1628中的每一个可以包括例如用于处理通过模块发送/接收的数据的处理器。根据本公开的各种实施例，蜂窝模块1621、Wi-Fi模块1623、BT模块1625、GPS模块1627和NFC模块1628的至少一部分(例如，两个或更多个)可以包括在单个集成芯片(IC)或IC封装中。

RF模块1629可以发送/接收例如通信信号(例如，RF信号)。RF模块1629可以包括例如收发器、功率放大器模块(PAM)、频率滤波器、低噪声放大器(LNA)、天线等。根据本公开的实施方案，蜂窝模块1621、Wi-Fi模块1623、BT模块1625、GPS模块1627、或NFC模块1628中的至少一个可通过独立RF模块发送/接收RF信号。

SIM卡1624可以包括例如嵌入式SIM卡和/或包括用户识别模块的卡，并且可以包括唯一的识别信息(例如，集成电路卡标识符(ICCID))或用户信息(例如，国际移动用户身份(IMSI))。

存储器1630(例如，存储器130)可包括内部存储器1632或外部存储器1634。内部存储器1632可以包括易失性存储器(例如，动态随机存取存储器(DRAM)、静态RAM(SRAM)、同步DRAM(SDRAM)等)或非易失性存储器(例如，一次性可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪存ROM、闪速存储器(例如，NAND闪存、NOR闪存等)、硬盘驱动器或固态驱动器(SSD))。

外部存储器1634可以包括闪存驱动器，例如紧凑闪存(CF)、安全数字(SD)、微型SD、迷你SD、极端数字(xD)、记忆棒等。外部存储器1634可以通过各种接口在功能上和/或物理上连接到电子设备1601。

例如，传感器模块1640可以测量物理量或检测电子设备1601的操作状态，以将测量的或检测到的信息转换为电信号。传感器模块1640可以包括以下各项中的至少一个：例如手势传感器1640A、陀螺仪传感器1640B、大气压力传感器1640C、磁性传感器1640D、加速度传感器1640E、夹持传感器1640F、接近传感器1640G、颜色传感器1640H(例如，红色/绿色/蓝色(RGB)传感器)、生物测定传感器1640I、温度/湿度传感器1640J、照明传感器1640K或紫外线(UV)传感器1640M。另外或替代地，传感器模块1640可以包括例如嗅觉传感器(E-nose传感器)、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、虹膜识别传感器和/或指纹传感器。传感器模块1640还可包括用于控制包括在其中的至少一个传感器的控制电路。在本公开的各种实施例中，电子设备1601还可以包括被配置为将传感器模块1640作为AP 1610的一部分或单独地控制的处理器，使得在AP 1610处于睡眠状态期间控制传感器模块1640。

输入装置1650可包括例如触摸面板1652、(数字)笔传感器1654、键1656、或超声输入设备1658。触摸面板1652可以采用电容、电阻、红外和紫外线感测方法中的至少一种。触摸面板1652还可以包括控制电路。触摸面板1652还可以包括触觉层，以便向用户提供触觉反应。

(数字)笔传感器1654可以包括例如用于识别的片材，其是触摸面板的一部分或与其分离。键1656可以包括例如物理按钮、光学按钮或键盘。采用输入工具产生超声波信号的超声波输入设备1658可以使得电子设备1601能够通过麦克风(例如麦克风1688)感测声波，以便识别数据。

显示器1660(例如，显示器160)可以包括面板1662、全息图设备1664或投影仪1666。面板1662可以具有与图1的显示器160相同或类似的配置。面板1662可以是例如柔性的、透明的或可穿戴的。面板1662和触摸面板1652可以集成到单个模块中。全息图设备1664可以使用光干涉现象在空间中显示立体图像。投影仪1666可将光投射到屏幕上以显示图像。屏幕可以设置在电子设备1601的内部或外部。根据本公开的实施方案，显示器1660还可包括用于控制面板1662、全息装置1664或投影仪1666的控制电路。

接口1670可以包括例如HDMI 1672、USB 1674、光学接口1676或D超小型(D-sub)1678。接口1670可以包括在图1所示的通信接口170中。另外或替代地，接口1670可以包括例如移动高清链接(MHL)接口、SD卡/多媒体卡(MMC)接口或红外数据关联(IrDA)接口)。

音频模块1680可将例如声音转换为电信号，或反之亦然。音频模块1680的元件的至少一部分可以包括在图1所示的输入/输出接口150中。音频模块1680可以处理通过扬声器1682、接收器1684、耳机1686或麦克风1688输入或输出的声音信息。

相机模块1691例如是用于拍摄静止图像或视频的设备。根据本公开的实施例，相机模块1691可以包括至少一个图像传感器(例如，前传感器或后传感器)、镜头、图像信号处理器(ISP)或闪光灯(例如，LED或氙气灯)。

电源管理模块1695可以管理例如电子设备1601的电源。根据本公开的实施例，电源管理模块1695可以包括电源管理IC(PMIC)、充电器IC或电池或电量计。PMIC可以采用有线和/或无线充电方法。无线充电方法可以包括例如磁共振法、磁感应法、电磁法等。可以进一步包括用于无线充电的附加电路，例如线圈环路、谐振电路、整流器等。例如，当电池充电时，电池量规可以测量电池1696的剩余容量及其电压、电流或温度。电池1696可以包括例如可充电电池和/或太阳能电池。

指示器1697可以显示电子设备1601或其一部分(例如，AP 1610)的特定状态，诸如引导状态、消息状态、充电状态等。电机1698可以将电信号转换为机械振动，并且可以产生振动或触觉效果。尽管未示出，但是用于支持移动电视机的处理设备(例如，GPU)可以包括在电子设备1601中。用于支持移动电视机的处理设备可以根据数字多媒体广播(DMB)、数字视频广播(DVB)或MEDIAFLO的标准处理媒体数据。

电子设备的每个上述元件可以配置有一个或多个部件，并且可以根据电子设备的类型来改变元件的名称。在本公开的各种实施例中，电子设备可以包括上述元件中的至少一个，并且可以省略一些元件或者可以添加其他附加元件。此外，根据本公开的各种实施例的电子设备的一些元件可以彼此组合以形成一个实体，使得可以与组合之前相同的方式执行元件的功能。

根据本公开的各种实施例的电子设备可以包括：区域确定模块，其被配置为确定由用户选择的区域；解析模块，其被配置为根据基于包括在选定区域中的一个多个对象的类型确定的提取方法从选定区域提取信息；以及控制模块，其被配置为基于所提取的信息执行特定功能。

在本公开的各种实施例中，如果一个或多个对象的类型的至少一部分不是文本类型，则解析模块捕获选定区域并以原始图像的格式将捕获的区域存储在缓冲器中，并且电子设备还可以包括用于从存储在缓冲器中的图像识别文本的OCR模块。此外，存储在缓冲器中的图像可以包括文件标题中的选定区域的大小信息。

本文所使用的术语“模块”可以表实例如包括硬件、软件和固件之一或其组合的单元。术语“模块”可以与术语“单元”、“逻辑”、“逻辑块”、“部件”和“电路”互换使用。“模块”可以是集成部件的最小单位，也可以是其一部分。“模块”可以是用于执行一个或多个功能或其一部分的最小单位。“模块”可以机械地或电子地实现。例如，“模块”可以包括应用专用IC(ASIC)芯片、现场可编程门阵列(FPGA)和用于执行某些操作的可编程逻辑设备中的至少一个，这些操作是已知的或将发展的。

根据本公开的各种实施例的设备(例如，其模块或功能)或方法(例如，操作)的至少一部分可以被实现为以编程模块的形式存储在计算机可读存储介质中的指令。在由处理器(例如，处理器120)执行指令的情况下，处理器可以执行与指令相对应的功能。例如，指令可以指示处理器基于用户输入来执行确定选定区域，基于包括在选定区域中的一个或多个对象的类型来确定提取方法，根据确定的提取方法从选定区域提取文本信息以分析文本信息，并将分析结果输出到电子设备的显示器。计算机可读存储介质可以是例如存储器130。

计算机可读记录介质可以包括硬盘、软盘、磁介质(例如磁带)、光介质(例如，光盘ROM(CD-ROM)、DVD)、磁光介质(例如，光盘)或硬件设备(例如，ROM、RAM、闪速存储器等)。程序指令可以包括由编译器生成的机器语言代码以及可由使用解释器的计算机执行的高级语言代码。上述硬件设备可以被配置为作为用于执行本公开的各种实施例的操作的一个或多个软件模块来操作，反之亦然。例如，记录介质包括计算机刻度指令，其中所述指令可以指示电子设备基于用户输入来执行确定选定区域；基于包括在选定区域中的一个或多个对象的类型来确定提取方法；根据确定的提取方法的从选定区域提取信息；以及基于所述信息执行特定功能。记录介质可另外包括用于执行上述各种方法或操作的指令。

根据本公开的各种实施例的模块或程序模块可以包括上述元件中的至少一个，并且可以省略一些元件或者可以添加其他附加元件。根据本公开的各种实施例的由模块、程序模块或其他元件执行的操作可以按照顺序、并行、迭代或启发式方式来执行。此外，一些操作可以以另一顺序执行或可以被省略，或者可以添加其他操作。

虽然已参照本发明的各种实施例展示并描述了本发明，但是本领域技术人员将理解，在不脱离由随附权利要求书和其同等物界定的本发明的范围和精神的情况下，可以在其中进行形式和细节上的各种改变。

Claims (15)

1.一种电子设备的信息提供方法，所述信息提供方法包括：

基于用户输入确定选定区域；

基于包括在所述选定区域中的一个或多个对象的类型来确定提取方法；

根据所确定的提取方法从所述选定区域提取信息；以及

基于所提取的信息执行特定功能。

2.根据权利要求1所述的方法，还包括：

分析所提取的信息，以及

在所述电子设备的显示器上显示所述分析的结果。

3.根据权利要求1或2所述的方法，其中所述确定选定区域包括：将具有使所述用户输入的起始点与所述用户输入的终点连接的对角线的四边形区域确定为所述选定区域。

4.根据权利要求1或2所述的信息提供方法，其中所述确定选定区域包括：将由所述用户输入形成的闭合曲线包围的四边形区域确定为所述选定区域。

5.根据权利要求1或2所述的方法，其中所述确定选定区域包括：将由所述用户输入中的水平输入和垂直输入形成的拖动区域确定为所述选定区域。

6.根据任何前述权利要求所述的方法，其中所述确定选定区域包括：

接收用于将所述电子设备切换到选择模式的输入；以及

基于在接收到将所述电子设备切换到选择模式的输入之后发生的所述用户输入来确定所述选定区域。

7.根据任何前述权利要求所述的方法，其中所述确定提取方法包括：

确定与所述选定区域对应的一个或多个对象的类型；以及

当所有对象的类型是文本类型时，将所述提取方法确定为文本提取方法，以及

当所述对象的类型的至少一部分不是文本类型时，将所述提取方法确定为图像分析方法。

8.根据权利要求7所述的方法，其中所述文本提取方法包括：

分析包括所述一个或多个对象的树结构；

收集包括在所述树结构中的每个对象的所述类型和属性；以及

从与每个对象中的所述选定区域对应的所述一个或多个对象提取文本信息。

9.根据权利要求7或8所述的方法，其中所述文本提取方法还包括与所述文本信息一起提取文本颜色、字体或链接中的至少一者。

10.根据权利要求7、8或9所述的方法，其中所述图像分析方法包括：

以图像的格式捕获所述选定区域；以及

使用光学字符识别(OCR)技术提取从所捕获的图像中识别的文本。

11.根据权利要求10所述的方法，其中所述捕获选定区域包括：

捕获所述图像；以及

通过在标题中配置所捕获的信息的大小信息，将所述图像以原始图像文件的格式存储在缓冲器中。

12.根据任何前述权利要求所述的方法，其中所述提取信息包括将使用从所述选定区域提取的文本作为关键字获得的信息添加到提取结果。

13.根据任何前述权利要求所述的方法，其中所述提取信息包括将通过使从所述选定区域提取的文本与位于所述电子设备内部或外部的数据库(DB)进行比较而获得信息添加到提取结果。

14.一种电子设备，包括：

区域确定模块，其被配置为确定用户选择的区域；

解析模块，其被配置为根据基于包括在所述选定区域中的一个或多个对象的类型确定的提取方法从所述选定区域提取信息；以及

控制模块，其被配置为基于所提取的信息执行特定功能。

15.根据权利要求14所述的电子设备，

其中当所述一个或多个对象的类型的至少一部分不是文本类型时，所述解析模块捕获所述选定区域并且将所述捕获区域以原始图像的格式存储在缓冲器中，并且

其中所述电子设备还包括：用于从存储在所述缓冲器中的图像中识别文本的光学字符识别(OCR)模块。