Nothing Special   »   [go: up one dir, main page]

CN112136099A - 来自远程设备的直接输入 - Google Patents

来自远程设备的直接输入 Download PDF

Info

Publication number
CN112136099A
CN112136099A CN201980029386.XA CN201980029386A CN112136099A CN 112136099 A CN112136099 A CN 112136099A CN 201980029386 A CN201980029386 A CN 201980029386A CN 112136099 A CN112136099 A CN 112136099A
Authority
CN
China
Prior art keywords
data
application
electronic device
content
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980029386.XA
Other languages
English (en)
Other versions
CN112136099B (zh
Inventor
J·O·劳奇
K·J·范维克腾
C·N·瑞安
J·J·亚罗西
B·布拉德雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Priority to CN202411090408.2A priority Critical patent/CN118778864A/zh
Publication of CN112136099A publication Critical patent/CN112136099A/zh
Application granted granted Critical
Publication of CN112136099B publication Critical patent/CN112136099B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots
    • G06F16/122File system administration, e.g. details of archiving or snapshots using management policies
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/103Formatting, i.e. changing of presentation of documents
    • G06F40/117Tagging; Marking up; Designating a block; Setting of attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/543User-generated data transfer, e.g. clipboards, dynamic data exchange [DDE], object linking and embedding [OLE]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0384Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

本主题技术提供了一种设备的系统,该设备中的至少一者包括被配置为直接从该设备中的另一者接收数据的应用程序。该应用程序被配置为获得可用设备和相关联的特征的列表,并且基于该列表提供用于显示的输入选项。当选择该输入选项中的一者时,该应用程序激活该另一设备的部件和/或应用程序以用于生成期望数据。当该另一设备已生成该期望数据时,所生成的数据从该另一设备直接输入到正在运行的应用程序中,而不在该另一设备处存储所生成的数据,并且不在该另一设备上操作相同的应用程序。

Description

来自远程设备的直接输入
相关申请的交叉引用
本申请要求2018年6月1日提交的名称为“Direct Input from a Remote Device”的美国临时专利申请序列号62/679602的权益,该专利申请据此全文以引用方式并入本文以用于所有目的。
技术领域
本说明书整体涉及电子设备之间的通信,并且更具体地讲,涉及来自远程设备的直接输入。
背景技术
电子设备诸如膝上型电脑、平板设备和智能电话通常包括用于内容编辑的应用程序。内容编辑器应用程序可包括文字处理应用程序、演示编辑应用程序、消息传递应用程序和电子邮件应用程序。用户可使用内容编辑器应用程序来创建和编辑内容,诸如文档、演示等。例如,用户可使用文字处理应用程序来创建文档并且可将文本、图像等插入文档。
附图说明
本主题技术的一些特征在所附权利要求书中被示出。然而,出于解释的目的,在以下附图中阐述了本主题技术的若干实施方案。
图1示出了根据一个或多个具体实施的可在其中实现来自远程设备的直接输入的示例性网络环境。
图2示出了根据一个或多个具体实施的示出具有远程输入选项的内容编辑器应用程序的示例性用户界面视图的示意图。
图3示出了根据一个或多个具体实施的示出在选择远程输入选项之后的内容编辑器应用程序的示例性用户界面视图的示意图。
图4示出了根据一个或多个具体实施的示出在将来自远程设备的远程输入插入内容编辑器应用程序中之后的内容编辑器应用程序的示例性用户界面视图的示意图。
图5示出了根据一个或多个具体实施的用于从远程设备获得内容编辑器应用程序的输入的示例性过程的流程图。
图6示出了根据一个或多个具体实施的用于从远程设备获得内容编辑器应用程序的输入的另一示例性过程的流程图。
图7示出了根据一个或多个具体实施的用于从远程设备获得应用程序的数据的示例性过程的流程图。
图8示出了根据一个或多个具体实施的用于从远程设备获得文件管理器应用程序的数据的示例性过程的流程图。
图9示出了根据一个或多个具体实施的示出具有远程输入选项的应用程序的另一示例性用户界面视图的示意图。
图10示出了可以利用其来实现本主题技术的一个或多个具体实施的电子系统。
具体实施方式
下面示出的具体实施方式旨在作为本主题技术的各种配置的描述并且不旨在表示本主题技术可被实践的唯一配置。附图被并入本文并且构成具体实施方式的一部分。具体实施方式包括具体的细节旨在提供对本主题技术的透彻理解。然而,本主题技术不限于本文阐述的具体细节,而是可以采用一个或多个其他具体实施来实践。在一个或多个具体实施中,以框图形式示出了结构和部件,以便避免使本主题技术的概念模糊。
电子设备的应用程序可包括内容编辑器应用程序、文件管理器应用程序,以及提供要在电子设备的显示器上显示的用户界面(UI)视图的其他应用程序。电子设备的内容编辑器应用程序允许将字母数字混合字符、图像、视频、动画、健康数据、绘图输入和/或其他数据或内容输入或插入文档、演示、电子消息、电子邮件、电子表格、文件系统的文件或文件夹、或任何其他可编辑容器中。使用物理或显示器表示的键盘、触摸屏或触控板的绘图输入(例如,手写字符和/或手绘草图图像)、或音频输入(例如,使用语音识别软件)来将字母数字混合字符输入到容器中。通常通过以下方式将其他输入(诸如图像、视频和动画)插入容器中:选择包含图像、视频或动画并且存储在内容编辑器应用程序正在其上运行的相同设备上的文件,或者将文件拖动到容器中。
文件管理器应用程序可提供用于查看文件系统上的文件夹的内容的文件管理器UI视图,包括表示存储在电子设备的文件系统上(例如,存储在存储器中)的文件的列表或图标。文件管理器UI视图可包括用于选择和/或发现期望的文件系统的文件夹的导航选项。当显示文件管理器UI视图时,可将文件拖放到所显示的文件系统的文件夹中或从所显示的文件系统的文件夹拖出。在一些情况下,可能期望将输入(例如,内容、数据、元数据等)直接提供到文件系统的文件或文件夹中(例如,不打开文件系统的文件或文件夹)。其他应用程序可包括互联网浏览器应用程序、社交媒体应用程序、媒体播放器应用程序、设备后台应用程序、银行业务或支付应用程序、导航应用程序、拼车应用程序、或可提供UI视图的任何其他应用程序。可基于来自传感器或相机的输入(例如,数据、内容或元数据)(例如,基于使用用户的一个或多个图像来确定的用户情绪和/或用户的健康/活动数据)来修改应用程序的UI视图。
然而,在一些情况下,应用程序正在其上运行的设备可能不是最适于生成或输入期望的数据或内容的设备。例如,如果用户正在使用内容编辑器应用程序(诸如在用户的台式计算机上运行的文字处理器应用程序或演示编辑器应用程序)来编写关于跳转的报告,则用户可能期望捕获用户的台式计算机附近的一组跳转球的图像以用于插入报告中。尽管台式计算机可具有相机(例如,用于视频会议),但举起和转动台式计算机以捕获跳转球的图像可能是不灵便的或不可能的。
在许多情况下,台式计算机的用户还容易访问智能电话、平板设备、或更容易操控和/或操纵以捕获图像的可穿戴设备。然而,在这些情况下,用户通常必须访问智能电话或平板电脑或可穿戴设备上的相机应用程序,捕获图像,将图像本地存储在智能电话或平板电脑上,退出相机应用程序,打开照片查看、消息传递或电子邮件应用程序,选择所存储的捕获图像并且以文本消息或电子邮件将所存储的捕获图像发送到台式计算机。然后,用户必须退出内容编辑器应用程序,在台式计算机上打开消息传递应用程序或电子邮件应用程序,访问消息或电子邮件,并且从消息或电子邮件获得所捕获的图像以用于本地存储在台式计算机上以供插入或者用于从所接收的消息或电子邮件插入。
该过程对于准备报告的工作流程而言可能是耗时的、低效的和破坏性的,并且无法利用系统中的所有设备的处理和部件功率。
在另一示例中,用户可能期望标记或注释存储在电子设备上的图像。在该示例中,图像可存储在台式计算机上,并且用户可访问具有触笔和触摸屏的平板设备,该平板设备比台式计算机的输入设备更适于标记所存储的图像。在该示例中,可能期望能够在平板设备上查看和标记图像(例如,使用通过触笔和/或触摸屏的绘图输入),并且提供标记(例如,用于在台式计算机处呈现标记的标记图像或元数据)以直接输入到存储在台式计算机上的图像(例如,不将图像或标记存储在平板设备处)。
在另一示例中,用户可能期望基于用户的情绪来设置应用程序的UI视图的主题(例如,针对边界、边缘、背景或其他部分的颜色或其他显示主题),然而,用户的设备可能缺乏确定情绪的能力和/或可能缺乏用于捕获指示情绪的信息的传感器。在该示例中,可能期望能够使用另一设备(诸如智能电话或智能手表)的相机和/或生物识别传感器(例如,心率传感器、运动传感器、具有用于识别面部特征和/或表情的AR数据能力的相机、温度传感器、恒温器等),以便获得情绪元数据(例如,包括来自另一设备的情绪指示信息和/或包括用于在用户(主)设备处确定情绪的面部点映射数据或传感器数据的元数据),从而用于通过UI视图情绪选项来直接输入到应用程序。在另一示例中,用户可能期望将来自智能手表的健康数据或活动数据输入到平板设备或智能电话上的健康监测应用程序或活动监测应用程序中。
本主题技术提供了设备的系统,其各自可由设备中的一者上的应用程序通信地访问,使得一个设备(例如,主设备)上的应用程序可利用系统中的其他设备上的部件和/或应用程序来生成和输入期望的数据流、元数据、或内容(例如,不需要在另一设备处本地存储由该设备生成的内容或数据,不需要安全访问另一设备的个人数据,并且不需要切换到应用程序正在其上运行的主设备上的任何其他应用程序)。
如本文所用,主设备可以是诸如以下的设备:台式计算机、服务器终端、智能电话、膝上型电脑、可穿戴设备(诸如智能手表)、或正在其上执行应用程序或针对其期望来自另一设备的数据或内容的任何其他计算设备。主设备在本文中有时可被称为“设备”或“第一设备”。如本文所用,辅助设备可以是诸如以下的设备:台式计算机、服务器终端、智能电话、膝上型电脑、可穿戴设备(诸如智能手表或另一活动或健身跟踪可穿戴设备)、具有一个或多个传感器的运动装备、或具有一个或多个应用程序和/或一个或多个部件(例如,相机、键盘、触摸屏、触笔设备等)的任何其他计算设备,该一个或多个应用程序和/或一个或多个部件可由主设备上的应用程序激活以在辅助设备处生成数据或内容,从而用于直接从辅助设备插入主设备上的应用程序中(例如,不将数据或内容存储在辅助设备上并且不操作辅助设备上的相同应用程序)。
辅助设备在本文中有时可被称为“远程设备”或“第二设备”。尽管第二设备在本文中有时被描述为设置在与第一设备的外壳或壳体分开的外壳或壳体中的远程设备,但在一些具体实施中,第二设备可以是设置在与第一设备共用的外壳或壳体内的第二设备(例如,除了通常作为示例在本文中描述的设备间场景之外,本主题技术还可应用于设备内场景)。第二设备可通过有线(例如,通用串行总线等)或无线(例如,近场通信、蓝牙、WiFi、这些和/或任何其他通信协议的组合和/或硬件和/或它们的组合)连接来与主设备配对、解除配对和/或通信地耦接。
应当理解,一个操作场景中的主设备可在另一操作场景中用作辅助设备,并且一个操作场景中的辅助或远程设备可在另一操作场景中用作主设备。如下文进一步详细描述的,主设备上的应用程序可通过该设备上的输入特征对可用的辅助设备或远程设备进行排序,使得用户(或应用程序)可选择最适于生成和输入用户所期望的任何特定类型的数据或内容的设备。在一些示例中,特定设备可被列入白名单以便一起使用,或者被列入黑名单以便不一起使用。例如,可在主设备和/或辅助设备处设置用户偏好,以选择性地打开或关闭(例如,阻止)该设备被用于直接输入到另一设备的能力。在另一示例中,用户可建立一组可用于获取和/或交换数据或内容以直接输入到应用程序的已知(和/或可信)设备(例如,列入白名单)。
主设备和辅助设备可通过有线或无线通信(诸如蓝牙或其他直接对等通信)、经由局域网的通信、或通过广域网(诸如互联网)通信地耦接。当主设备和辅助设备中的每一者知道另一者可用于通信的可用性并且至少一者知道另一设备上可用的特征时,主设备和辅助设备可以通信地耦接,但设备可能不处于连续通信中(例如,如果设备中的一者或多者处于低功率或间歇轮询模式)。
因此,例如,与具有如上所述的现有内容编辑器应用程序和输入部件的单独设备相比,本主题技术提供了电子设备的更有效和高效的系统。
图1示出了根据一个或多个具体实施的可在其中实现数据或内容的从第二设备向第一设备的直接输入的示例性网络环境100。然而,并非所有所描绘的部件均可在所有具体实施中使用,并且一个或多个具体实施可包括与图中所示的那些相比附加的或不同的部件。可进行这些部件的布置和类型的变化,而不脱离本文所列出的权利要求的实质或范围。可提供附加的部件、不同的部件或更少的部件。
网络环境100包括电子设备110、电子设备112、电子设备115和服务器120。网络106可通信地(直接或间接地)耦接电子设备110和/或服务器120、电子设备112和/或服务器120、电子设备115和/或服务器120、电子设备110和/或电子设备112、电子设备112和/或电子设备115,以及/或者电子设备110和/或电子设备115。在一个或多个具体实施中,网络106可以是可包括互联网或可通信地耦接到互联网的设备的互连网络。出于解释的目的,网络环境100在图1中示出为包括电子设备110、电子设备112、电子设备115和服务器120;然而,网络环境100可包括任何数量的电子设备和任何数量的服务器。
电子设备110可以是例如台式计算机;便携式计算设备,诸如膝上型计算机、智能电话、外围设备(例如,数字相机、耳机)、平板设备、可穿戴设备(诸如手表、腕带等);或者包括例如一个或多个无线接口的任何其他适当设备,诸如WLAN无线电设备、蜂窝无线电设备、蓝牙无线电设备、Zigbee无线电设备、近场通信(NFC)无线电设备和/或其他无线电设备。在图1中,通过举例的方式,电子设备110被描绘为台式计算机。电子设备110可以是和/或可以包括下文相对于图10讨论的电子系统的全部或部分。在一个或多个具体实施中,电子设备110可包括相机(例如,一个或多个图像传感器和一个或多个透镜、滤波器、致动器、相关联的电子器件和/或其他相机部件)和键盘,并且可提供应用程序,诸如内容编辑器应用程序、文件管理器应用程序、或被布置为与电子设备111、电子设备112和/或电子设备115的部件协作以向应用程序提供输入(例如,直接通过有线或无线对等连接或者通过与电子设备111、电子设备112和/或电子设备115的网络106)的其他应用程序。
电子设备112可包括触摸屏、相机、麦克风和/或其他部件,并且可以是例如便携式计算设备,诸如包括触摸屏的膝上型计算机、包括触摸屏的智能电话、包括触摸屏的外围设备(例如,数字相机、耳机)、包括触摸屏的平板设备、包括触摸屏的可穿戴设备(诸如,手表、腕带等)、包括例如触摸屏的任何其他适当设备或者任何具有触控板的电子设备。电子设备112可包括运动传感器(诸如陀螺仪、加速度计、全球定位系统(GPS)部件、磁传感器诸如罗盘等),并且可以是例如智能电话或媒体播放器设备。相机可包括或具有相关联的增强现实电路或软件以用于确定捕获图像或视频流中的深度和/或识别面部特征和/或表情。
在一个或多个具体实施中,电子设备112可不包括触摸屏,但可支持触摸屏类似的手势,诸如在虚拟现实环境或增强现实环境中。在一个或多个具体实施中,电子设备112可包括触控板。在图1中,通过举例的方式,电子设备112被描绘为具有触摸屏的智能电话。在一个或多个具体实施中,电子设备112可以是和/或可以包括下文相对于图10讨论的电子系统的全部或部分。在一个或多个具体实施中,电子设备112可包括相机、触摸屏和麦克风,并且可提供应用程序,诸如内容编辑器应用程序、文件管理器应用程序、或被布置为与电子设备110、电子设备111和/或电子设备115的部件协作以向应用程序提供输入(例如,直接通过有线或无线对等连接或者通过与电子设备110、电子设备111和/或电子设备115的网络106)的其他应用程序。
电子设备115可包括触摸屏、相机、麦克风和/或其他部件或外围设备诸如触笔输入设备,并且可以是例如便携式计算设备,诸如包括触摸屏的膝上型计算机、包括触摸屏的智能电话、包括触摸屏的外围设备(例如,数字相机、耳机)、包括触摸屏的平板设备、包括触摸屏的可穿戴设备(诸如,手表、腕带等)、包括例如触摸屏的任何其他适当设备或者任何具有触控板的电子设备。电子设备115可包括运动传感器(诸如陀螺仪、加速度计、全球定位系统(GPS)部件、磁传感器诸如罗盘等),并且可以是例如便携式计算设备(诸如平板设备或膝上型计算机)。相机可包括或具有相关联的增强现实电路或软件以用于确定捕获图像或视频流中的深度和/或识别面部特征和/或表情。
在一个或多个具体实施中,电子设备115可不包括触摸屏,但可支持触摸屏类似的手势,诸如在虚拟现实环境或增强现实环境中。在一个或多个具体实施中,电子设备115可包括触控板。在图1中,通过举例的方式,电子设备115被描绘成具有触摸屏的平板设备。在一个或多个具体实施中,电子设备115可以是和/或可以包括下文相对于图10讨论的电子系统的全部或部分。在一个或多个具体实施中,电子设备115可包括相机、触摸屏、麦克风和触笔输入设备,并且可提供应用程序,诸如内容编辑器应用程序、文件管理器应用程序、或被布置为与电子设备110、电子设备111和/或电子设备112的部件协作以向应用程序提供输入(例如,直接通过有线或无线对等连接或者通过与电子设备110、电子设备111和/或电子设备112的网络106)的其他应用程序。
电子设备111可包括触摸屏、相机、麦克风和/或其他部件(例如,健康传感器,诸如心率传感器或心电传感器)、运动传感器(诸如陀螺仪)、加速度计、全球定位系统(GPS)部件、磁传感器(诸如罗盘)等,并且可以是例如可穿戴计算设备(诸如智能手表)。相机可包括或具有相关联的增强现实电路或软件以用于确定捕获图像或视频流中的深度和/或识别面部特征和/或表情。在一个或多个具体实施中,电子设备111可不包括触摸屏,但可支持触摸屏类似的手势,诸如在虚拟现实环境或增强现实环境中。
在图1中,通过举例的方式,电子设备111被描绘为具有触摸屏的智能手表。在一个或多个具体实施中,电子设备111可以是和/或可以包括下文相对于图10讨论的电子系统的全部或部分。在一个或多个具体实施中,电子设备111可包括相机、触摸屏和麦克风,并且可提供应用程序,诸如内容编辑器应用程序、文件管理器应用程序、或被布置为与电子设备110、电子设备112和/或电子设备115的部件协作以向应用程序提供输入(例如,直接通过有线或无线对等连接或者通过与电子设备110、电子设备112和/或电子设备115的网络106)的其他应用程序。
在一个或多个具体实施中,服务器120管理电子设备110、111、112和/或115之间的数据的安全交换。然而,应当理解,电子设备110、111、112和/或115可使用无线近场通信(NFC)信号诸如蓝牙信号、直接WiFi信号和/或有线连接来直接交换数据(例如,没有网络106或服务器120)。例如,电子设备110、111、112和115中的每一者可包括搜索、识别和存储可用于与该设备进行通信的设备的标识符的电路(例如,应用程序编程接口(API))。可用于与特定设备进行通信的设备可以是在与特定设备和/或公共用户设备(诸如注册到公共用户账户的设备(例如,利用服务器120))的NFC通信或直接WiFi通信的范围内的附近设备。
API可用于存储可相互访问的用户自身设备(例如,在服务器120处注册到该用户的账户的设备)的列表(无论那些设备是否非常接近),和/或彼此非常接近的设备的列表(无论设备是否注册到相同的用户账户)。以此方式,处于近程通信范围内的设备的系统可被通信地耦接而不管设备的所有者如何,和/或注册到公共所有者或所有者组并连接到服务器120的设备的系统可被通信地耦接而不管是否接近。在一些情况下,只有注册到公共用户的非常接近的设备可被包括在可用设备的列表中。
每个设备的API还可用于识别该设备的特征(例如,设备的部件,诸如相机、触摸屏或触控板、麦克风或触笔输入设备)。API可用于为可用设备列表中的每个设备存储所识别的可用特征的列表。
例如,电子设备110、111、112和115中的每一者可周期性地传输或广播指示该设备的存在的通告信号(例如,使用蓝牙低功耗、NFC协议、或其他无线通信协议)和/或指示该设备的可用特征的特征标志。例如,设备可通告指示设备具有可用于向其他(例如,远程)设备提供输入的可用相机、触笔、触摸屏、传感器等的特征标志。特征标志可与电子设备的一般存在指示通告信号一起被通告,或者一旦识别了可信远程设备并且与该可信设备建立通信,就可通告特征标志。可信设备可以是与设备配对(例如,经由蓝牙通信交换)的设备、通信地耦接到公共网络(诸如与设备的公共WiFi网络)的设备、和/或注册到公共用户账户(例如,如通过账户服务器、设备和可信设备之间的通信验证的)的设备。特征标志可被默认广播,或者特征标志可仅针对已被启用以供远程使用(例如,由设备的用户)的单独特征或特征组进行广播。
API(诸如API 208)和/或一个设备上的应用程序(诸如内容编辑器应用程序、文件管理器应用程序或另一应用程序)可存储指示可用于向该设备提供直接输入的设备和/或可用的设备的可用特征的信息。设备可保持与可用设备中的一个或多个可用设备的通信连接,或者可断开连接并同时(例如,周期性地)保持可信关系(诸如配对)以用于在另一设备处接收到利用一个设备的特征的请求时快速重新连接。
当设备被带离另一设备、登出用户账户(例如,与另一设备相关联的账户)、被设备的用户阻止访问、或从与另一设备的公共网络断开连接(作为示例)时,设备可从另一设备上的可用设备列表中移除。
应用程序(诸如内容编辑器应用程序、文件管理器应用程序、或在电子设备110、111、112或115上运行的其他应用程序)可使用该设备的API来获得可用设备列表,并且确定由API提供的列表中的哪些远程设备可被应用程序使用以向应用程序提供各种类型的输入(例如,基于该设备的特征的列表)。然后,应用程序可向用户提供用于访问列表中的设备的可选选项(例如,通过列出可用设备和/或通过列出可用输入类型以供选择)。在图2、图3和图4中示出了插入来自远程设备的输入的示例,特别是在将在远程设备处生成的内容直接插入主设备的内容编辑器应用程序中的示例性场景中。然而,应当理解,图2至图4的示例(其中内容被输入到内容编辑器应用程序)仅是示例性的,并且在其他场景中,结合图2至图4描述的操作可用于直接将其他数据(诸如元数据(诸如图像注释数据)、AR数据、传感器数据等)输入到另一应用程序(诸如文件管理器应用程序和/或提供用户界面视图的任何其他应用程序)。
图2示出了电子设备110、112和115在电子设备110上的内容编辑器应用程序的操作期间的各种状态。如图2所示,电子设备110的通信电路(例如,使用API 208)与远程电子设备112和115通信以将这些设备识别为可信的和/或通信地耦接到电子设备110的可用设备,并且识别每个设备的特征,诸如面前向相机、面向后相机、触摸屏、麦克风、键盘、一个或多个传感器,诸如健康传感器(例如,心率传感器)、运动传感器(例如,加速度计、陀螺仪、罗盘)等(在图2中未明确示出)。
当电子设备110的处理器执行应用程序(诸如内容编辑器应用程序)的代码时,电子设备110显示用户界面(UI)视图200,该UI视图在该示例中被实现为内容编辑器视图,可将内容输入到和/或可将其他数据输入到该内容编辑器视图以修改UI视图。在图2的示例中,用户已使用设备的键盘、触摸屏或音频输入机构来输入字母数字混合文本204(例如,“Sally骑着这个自行车:”),并且光标206被设置在UI视图200内以指示要输入的下一内容的位置。图2的示例中的UI视图200是文字处理应用中的文档的表示。然而,内容编辑器视图可以是以下的表示:演示幻灯片版面、电子邮件、笔记、媒体内容显示器、图像显示器、视频显示器或用于文字处理器的用户内容的任何其他容器、演示编辑器、电子邮件编辑器、消息传递应用程序、电子表格、媒体编辑器(诸如图像编辑器或视频编辑器)(作为示例)。
在该示例中,用户期望捕获并输入Sally的自行车的图像以插入UI视图200中。如图所示,UI视图200包括可选选项210,其包括在被选择时致使内容编辑器应用程序提供可选插入选项220的列表的输入或插入选项。如图2所示,电子设备110还包括可被选择以用于控制电子设备110的除内容编辑器应用程序之外的方面的系统控制选项212。例如,当电子设备110的用户选择选项210中的一个选项时,内容编辑器应用程序可经由API 208获得可用设备的列表225(包括那些设备的可用特征226)。内容编辑器应用程序可接收列表225,并且基于可用特征226来识别可由可用特征226提供的输入的类型(例如,图像输入、图像标记输入、绘图输入、手写识别输入、传感器输入、健康数据输入、活动数据输入、AR数据输入、情绪输入等)。
在图2的示例中,可选插入选项220的列表(例如,响应于插入选项的选择而显示)包括通过远程设备(例如,使用利用触摸屏或触控板和/或触笔输入设备的远程设备上的绘图输入应用程序和/或手写识别应用程序)输入绘图输入(诸如手绘草图输入和/或手写字母、数字或字符(例如,作为手写中识别的字符的手写或数字表示的输入))的选项222,以及通过远程设备捕获图像的选项224。
还应当理解,尽管未在图2中明确示出,但也可提供针对可从远程设备获得和提供的其他类型的内容或数据的插入选项220。例如,插入选项220可包括针对以下的选项:输入健康数据(例如,来自智能手表)诸如心率数据或活动数据(例如,心率值、心率图、其他心电数据、步数数据、卡路里燃烧数据、或指示用户的心脏活动的音频或视频文件)、运动数据(例如,来自运动传感器,诸如陀螺仪、全球定位系统(GPS)部件、或智能手表、智能电话或平板设备的加速度计)、动画表情或其他动画内容、增强现实内容或数据(例如,增强现实视频流和/或相关联的元数据),和/或情绪数据(例如,用于设置内容编辑器应用程序、另一应用程序、或电子设备110的其他特征的主题的数据,如由智能手表使用智能手表所捕获的生物计量数据来确定的,通过具有面部分析能力的相机应用程序确定的,该相机应用程序可识别面部点标测数据和/或生成指示来自面部点标测数据的信息的情绪,或者如在电子设备110处使用生物计量数据、面部分析数据、或其他数据(诸如来自另一设备的传感器数据)来确定的)。
在图2的示例中,内容编辑器应用程序已基于可用设备(例如,通信地耦接到电子设备110的设备“A”、“B”和“C”)的列表225以及列表中的每个设备的对应数据生成特征226(如经由API 208获得的)来生成选项222和224。在该示例中,设备“A”可以是具有相机、触摸屏和麦克风的电子设备112,设备“B”可以是具有相机、触摸屏、麦克风和触笔输入设备121的电子设备115,并且设备“C”可以是在服务器120处注册到与电子设备110的公共用户账户并连接到网络106的远程设备(例如,具有触摸屏和麦克风的智能手表)。在图2的配置中,电子设备112和115处于不活动(例如,低功率)状态。
在该示例中,电子设备110可在内容编辑器应用程序处获得通信地耦接的设备的列表225以及通信地耦接的设备中的每个设备的一个或多个数据生成特征226的指示。电子设备110然后可提供能够远程获得的内容类型(例如,绘图内容、图像内容、健康数据(诸如步数数据、心率数据、心电数据、卡路里数据、血压数据或来自可穿戴设备和/或其他健身装备的其他数据)、图像编辑元数据、增强现实(AR)数据(诸如表示设备的用户和/或周围环境和/或要覆盖在用户和/或周围环境的一个或多个图像上或以其他方式与其组合的虚拟内容的数据)、和/或传感器数据(诸如光传感器数据、接近传感器数据、运动传感器数据等))的列表以应用与内容编辑器应用程序一起显示。
在图2的示例中,因为所有的设备“A”、“B”和“C”具有触摸屏,所以内容编辑器应用程序提供链接到设备“A”、“B”和“C”中的每一者的绘图输入选项222。在一个示例中,因为设备“B”包括触笔输入设备,所以内容编辑器应用程序可将设备“B”识别为最适合于绘图输入的设备,并且可将设备“B”设置为默认绘图输入设备,其中设备“A”和设备“C”作为另选选项。在另一示例中,设备“A”、“B”和“C”可被设置为针对绘图输入的未排名选项以供用户选择。
在图2的示例中,因为设备“A”和“B具有相机,所以内容编辑器应用程序提供链接到设备“A”和”B“中的每一者的图像捕获输入选项224。电子设备110可通过内容编辑器应用程序接收对能够远程获得的内容类型中的一者的选择,诸如对图像捕获输入选项224的选择。
图3示出了在选择图像捕获输入选项224的操作场景中的电子设备110、112和115的示例。如图3所示,响应于在电子设备110处的对图像捕获输入选项224的选择,电子设备110通过内容编辑器应用程序将第二电子设备(电子设备112或设备“A”)和第三电子设备(电子设备115或设备“B”)识别为用于提供图像的可用设备。然后,电子设备110响应于对选项224的选择而通过电子设备110的内容编辑器应用程序来激活电子设备112的相机和电子设备115的相机。
如图3所示,从电子设备110的内容编辑器应用程序激活电子设备112和115的相机激活了电子设备112上的相机应用程序和电子设备115上的相机选项,使得电子设备112显示图像预览300和图像捕获选项302,并且电子设备115显示图像预览304和图像捕获选项306。在该配置中,内容编辑器应用程序(例如,经由API 208)已激活电子设备112和115两者的相机应用程序,使得用户可选择这些设备中的一个设备以捕获图像。在图3的示例中,可在UI视图200中显示指示要插入的图像的位置的占位符307。
相机应用程序(或另一远程输入应用程序,诸如绘图输入应用程序、传感器输入应用程序等)可在每个设备的锁定屏幕的外部被激活(例如,不需要为了使用相机或其他应用程序而在该设备处进行用户认证),使得用户可操作设备以生成和插入输入,而无需提供对存储在设备上的潜在敏感用户内容的访问。在一些具体实施中,当激活辅助设备的另一应用程序和/或部件以供输入时,在电子设备110上运行的应用程序可被设置有绕过辅助设备(例如,电子设备111、112或115)上的安全机构(诸如锁定屏幕或密码/口令)的能力。例如,在一个或多个具体实施中,辅助设备已被识别为电子设备110上的应用程序的可用设备,并且针对该辅助设备,和辅助设备相关联和/或登录到辅助设备的用户账户与和主设备相关联和/或登录到主设备的用户账户相同,可允许绕过辅助设备的安全机构。
还应当指出的是,相机应用程序(或另一远程输入应用程序,诸如手写输入应用程序)可用于将内容插入电子设备110上的内容编辑器应用程序中,而无需激活或操作电子设备112或电子设备115上的内容编辑器应用程序(例如,相同的文字处理器应用程序或相同的电子邮件客户端)。
在图3的示例中,电子设备110处的内容编辑器应用程序接收电子设备112已被选择用于生成和插入期望图像的指示。因此,电子设备110处的内容编辑器应用程序去激活电子设备115上的相机和相机应用程序。在一个或多个具体实施中,对电子设备110处的内容编辑器应用程序的指示可以是通过在图像捕获操作中选择图像捕获选项302来利用电子设备112捕获图像的动作。然而,在图3的示例中,电子设备112已被移动(例如,由用户拾取)并且该运动已由电子设备112(例如,由电子设备112的惯性测量单元或加速度计)检测到,并且已致使电子设备112为电子设备110生成电子设备112已由用户选择的指示。
在图3的示例中,电子设备110的内容编辑器应用程序提供来自所选择的电子设备112的相机的预览图像流308以供显示(例如,在电子设备110的UI视图200中),该预览图像流反映在所选择的电子设备112处显示的图像预览300。然而,应当理解,在一些具体实施中,可提供没有占位符307或预览图像流308的UI视图200。还应当理解,可提供预览图像流308以反映由所选择的远程设备生成的任何数据流或内容,诸如在远程设备处生成的手写输入的实时显示。还应当理解,占位符307可以包括来自所有激活设备的图像预览流(例如,来自电子设备112和115两者的并排流),使得占位符307中的预览流可用于选择期望设备(例如,如果两个设备正由远离电子设备110的位置的其他用户操作,或者如果两个设备对于待成像的共同对象提供不同的视角)。
第一通信协议(诸如蓝牙)可用于发现列表225中的设备和特征和/或激活所发现的设备的一个或多个部件。在各种具体实施中,第一通信协议和/或第二通信协议(诸如WiFi、其他局域网(LAN)或其他网络或有线/无线通信协议和/或电路)可用于传送预览图像流、内容等。预览图像流308可包括来自远程设备的分段或连续提供的数据(例如,可在从远程设备接收数据流时从远程设备提供表示触笔输入的全分辨率数据流,或者可提供低分辨率预览数据流,其中例如在远程设备处通过触笔周期性地提供多条绘图笔画输入)。来自所选择的电子设备112的相机的预览图像流308可以是全分辨率图像流,或者可以是分辨率降低的图像流以有助于更快地转移和行进到电子设备110。在一些示例中,预览图像流308可以是包括视频帧和针对一个或多个视频帧的覆盖内容的增强现实(AR)视频流。
在图2至图4的示例中,当期望其图像的自行车在电子设备112的相机的视图内时,用户可选择图像捕获选项302(或电子设备110上的对应选项)以通过电子设备112的相机捕获自行车的图像400。通过选择图像捕获选项,捕获、传输图像400并且将其在光标206的位置处直接插入UI视图200中,该光标的位置相应地移动到更新的下一个输入位置。如图4所示,当插入图像400时,电子设备112被去激活(例如,在电子设备112处不存储图像400)。
在一个或多个具体实施中,用于操作电子设备112的相机(或用于图像捕获或其他远程输入操作的另一设备的另一部件)的命令可由电子设备110的内容编辑器应用程序生成,并且由电子设备110的通信电路(例如,由API和/或网络接口1016)传输至远程设备。在这些配置中,电子设备110的内容编辑器应用程序存储与各种类型的电子设备的相机部件相关联的信息以用于生成相机控制命令。
在一个或多个具体实施中,用于操作电子设备112的相机(或用于图像捕获或其他远程输入操作的另一设备的另一部件)的命令可由API 208生成。在这些配置中,电子设备110的API 208用于存储与各种类型的电子设备的相机部件相关联的信息,以用于响应于内容编辑器应用程序经由API 208作出的与设备无关的图像请求而生成相机控制命令。
在图2至图4的示例中,选择图像捕捉输入选项224以用于将图像输入到由内容编辑器应用程序提供的文档中。然而,还应当理解,可将来自另一设备的直接输入提供给用于输入内容、修改UI视图、和/或将数据或内容直接输入到文件或文件夹中的任何应用程序。图5和图6描述了提供数据(诸如内容)以用于直接输入到内容编辑器应用程序的内容编辑视图中的示例。图7示出了其中应用程序的UI视图被设置有主题并且来自另一设备的数据(诸如情绪数据)用于修改主题的另一示例。图8示出了其中文件管理器应用程序被设置有来自远程设备的数据以用于经由文件管理器应用程序直接输入到文件系统的文件或文件系统的文件夹中的另一示例。
然而,应当理解,这些示例是示例性的,并且设想了来自另一设备的输入的其他示例。例如,第一设备的用户可请求使用远程设备以使用另一设备(例如,用于编辑或标记图像的具有触摸屏和/或触笔的设备)上的图像编辑应用程序来编辑或标记图像。在该示例中,响应于该请求,第一设备上的文件管理器应用程序或图像编辑器应用程序可将图像提供给远程设备,并且激活远程设备上的图像编辑器应用程序以用于编辑图像。远程设备可接收标记输入(例如,经由触笔和/或触摸屏)并且基于所接收的标记向第一设备提供标记元数据(例如,在接收标记输入期间或之后)以用于在第一设备处的图像上呈现所接收的标记(例如,在远程设备处不存储图像或标记元数据,并且在一些情况下,不将图像发送回第一设备)。
图5示出了根据一个或多个具体实施的用于从另一设备(诸如远程设备)直接将数据接收(例如,插入内容)到内容编辑器应用程序中的示例性过程500的流程图。出于解释的目的,本文主要参考图1和图2的部件中的部件(尤其是参考电子设备110、111、112和115)来描述过程500,该过程可由图1至图4的电子设备110、111、112和115的一个或多个处理器执行。然而,过程500不限于电子设备110、111、112和115,并且过程500的一个或多个框(或操作)可由其他合适的设备(诸如一个或多个其他电子设备,诸如智能手表或数字相机)的一个或多个其他部件执行。进一步出于解释的目的,过程500的框在本文中被描述为顺序地或线性地发生。然而,过程500的多个框可并行发生。此外,过程500的框不必按所示顺序执行,并且/或者过程500的一个或多个框不必执行和/或可由其他操作替代。
在框502处,电子设备110的处理器提供内容编辑器应用程序的内容编辑器视图200以用于显示,该内容编辑器应用程序包括用于从另一设备获得数据(例如,图像、视频、增强现实内容、图像标记元数据、手写识别数据、手绘草图数据、步数数据、心率数据、心电数据、卡路里数据、血压数据和/或情绪数据)的一个或多个可选选项210,诸如用于将内容插入内容编辑视图中。一个或多个可选选项210包括从另一设备(诸如通信地耦接到电子设备110和/或与电子设备110配对的远程设备(例如,电子设备111、电子设备112或电子设备115))获得输入(诸如内容)的至少一个选项(参见例如图2的绘图输入选项222和图像捕获输入选项224)。电子设备(诸如电子设备110、电子设备111、电子设备112和/或电子设备115)可使用配对过程来建立可信关系并且然后稍后彼此连接,即配对设备可以不始终通信地耦接到另一设备,但可快速地变为通信地耦接。
电子设备110的处理器还可以发现另一设备,识别另一设备的一个或多个可用特征(例如,基于另一设备的各种部件的存在和/或各种部件的可用软件控制),以及识别能够使用一个或多个可用特征来获得的一种或多种类型的输入,该一种或多种类型的输入中的至少一者对应于数据。识别另一设备的可用特征可包括基于与另一设备的通信(例如,包括所接收的信号,来自另一设备的广播,包括另一设备的特征标志)获得远程设备处的软件中的可用服务的列表。远程设备处的软件中的可用服务可包括用于远程使用远程设备处的硬件部件(例如,相机、触摸屏、触笔、光传感器、运动传感器、活动传感器或位置传感器)和/或软件服务的服务。例如,另一设备可基于以下来通告可用服务:硬件支持(例如,用于硬件部件的远程使用)在另一设备上是否可用,在另一设备处是否已安装用于另一设备的系统软件的较新版本中设置的新服务,和/或是否已启用或禁用特定服务(例如,基于用户设置)。处理器还可基于一种或多种类型的输入生成一个或多个可选选项。
电子设备110还可包括可供另一设备和/或附加设备(例如,电子设备111、电子设备112或电子设备115中的其他设备)使用的一个或多个可用部件(例如,相机、触摸屏、触笔、光传感器、运动传感器、活动传感器或位置传感器)(例如,在软件中具有相关联的可用服务(诸如针对部件的远程使用的硬件支持)的部件,和/或被启用以供远程使用(诸如通过用户设置)的部件)。电子设备110还可通告用于使用可用部件以向另一设备提供数据的特征标志。通告特征标志可包括广播包括用于由其他设备发现的特征标志的信号。
在框504处,电子设备110的处理器从内容编辑器应用程序内接收对可选插入选项220中的至少一者的选择以从另一设备获得数据(诸如内容)。
在框506处,电子设备110的处理器通过内容编辑器应用程序来激活另一设备上的附加应用程序。附加应用程序可与设备或内容编辑器应用程序无关。例如,附加应用程序可以是与远程设备的相机相关联的相机应用程序、智能手表的健康监测或活动监测应用程序、手写识别应用程序、图像标记应用程序、与另一设备的传感器相关联的活动监测应用程序、与另一设备的传感器相关联的健康监测应用程序、或与远程设备的触笔相关联的绘图条目(例如,记笔记或手绘草图)应用程序。更一般地,附加应用程序可不同于在电子设备110上运行的内容编辑器应用程序,并且可被配置用于操作另一设备的部件并且独立于电子设备110的任何部件。
在框508处,电子设备110的处理器通过内容编辑器应用程序从另一设备上的附加应用程序接收内容编辑视图的数据(例如,用于插入内容编辑器应用程序中的内容(诸如图像400))。在一个或多个具体实施中,接收数据可包括通过内容编辑器应用程序生成用于操作远程设备的部件以生成用于插入的内容,以及通过设备的通信电路(参见例如图2的API208和/或图10的网络接口1016)将所生成的命令提供给远程设备的命令。在一个或多个具体实施中,接收数据可包括从设备的内容编辑器应用程序并经由设备的应用程序编程接口208调用用于请求内容的功能,以及经由应用程序编程接口208并响应于调用功能而提供用于操作另一设备的部件以生成用于插入的内容的命令。
图6示出了根据一个或多个具体实施的用于从另一设备(诸如远程设备)直接将数据流(例如,用于插入内容或数据的其他直接输入)接收到内容编辑器应用程序中的另一示例性过程600的流程图。出于解释的目的,本文主要参考图1和图2的部件中的部件(尤其是参考电子设备110、111、112和115)来描述过程600,该过程可由图1和图2的电子设备110、111、112和115的一个或多个处理器执行。然而,过程600不限于电子设备110、111、112和115,并且过程600的一个或多个框(或操作)可由其他合适的设备(诸如智能手表或数字相机)的一个或多个其他部件执行。进一步出于解释的目的,过程600的框在本文中被描述为顺序地或线性地发生。然而,过程600的多个框可并行发生。此外,过程600的框不必按所示顺序执行,并且/或者过程600的一个或多个框不必执行和/或可由其他操作替代。
在框602处,第一电子设备(例如,电子设备110)的处理器从在第一电子设备上运行的内容编辑器应用程序内激活第二电子设备(例如,电子设备112或电子设备115)的部件。在一个示例中,内容编辑器应用程序是显示包括用于编辑的文档的内容编辑器视图200的文字处理应用程序,并且插入包括在所显示的文档中显示捕获图像400而不将捕获图像存储在第二电子设备处。
在框604处,第二电子设备的处理器在第二电子设备处控制第二电子设备的部件以生成用于内容编辑器应用程序的数据流(例如,以作为内容插入或生成用于插入内容编辑器应用程序中的内容)。控制第二电子设备的部件可包括操作电子设备112或电子设备115的相机以捕获图像400或基于一个或多个捕获图像来生成图像元数据(诸如情绪数据)(例如,响应于在第二电子设备处选择图像捕获选项302/306)。
在框606处,第二电子设备的处理器接收输入(例如,来自绘图输入应用程序的图像捕获选项或发送选项的选择)并且修改内容编辑器应用程序的内容编辑视图(例如,通过将在第二电子设备处生成的内容插入内容编辑器应用程序中)。例如,修改内容编辑视图可包括通过以下方式将所生成的内容插入内容编辑器应用程序中:响应于在第二电子设备处选择图像捕获选项302而将捕获图像400从第二电子设备传输到第一电子设备的内容编辑器应用程序中并且无需对第二电子设备或第一电子设备的进一步输入。
第一电子设备还可通过内容编辑器应用程序从第二电子设备接收第二电子设备已被选择用于获得能够远程获得的内容类型中的一者的指示。响应于该指示,第一电子设备可去激活第三电子设备的部件。已选择第二电子设备的指示可包括对第二电子设备的运动的指示、对第二电子设备上的图像捕获操作的指示、对与第二电子设备相关联的触笔的运动的指示、或对第二电子设备的触摸屏的触摸输入(作为示例)。
在一些示例中,第二电子设备可从第一电子设备接收图像(例如,存储在第一电子设备的存储器中的图像或通过第一电子设备的相机捕获的图像)。第二电子设备可显示图像,并且经由第二电子设备的触摸屏接收图像标记输入。第二电子设备可基于图像标记输入向第一电子设备提供图像标记元数据,而不存储图像或图像标记元数据,并且不将图像发送到第一电子设备。第一电子设备可使用图像标记元数据在第一电子设备处的所显示的图像上呈现图像标记输入。
图7示出了根据一个或多个具体实施的用于直接从另一设备接收数据以修改应用程序的用户界面视图的示例性过程700的流程图。出于解释的目的,本文主要参考图1和图2的部件中的部件(尤其是参考电子设备110、111、112和115)来描述过程700,该过程可由图1的电子设备110、111、112和115的一个或多个处理器执行。然而,过程700不限于电子设备110、111、112和115,并且过程700的一个或多个框(或操作)可由其他合适的设备(诸如一个或多个其他电子设备,诸如智能手表或数字相机)的一个或多个其他部件执行。进一步出于解释的目的,过程700的框在本文中被描述为顺序地或线性地发生。然而,过程700的多个框可并行发生。此外,过程700的框不必按所示顺序执行,并且/或者过程700的一个或多个框不必执行和/或可由其他操作替代。
在框702处,电子设备110的处理器提供应用程序的用户界面视图以用于使用主题来显示,该用户界面视图包括用于从另一设备获得数据的一个或多个可选选项210,诸如用于修改用户界面视图(例如,经由将内容插入UI视图中或修改视图的所显示的部分)。一个或多个可选选项210包括从另一设备(诸如通信地耦接到电子设备110和/或与电子设备110配对的远程设备(例如,电子设备111、电子设备112或电子设备115))获得数据(诸如情绪数据)的至少一个选项。电子设备(诸如电子设备110、电子设备111、电子设备112和/或电子设备115)可使用配对过程来建立可信关系并且然后稍后彼此连接,即配对设备可以不始终通信地耦接到另一设备,但可快速地变为通信地耦接。
在框704处,电子设备110的处理器经由应用程序接收对可选插入选项220中的至少一者的选择以从另一设备获得数据。
在框706处,电子设备110的处理器经由应用程序激活另一设备上的附加应用程序。另一设备上的附加应用程序可与电子设备110或在电子设备110上运行的应用程序无关。例如,附加应用程序可以是与远程设备的相机相关联的相机应用程序,智能手表的健康监测、情绪监测或活动监测应用程序,或与远程设备的触笔相关联的绘图条目(例如,记笔记或手绘草图)应用程序。更一般地,另一设备上的附加应用程序可不同于在电子设备110上运行的应用程序,并且可被配置用于操作另一设备的部件并且独立于电子设备110的任何部件。
在框708处,电子设备110的处理器通过应用程序从另一设备上的附加应用程序接收UI视图的数据(例如,用于修改UI视图的主题的数据(诸如情绪数据))。在一个或多个具体实施中,接收数据可包括通过应用程序生成用于操作另一设备的部件以生成数据,以及通过设备的通信电路(参见例如图2的API 208和/或图10的网络接口1016)将所生成的命令提供给另一设备的命令。
在一个或多个具体实施中,接收数据可包括从设备的应用程序并经由设备的应用程序编程接口208调用用于请求数据的功能,以及经由应用程序编程接口208并响应于调用功能而提供用于操作另一设备的部件以生成数据的命令。在一个示例中,从另一设备获得数据的至少一个选项包括使用另一设备的相机或传感器来获得情绪数据的选项。在一个示例中,数据包括情绪数据,该情绪数据指示另一设备的用户的情绪(例如,快乐情绪、难过情绪、生气情绪、激动情绪、害怕情绪、迷惑情绪、疯狂情绪等)。如本文所述,可使用另一设备的相机(例如,以及用于识别面部特征和表情的相关联软件和/或电路)和/或一个或多个健康或活动传感器(例如,光学光传感器、红外传感器、其他光传感器、心率传感器、运动传感器等)来确定用户的情绪。
在框710处,应用程序可使用数据来修改UI视图的主题。例如,修改主题可包括基于所确定的用户的情绪来改变UI视图的背景颜色或背景图像、改变用于UI视图的各种特征的色彩方案或调色板、改变虚拟按钮的形状或其他显示的特征,和/或替换、添加或移除UI视图的所显示的特征。情绪可由远程设备确定和提供,或者情绪可由应用程序基于从远程设备提供的情绪数据或传感器数据来确定。
图8示出了根据一个或多个具体实施的用于直接从另一设备接收数据以通过文件管理器应用程序输入到文件的示例性过程800的流程图。出于解释的目的,本文主要参考图1和图2的部件中的部件(尤其是参考电子设备110、111、112和115)来描述过程800,该过程可由图1的电子设备110、111、112和115的一个或多个处理器执行。然而,过程800不限于电子设备110、111、112和115,并且过程800的一个或多个框(或操作)可由其他合适的设备(诸如一个或多个其他电子设备,诸如智能手表或数字相机)的一个或多个其他部件执行。进一步出于解释的目的,过程800的框在本文中被描述为顺序地或线性地发生。然而,过程800的多个框可并行地发生。此外,过程800的框不必按所示顺序执行,并且/或者过程800的一个或多个框不必执行和/或可由其他操作替代。
在框802处,电子设备110的处理器提供文件管理器应用程序的用户界面视图以用于使用主题来显示,该用户界面视图包括用于将数据输入到由设备的存储器存储的文件中的一个或多个可选选项210。文件管理器应用程序的UI视图可包括用于输入用于搜索电子设备的文件系统的搜索查询的搜索字段,以及其中显示表示文件系统上的文件和/或文件夹的列表或图标的文件视图。一个或多个可选选项210包括从另一设备(诸如通信地耦接到电子设备110和/或与电子设备110配对的远程设备(例如,电子设备111、电子设备112或电子设备115))获得数据的至少一个选项。电子设备(诸如电子设备110、电子设备111、电子设备112和/或电子设备115)可使用配对过程来建立可信关系并且然后稍后彼此连接,即配对设备可以不始终通信地耦接到另一设备,但可快速地变为通信地耦接。
在框804处,电子设备110的处理器经由文件管理器应用程序接收对可选插入选项220中的至少一者的选择以从另一设备获得数据。
在框806处,电子设备110的处理器经由文件管理器应用程序激活另一设备上的另一应用程序。另一设备上的另一应用程序可与电子设备110或在电子设备110上运行的文件管理器应用程序无关。例如,另一应用程序可以是与远程设备的相机相关联的相机应用程序,智能手表的健康监测、情绪监测或活动监测应用程序,或与远程设备的触笔相关联的绘图条目(例如,记笔记或手绘草图)应用程序。更一般地,另一设备上的另一应用程序可不同于在电子设备110上运行的文件管理器应用程序,并且可被配置用于操作另一设备的部件并且独立于电子设备110的任何部件。
在框808处,电子设备110的处理器通过文件管理器应用程序从另一设备上的另一应用程序接收UI视图的数据。在一个或多个具体实施中,接收数据可包括通过文件管理器应用程序生成用于操作另一设备的部件以生成数据,以及通过设备的通信电路(参见例如图2的API 208和/或图10的网络接口1016)将所生成的命令提供给另一设备的命令。在一个或多个具体实施中,接收数据可包括从设备的文件管理器应用程序并经由设备的应用程序编程接口208调用用于请求数据的功能,以及经由应用程序编程接口208并响应于调用功能而提供用于操作另一设备的部件以生成数据的命令。
在框810处,文件管理器应用程序可将所接收的数据输入到文件系统上的文件中。将所接收的数据输入到文件中可包括将数据作为文件保存在文件夹中,打开文件并将数据插入到文件中而无需进一步的用户输入,或者将数据插入到文件中而无需打开文件(例如,通过打开文件的后台版本而不显示打开的后台版本,插入数据,以及将文件与插入的数据一起保存和/或通过从数据生成新文件)。另一设备可将文件的数据提供给文件管理器,而不将数据存储在另一设备上。
图9示出了在该示例中被实现为内容编辑器视图或文本编辑器视图的应用程序的用户界面(UI)视图900,可将内容数据和/或可将其他数据输入到该内容编辑器视图或文本编辑器视图中以修改UI视图。在图9的示例中,用户已使用设备的键盘、触摸屏或音频输入机构来输入字母数字混合文本904(例如,“这是文本编辑器,我正在插入图片:”)。图9的示例中的UI视图900是文本编辑器应用程序中的文档的表示。
在该示例中,用户期望捕获照片并将其输入到UI视图900中。如图所示,UI视图900包括可选选项910,该可选选项可以(尽管未明确示出)包括输入或插入选项,该输入或插入选项在被选择时致使得应用程序提供通过远程设备诸如平板设备(例如,在图9中被识别为“测试板”)来捕获图像的选项922。在图9的示例中,选项922被提供为弹出窗口或标注框,其包括捕获图像将被插入到UI视图900中的位置的视觉指示符999。还应当理解,也可以或另选地响应于例如在期望输入的位置处的右击、来自用户的语音命令或在自动检测到用户输入的文本(诸如术语“插入”和/或术语“图片”)时而提供通过“测试板”捕获图像的选项922。还应当理解,尽管在图9中示出了单个输入选项922(用于插入来自单个设备的图片),但这仅是示例,并且可(例如,在上文结合图2的列表220所述的列表中)提供如本文所述的附加输入选项(例如,绘图输入、传感器输入、健康数据输入、或来自“测试板”的其他期望输入和/或关于其他设备的一个或多个输入选项)。
为了使用“测试板”来捕获并插入照片,用户可点击选项922的可点击位置(例如,在选项922的显示区域内的任何位置或在表示“测试板”的显示图标上)以激活平板设备“测试板”的相机。为了向用户提供消除选项922的能力,还可以与选项922一起提供取消选项912,如图所示。
如上所述,本技术的一个方面是采集和使用能够从特定且合法的来源获得的数据以用于插入来自另一设备的内容或其他数据。本公开设想,在一些实例中,该所采集的数据可包括唯一地识别或可用于识别具体人员的个人信息数据。此类个人信息数据可包括人口统计数据、基于位置的数据、在线标识符、电话号码、电子邮件地址、家庭地址、与用户的健康或健身级别相关的数据或记录(例如,生命特征测量、药物信息、锻炼信息)、出生日期或任何其他个人信息。
本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如,个人信息数据可用于识别可用的远程设备,获得对远程设备的访问,和/或针对从远程设备插入内容或其他数据的相对适用性对远程设备进行排名或评分。此外,本公开还预期个人信息数据有益于用户的其他用途。例如,健康和健身数据可根据用户的偏好来使用以提供对其总体健康状况的见解,或者可用作对使用技术来追求健康目标的个体的积极反馈。
本公开设想负责收集、分析、公开、传输、存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地,将期望此类实体实现和一贯地应用一般公认为满足或超过维护用户隐私的行业或政府所要求的隐私实践。关于使用个人数据的此类信息应当被突出地并能够被用户方便地访问,并应当随数据的采集和/或使用变化而被更新。用户的个人信息应被收集仅用于合法使用。另外,此类收集/共享应仅发生在接收到用户同意或在适用法律中所规定的其他合法根据之后。此外,此类实体应考虑采取任何必要步骤,保卫和保障对此类个人信息数据的访问,并确保有权访问个人信息数据的其他人遵守其隐私政策和流程。另外,这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。此外,应针对便采集和/或访问的特定类型的个人信息数据调整政策和实践,并使其适用于适用法律和标准,包括可用于施加较高标准的辖区专有的具体考虑因素。例如,在美国,对某些健康数据的收集或获取可能受联邦和/或州法律的管辖,诸如健康保险流通和责任法案(HIPAA);而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。
不管前述情况如何,本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件,以防止或阻止对此类个人信息数据的访问。例如,在从远程设备插入内容或其他数据的情况下,本发明的技术可被配置为在注册服务期间或之后任何时候允许用户选择“选择加入”或“选择退出”参与对个人信息数据的收集。除了提供“选择加入”和“选择退出”选项外,本公开设想提供与访问或使用个人信息相关的通知。例如,可在下载应用时向用户通知其个人信息数据将被访问,然后就在个人信息数据被应用访问之前再次提醒用户。
此外,本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据,通过限制数据收集和删除数据可最小化风险。此外,并且当适用时,包括在某些健康相关应用程序中,数据去标识可用于保护用户的隐私。可在适当时通过移除标识符、控制所存储数据的量或特异性(例如,在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如,在用户间汇集数据)和/或其他方法诸如差异化隐私来促进去标识。
因此,虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案,但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即,本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如,可基于非个人信息数据或绝对最低限度量的个人信息(诸如与用户相关联的设备所请求的内容、获得内容或其他数据的应用程序可用的其他非个人信息、或可公开获得的信息)来执行来自远程设备的内容或其他数据的插入。
图10示出了可以利用其来实现本主题技术的一个或多个具体实施的电子系统1000。电子系统1000可以是图1所示的电子设备110、电子设备111、电子设备112、电子设备115和/或服务器120并且/或者可以是其一部分。电子系统1000可包括各种类型的计算机可读介质以及用于各种其他类型的计算机可读介质的接口。电子系统1000包括总线1008、一个或多个处理单元1012、系统存储器1004(和/或缓存)、ROM 1010、永久性存储设备1002、输入设备接口1014、输出设备接口1006以及一个或多个网络接口1016,或其子集及变体形式。
总线1008总体表示通信地连接电子系统1000的许多内部设备的全部系统总线、外围设备总线和芯片组总线。在一个或多个具体实施中,总线1008将一个或多个处理单元1012与ROM 1010、系统存储器1004和永久性存储设备1002通信地连接。一个或多个处理单元1012从这些各种存储器单元检索要执行的指令和要处理的数据,以便执行本主题公开的过程。在不同的具体实施中,一个或多个处理单元1012可为单个处理器或者多核处理器。
ROM 1010存储一个或多个处理单元1012以及电子系统1000的其他模块所需的静态数据和指令。另一方面,永久性存储设备1002可为读写存储器设备。永久性存储设备1002可为即使在电子系统1000关闭时也存储指令和数据的非易失性存储器单元。在一个或多个具体实施中,海量存储设备(诸如,磁盘或光盘及其对应的磁盘驱动器)可被用作永久性存储设备1002。
在一个或多个具体实施中,可移除存储设备(诸如软盘、闪存驱动器及其对应的磁盘驱动器)可以用作永久性存储设备1002。与永久性存储设备1002一样,系统存储器1004可为读写存储器设备。然而,与永久性存储设备1002不同,系统存储器1004可为易失性读写存储器,诸如随机存取存储器。系统存储器1004可存储一个或多个处理单元1012在运行时可能需要的指令和数据中的任何指令和数据。在一个或多个具体实施中,本主题公开的过程被存储在系统存储器1004、永久性存储设备1002和/或ROM 1010中。一个或多个处理单元1012从这些各种存储器单元检索要执行的指令和要处理的数据,以便执行一个或多个具体实施的过程。
总线1008还连接至输入设备接口1014和输出设备接口1006。输入设备接口1014使得用户能够向电子系统1000传送信息以及选择命令。可与输入设备接口1014一起使用的输入设备可包括例如字母数字混合键盘和指向设备(也称为“光标控制设备”)。输出设备接口1006可例如使得能够显示电子系统1000所生成的图像。可与输出设备接口1006一起使用的输出设备可包括例如打印机和显示设备,诸如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、柔性显示器、平板显示器、固态显示器、投影仪或用于输出信息的任何其他设备。一个或多个具体实施可包括既充当输入设备又充当输出设备的设备,诸如触摸屏。在这些具体实施中,提供给用户的反馈可以是任何形式的感官反馈,诸如视觉反馈、听觉反馈或触觉反馈;并且可以任何形式接收来自用户的输入,包括声学、语音或触觉输入。
最后,如图10所示,总线1008还通过一个或多个网络接口1016将电子系统1000耦接到一个或多个网络和/或耦接到一个或多个网络节点,诸如图1中所示的电子设备115。以此方式,电子系统1000可为计算机网络(诸如LAN、广域网(“WAN”)或内联网)的一部分,或者可为网络的网络(诸如互联网)的一部分。电子系统1000的任何或所有部件可与本主题公开一起使用。
根据本主题公开的各个方面,提供了一种设备,该设备包括存储器和至少一个处理器,该至少一个处理器通信地耦接到存储器并且被配置为提供内容编辑器应用程序的内容编辑视图以用于显示。内容编辑视图包括用于修改内容编辑视图的一个或多个可选选项。一个或多个可选选项包括从通信地耦接到设备的另一设备获得数据的至少一个选项。至少一个处理器被进一步配置为经由内容编辑器应用程序来接收对至少一个选项的选择以从另一设备获得数据。至少一个处理器被进一步配置为经由内容编辑器应用程序来激活另一设备上的附加应用程序。至少一个处理器被进一步配置为从另一设备上的附加应用程序接收用于修改内容编辑视图的数据。
根据本主题公开的各个方面,提供了一种包括指令的非暂态计算机可读介质,该指令在由至少一个计算设备执行时致使至少一个计算设备执行包括提供内容编辑器应用程序的内容编辑视图以用于显示的操作。内容编辑视图包括用于将内容插入到内容编辑视图中的一个或多个可选选项。一个或多个可选选项包括从远程设备获得内容的至少一个选项。操作还包括从内容编辑器应用程序内接收对至少一个选项的选择以从远程设备获得内容。操作还包括通过内容编辑器应用程序来激活远程设备上的附加应用程序。操作还包括通过内容编辑器应用程序从远程设备上的附加应用程序接收用于插入内容编辑视图中的内容。
根据本主题公开的各个方面,提供了一种系统,该系统包括第一电子设备,该第一电子设备被配置为从在第一电子设备上运行的内容编辑器应用程序内激活第二电子设备的部件。系统还包括第二电子设备。第二电子设备被配置为控制第二电子设备的部件以为内容编辑器应用程序生成数据。第二电子设备被进一步配置为使用数据来修改第一电子设备的内容编辑器应用程序的内容编辑视图。
根据本主题公开的各个方面,提供了一种设备,该设备包括存储器和通信地耦接到存储器的至少一个处理器。至少一个处理器被配置为提供应用程序的用户界面视图以用于使用主题来显示。用户界面视图包括用于修改用户界面视图的一个或多个可选选项。一个或多个可选选项包括从通信地耦接到设备的另一设备获得数据的至少一个选项。至少一个处理器被进一步配置为经由应用程序来接收对至少一个选项的选择以从另一设备获得数据。至少一个处理器被进一步配置为经由应用程序激活另一设备的部件以生成数据。至少一个处理器被进一步配置为从另一设备接收数据。至少一个处理器被进一步配置为使用数据来修改用户界面视图的主题。
根据本主题公开的各个方面,提供了一种设备,该设备包括存储器和通信地耦接到存储器的至少一个处理器。至少一个处理器被配置为提供文件管理器应用程序的用户界面视图以用于显示。用户界面视图包括用于将数据输入到存储在存储器中的文件中的一个或多个可选选项。一个或多个可选选项包括从另一设备获得数据的至少一个选项。至少一个处理器被进一步配置为经由文件管理器应用程序来接收对至少一个选项的选择以从另一设备获得数据。至少一个处理器被进一步配置为经由文件管理器应用程序激活另一设备上的另一应用程序以生成数据。至少一个处理器被进一步配置为经由文件管理器应用程序从另一设备接收数据。至少一个处理器被进一步配置为经由文件管理器应用程序将数据输入到文件中。
可以利用编写有一个或多个指令的有形计算机可读存储介质(或一种或多种类型的多个有形计算机可读存储介质)部分地或全部地实现本公开范围之内的具体实施。有形计算机可读存储介质实质上也可以是非暂态的。
计算机可读存储介质可以是任何可以由通用或专用计算设备读、写或以其他方式访问的存储介质,包括任何能够执行指令的处理电子器件和/或处理电路。例如,非限制地,计算机可读介质可包括任何易失性半导体存储器,诸如RAM、DRAM、SRAM、T-RAM、Z-RAM和TTRAM。计算机可读介质也可包括任何非易失性半导体存储器,诸如ROM、PROM、EPROM、EEPROM、NVRAM、闪存、nvSRAM、FeRAM、FeTRAM、MRAM、PRAM、CBRAM、SONOS、RRAM、NRAM、赛道存储器、FJG和Millipede存储器。
此外,计算机可读存储介质可包括任何非半导体存储器,诸如光盘存储装置、磁盘存储装置、磁带、其他磁性存储设备或者能够存储一个或多个指令的任何其他介质。在一个或多个具体实施中,有形计算机可读存储介质可直接耦接到计算设备,而在其他具体实施中,有形计算机可读存储介质可例如经由一个或多个有线连接、一个或多个无线连接、或它们的任意组合而间接地耦接到计算设备。
指令可以是直接能执行的,或者可用于开发可执行指令。例如,指令可被实现为可执行的或不可执行的机器代码,或者可被实现为可被编译以产生可执行的或不可执行的机器代码的高级语言指令。此外,指令也可被实现为数据,或者可包括数据。计算机可执行指令也可以任何格式组织,包括例程、子例程、程序、数据结构、对象、模块、应用、小程序、函数等。如本领域技术人员认识到的那样,包括但不限于指令的数量、结构、序列和组织的细节可明显不同,而不改变底层的逻辑、功能、处理和输出。
虽然以上论述主要涉及执行软件的微处理器或多核处理器,但一个或多个具体实施由一个或多个集成电路诸如ASIC或FPGA执行。在一个或多个具体实施中,此类集成电路执行存储在电路自身上的指令。
本领域的技术人员将会认识到,本文所述的各种例示性的框、模块、元件、部件、方法和算法可被实现为电子硬件、计算机软件或两者的组合。为了说明硬件和软件的这种可互换性,上文已经一般性地按照功能性对各种例示性的框、模块、元件、部件、方法和算法进行了描述。此类功能性是被实现为硬件还是软件取决于具体应用以及对整个系统施加的设计约束。技术人员对于每个具体应用可通过不同方式实现所描述的功能性。各种部件和框可被不同地布置(例如,以不同的顺序排列,或以不同的方式划分),而不脱离本主题技术的范围。
应当理解,本发明所公开的过程中的框的特定顺序或分级结构为示例性方法的例示。基于设计优选要求,应当理解,过程中的框的特定顺序或者分级结构可被重新布置或者所有示出的框都被执行。这些框中的任何框可被同时执行。在一个或多个具体实施中,多任务和并行处理可能是有利的。此外,上述具体实施中各个系统部件的划分不应被理解为在所有具体实施中都要求此类划分,并且应当理解,程序部件和系统可一般性地被一起整合在单个软件产品中或者封装到多个软件产品中。
如本说明书以及本专利申请的任何权利要求中所用,术语“基站”、“接收器”、“计算机”、“服务器”、“处理器”及“存储器”均是指电子设备或其他技术设备。这些术语排除人或者人的群组。出于本说明书的目的,术语“显示”或“正在显示”意指在电子设备上显示。
如本文所用,在用术语“和”或“或”分开项目中任何项目的一系列项目之后的短语“中的至少一者”是将列表作为整体进行修饰,而不是修饰列表中的每个成员(即每个项目)。短语“中的至少一者”不要求选择所列出的每个项目中的至少一个;相反,该短语允许包括任何一个项目中的至少一个和/或项目的任何组合中的至少一个和/或每个项目中的至少一个的含义。举例来说,短语“A、B和C中的至少一者”或“A、B或C中的至少一者”各自是指仅A、仅B或仅C;A、B和C的任意组合;和/或A、B和C中的每一个中的至少一个。
谓词字词“被配置为”、“能够操作以”以及“被编程以”并不意味着对某一主题进行任何特定的有形或无形的修改而是旨在可互换使用。在一个或多个具体实施中,被配置为监视和控制操作或部件的处理器也可以是意指处理器被编程以监视和控制操作或者处理器可操作以监视和控制操作。同样,被配置为执行代码的处理器可解释为被编程以执行代码或能够操作以执行代码的处理器。
短语诸如方面、该方面、另一方面、一些方面、一个或多个方面、具体实施、该具体实施、另一具体实施、一些具体实施、一个或多个具体实施、实施方案、该实施方案、另一实施方案、一些实施方案、一个或多个实施方案、配置、该配置、其他配置、一些配置、一种或多种配置、主题技术、公开、本公开、它们的其他变型等等都是为了方便,并不意味着涉及这样的一个或多个短语的公开对于主题技术是必不可少的,也不意味着这种公开适用于主题技术的所有配置。涉及此类一个或多个短语的公开可适用于所有配置或一个或多个配置。涉及此类一个或多个短语的公开可提供一个或多个示例。短语诸如方面或一些方面可指代一个或多个方面,反之亦然,并且这与其他前述短语类似地应用。
字词“示例性”在本文中被用于意指“用作示例、实例或者例示”。在本文中被描述为“示例性的”或作为“示例”的任何实施方案不必被理解为优选于或优于其他具体实施。此外,术语“包括”、“具有”等在一定程度上用于说明书或权利要求中,这样的术语旨在以类似于术语“包括”当用作过渡字词用于权利要求中时“包括”被解释的方式包含在内。
本领域的普通技术人员已知或稍后悉知的贯穿本公开描述的各个方面的元素的所有结构和功能等同物通过引用明确地并入本文,并且旨在被权利要求书所涵盖。此外,本文所公开的任何内容并非旨在提供给公众,而与该公开是否明确地被陈述在权利要求中无关。根据35U.S.C.§112第六段的规定,不需要解释任何权利要求元素,除非使用短语“用于……的装置”明确陈述了该元素,或者就方法权利要求而言,使用短语“用于……的步骤”陈述了该元素。
先前的描述被提供以使得本领域的技术人员能够实践本文所述的各个方面。这些方面的各种修改对本领域的技术人员而言是显而易见的,并且本文所限定的通用原则可应用于其他方面。因此,本权利要求书并非旨在受限于本文所示的方面,而是旨在使得全部范围与语言权利要求书一致,其中对奇异值中的元素的引用并非旨在意味着“仅仅一个”,而是指“一个或多个”,除非被具体指出。除非另外特别说明,否则术语“一些”是指一个或多个。男性的代名词(例如,他的)包括女性和中性(例如,她的和它的),并且反之亦然。标题和子标题(如果有的话)仅为了方便起见而使用并且不限制本主题公开。

Claims (62)

1.一种设备,所述设备包括:
存储器;和
至少一个处理器,所述至少一个处理器通信地耦接到所述存储器并且被配置为:
提供内容编辑器应用程序的内容编辑视图以用于显示,所述内容编辑视图包括用于修改所述内容编辑视图的一个或多个可选选项,其中所述一个或多个可选选项包括从通信地耦接到所述设备的另一设备获得数据的至少一个选项;
经由所述内容编辑器应用程序来接收对所述至少一个选项的选择以从所述另一设备获得数据;
经由所述内容编辑器应用程序来激活所述另一设备上的附加应用程序;以及
从所述另一设备上的所述附加应用程序接收用于修改所述内容编辑视图的所述数据。
2.根据权利要求1所述的设备,其中所述至少一个处理器被进一步配置为:
发现所述另一设备;
识别所述另一设备的一个或多个可用特征;以及
识别能够使用所述一个或多个可用特征来获得的一种或多种类型的输入,所述一种或多种类型的输入中的至少一者对应于所述数据。
3.根据权利要求2所述的设备,其中所述至少一个处理器被进一步配置为基于所述一种或多种类型的输入来生成所述一个或多个可选选项。
4.根据权利要求1所述的设备,还包括可用部件,其中所述至少一个处理器被进一步配置为通告用于使用所述可用部件以向所述另一设备提供数据的特征标志。
5.根据权利要求4所述的设备,其中所述可用部件包括相机、触摸屏、触笔、光传感器、运动传感器、活动传感器、或位置传感器。
6.根据权利要求1所述的设备,其中所述数据包括图像、视频、增强现实内容、图像标记元数据、手写识别数据、手绘草图数据、步数数据、心率数据、心电数据、卡路里数据、血压数据、或情绪数据。
7.根据权利要求1所述的设备,其中激活所述附加应用程序并且接收所述数据,而无需在所述另一设备上执行所述内容编辑器应用程序。
8.根据权利要求1所述的设备,其中所述附加应用程序与所述设备或所述内容编辑器应用程序无关。
9.根据权利要求1所述的设备,其中所述附加应用程序是与所述另一设备的相机相关联的相机应用程序、与所述另一设备的触笔相关联的绘图条目应用程序、手写识别应用程序、图像标记应用程序、与所述另一设备的传感器相关联的活动监测应用程序、或与所述另一设备的所述传感器相关联的健康监测应用程序。
10.根据权利要求1所述的设备,其中所述内容编辑视图包括文字处理应用程序中的文档的表示。
11.根据权利要求1所述的设备,其中所述内容编辑器应用程序包括文字处理器、演示编辑器、电子邮件编辑器、电子表格、图像编辑应用程序、或消息传递应用程序。
12.根据权利要求1所述的设备,其中接收所述数据包括:
利用所述内容编辑器应用程序生成用于操作所述另一设备的部件以生成用于插入的内容的命令;以及
利用所述设备的通信电路将所生成的命令提供给所述另一设备。
13.根据权利要求1所述的设备,其中接收所述数据包括:
从所述设备的所述内容编辑器应用程序向所述设备的应用程序编程接口调用用于请求所述数据的功能;以及
经由所述应用程序编程接口并响应于对所述功能的所述调用,提供用于操作所述另一设备的部件以生成用于插入的内容的命令。
14.一种包括指令的非暂态计算机可读介质,所述指令在由至少一个计算设备执行时使得所述至少一个计算设备执行操作,所述操作包括:
提供内容编辑器应用程序的内容编辑视图以用于显示,所述内容编辑视图包括用于将内容插入到所述内容编辑视图中的一个或多个可选选项,其中所述一个或多个可选选项包括从远程设备获得内容的至少一个选项;
从所述内容编辑器应用程序内接收对所述至少一个选项的选择以从所述远程设备获得内容;
利用所述内容编辑器应用程序来激活所述远程设备上的附加应用程序;以及
利用所述内容编辑器应用程序从所述远程设备上的所述附加应用程序接收用于插入所述内容编辑视图中的内容。
15.根据权利要求14所述的非暂态计算机可读介质,其中激活所述远程设备上的所述附加应用程序包括在所述远程设备的锁定屏幕之外激活所述附加应用程序。
16.根据权利要求15所述的非暂态计算机可读介质,其中所述操作还包括通过利用所述远程设备或利用所述内容编辑器应用程序控制所述远程设备的部件来插入用于插入的所述内容。
17.一种方法,所述方法包括:
提供内容编辑器应用程序的内容编辑视图以用于显示,所述内容编辑视图包括用于修改所述内容编辑视图的一个或多个可选选项,其中所述一个或多个可选选项包括从通信地耦接到所述设备的另一设备获得数据的至少一个选项;
经由所述内容编辑器应用程序来接收对所述至少一个选项的选择以从所述另一设备获得数据;
经由所述内容编辑器应用程序来激活所述另一设备上的附加应用程序;以及
从所述另一设备上的所述附加应用程序接收用于修改所述内容编辑视图的所述数据。
18.根据权利要求17所述的方法,还包括:
发现所述另一设备;
识别所述另一设备的一个或多个可用特征;以及
识别能够使用所述一个或多个可用特征来获得的一种或多种类型的输入,所述一种或多种类型的输入中的至少一者对应于所述数据。
19.根据权利要求18所述的方法,还包括:
基于所述一种或多种类型的输入来生成所述一个或多个可选选项。
20.根据权利要求17所述的方法,还包括:
通告用于使用可用部件以向所述另一设备提供数据的特征标志。
21.一种设备,所述设备包括:
存储器;
部件;和
至少一个处理器,所述至少一个处理器被配置为:
控制所述部件以为在另一设备上运行的内容编辑器应用程序生成数据,所述部件已从在所述另一设备上运行的所述内容编辑器应用程序内被激活;以及
使用所生成的数据来修改所述另一设备的所述内容编辑器应用程序的内容编辑视图。
22.根据权利要求21所述的设备,其中所述设备是智能电话或平板设备,其中所述设备的所述部件是相机,并且其中所述至少一个处理器被配置为响应于在所述设备处选择图像捕获选项而通过操作所述相机以捕获图像来控制所述部件。
23.根据权利要求22所述的设备,其中所述至少一个处理器被配置为响应于在所述设备处选择所述图像捕获选项而通过将所捕获的图像从所述设备传输到所述另一电子设备的所述内容编辑器应用程序来使用所述数据来修改所述内容编辑视图,并且无需对所述设备或所述另一设备的进一步输入。
24.根据权利要求23所述的设备,其中所述内容编辑器应用程序包括文字处理应用程序,所述文字处理应用程序具有用于在所述内容编辑视图中进行编辑的所显示的文档,并且其中所述至少一个处理器被进一步配置为传输所捕获的图像以用于在所显示的文档中显示,而不将所捕获的图像存储在所述设备处。
25.根据权利要求21所述的设备,其中所述至少一个处理器被进一步配置为:
从所述另一设备接收图像;
显示所述图像;
经由所述设备的触摸屏来接收图像标记输入;以及
基于所述图像标记输入向所述另一设备提供图像标记元数据,而不存储所述图像或所述图像标记元数据,并且不将所述图像发送到所述另一设备,其中所述数据包括所述图像标记元数据。
26.一种系统,所述系统包括:
第一电子设备,所述第一电子设备被配置为从在所述第一电子设备上运行的内容编辑器应用程序内激活第二电子设备的部件;和
所述第二电子设备,其中所述第二电子设备被配置为:
控制所述第二电子设备的所述部件以为所述内容编辑器应用程序生成数据;以及
使用所述数据来修改所述第一电子设备的所述内容编辑器应用程序的内容编辑视图。
27.根据权利要求26所述的系统,其中所述第二电子设备是智能电话或平板设备,其中所述第二电子设备的所述部件是相机,并且其中所述第二电子设备被配置为响应于在所述第二电子设备处选择图像捕获选项而通过操作所述相机以捕获图像来控制所述部件。
28.根据权利要求27所述的系统,其中所述第二电子设备被配置为响应于在所述第二电子设备处选择所述图像捕获选项而通过将所捕获的图像从所述第二电子设备传输到所述第一电子设备的所述内容编辑器应用程序来使用所述数据来修改所述内容编辑视图,并且无需对所述第二电子设备或所述第一电子设备的进一步输入。
29.根据权利要求28所述的系统,其中所述内容编辑器应用程序包括文字处理应用程序,所述文字处理应用程序具有用于在所述内容编辑视图中进行编辑的所显示的文档,并且其中所述第二电子设备被配置为传输所捕获的图像以用于在所显示的文档中显示,而不将所捕获的图像存储在所述第二电子设备处。
30.根据权利要求29所述的系统,其中所述第一电子设备被进一步配置为在所述图像捕获选项的所述选择之前:
提供来自所述相机的预览图像流以用于在所述第二电子设备处显示;以及
提供来自所述相机的所述预览图像流以用于在所述第一电子设备处的所显示的文档内显示。
31.根据权利要求27所述的系统,还包括第三电子设备,其中所述第一电子设备被进一步配置为:
在激活所述第二电子设备的所述部件之前:
在所述内容编辑器应用程序处获得通信地耦接的设备的列表以及所述通信地耦接的设备中的每个设备的一个或多个数据生成特征的指示;
提供基于所述一个或多个数据生成特征的能够远程获得的内容类型的列表以用于利用所述内容编辑器应用程序显示;
利用所述内容编辑器应用程序来接收对所述能够远程获得的内容类型中的一者的选择;以及
利用所述内容编辑器应用程序将所述第二电子设备和所述第三电子设备识别为用于提供所述能够远程获得的内容类型中的所述一者的可用设备;以及
响应于对所述能够远程获得的内容类型中的所述一者的所述选择,在激活所述第二电子设备的所述部件的同时激活所述第三电子设备的部件。
32.根据权利要求31所述的系统,其中所述第一电子设备被进一步配置为:
利用所述内容编辑器应用程序从所述第二电子设备接收所述第二电子设备已被选择用于获得所述能够远程获得的内容类型中的所述一者的指示;以及
响应于所述指示,去激活所述第三电子设备的所述部件。
33.根据权利要求32所述的系统,其中所述指示包括所述第二电子设备的运动的指示。
34.根据权利要求32所述的系统,其中所述指示包括所述第二电子设备上的图像捕获操作的指示。
35.根据权利要求32所述的系统,其中所述指示包括与所述第二电子设备相关联的触笔的运动的指示。
36.根据权利要求32所述的系统,其中所述指示包括对所述第二电子设备的触摸屏的触摸输入。
37.根据权利要求26所述的系统,其中所述第二电子设备被配置为:
从所述第一电子设备接收图像;
显示所述图像;
经由所述第二电子设备的触摸屏来接收图像标记输入;以及
基于所述图像标记输入向所述第一电子设备提供图像标记元数据,而不存储所述图像或所述图像标记元数据,并且不将所述图像发送到所述第一电子设备,其中所述数据包括所述图像标记元数据。
38.一种方法,所述方法包括:
由设备控制所述设备的部件以为在另一设备上运行的内容编辑器应用程序生成数据,所述部件已从在所述另一设备上运行的所述内容编辑器应用程序内被激活;以及
由所述设备使用所生成的数据来修改所述另一设备的所述内容编辑器应用程序的内容编辑视图。
39.根据权利要求38所述的方法,其中所述设备是智能电话或平板设备,其中所述设备的所述部件是相机,并且其中所述控制包括响应于在所述设备处选择图像捕获选项而操作所述相机以捕获图像。
40.根据权利要求39所述的方法,其中所述修改包括响应于在所述设备处选择所述图像捕获选项而将所捕获的图像从所述设备传输到所述另一电子设备的所述内容编辑器应用程序,并且无需对所述设备或所述另一设备的进一步输入。
41.一种设备,所述设备包括:
存储器;和
至少一个处理器,所述至少一个处理器被配置为:
提供应用程序的用户界面视图以用于使用主题来显示,所述用户界面视图包括用于修改所述用户界面视图的一个或多个可选选项,其中所述一个或多个可选选项包括从通信地耦接到所述设备的另一设备获得数据的至少一个选项;
经由所述应用程序来接收对所述至少一个选项的选择以从所述另一设备获得所述数据;
经由所述应用程序激活所述另一设备的部件以生成所述数据;
从所述另一设备接收所述数据;以及
使用所述数据来修改所述用户界面视图的主题。
42.根据权利要求41所述的设备,其中:
从所述另一设备获得所述数据的所述至少一个选项包括使用所述另一设备的相机或传感器来获得情绪数据的选项;并且
所述数据包括所述情绪数据,所述情绪数据指示所述另一设备的用户的情绪。
43.根据权利要求41所述的设备,其中所述至少一个处理器被进一步配置为:
发现所述另一设备;
识别所述另一设备的一个或多个可用特征;以及
识别能够使用所述一个或多个可用特征来获得的一种或多种类型的输入,所述一种或多种类型的输入中的至少一者对应于所述数据。
44.根据权利要求43所述的设备,其中所述至少一个处理器被进一步配置为基于所述一种或多种类型的输入来生成所述一个或多个可选选项。
45.根据权利要求41所述的设备,其中所述部件包括相机、触摸屏、触笔、光传感器、运动传感器、活动传感器、或位置传感器。
46.根据权利要求41所述的设备,其中所述数据包括图像、视频、增强现实内容、图像标记元数据、手写识别数据、手绘草图数据、步数数据、心率数据、心电数据、卡路里数据、血压数据、或情绪数据。
47.根据权利要求41所述的设备,其中激活所述部件并且接收所述数据,而无需在所述另一设备上执行所述应用程序。
48.根据权利要求41所述的设备,其中所述部件与所述设备或所述应用程序无关。
49.根据权利要求41所述的设备,其中所述部件包括以下中的至少一者:所述另一设备的相机、所述另一设备的触笔、或所述另一设备的传感器、或与所述另一设备的所述传感器相关联的健康监测应用程序。
50.根据权利要求41所述的设备,其中所述应用程序包括以下中的至少一者:文字处理器、演示编辑器、电子邮件编辑器、电子表格、图像编辑应用程序、或消息传递应用程序。
51.根据权利要求41所述的设备,其中接收所述数据包括:
生成用于操作所述另一设备的所述部件的命令;以及
利用所述设备的通信电路将所生成的命令提供给所述另一设备。
52.一种系统,所述系统包括:
存储器;和
至少一个处理器,所述至少一个处理器通信地耦接到所述存储器并且被配置为:
提供应用程序的用户界面视图以用于显示,所述用户界面视图包括用于将数据输入到存储在所述存储器中的文件中的一个或多个可选选项,其中所述一个或多个可选选项包括从另一设备获得数据的至少一个选项;
经由所述应用程序来接收对所述至少一个选项的选择以从所述另一设备获得所述数据;
经由所述应用程序激活所述另一设备上的另一应用程序以生成所述数据;
经由所述应用程序从所述另一设备接收所述数据;以及
经由所述应用程序将所述数据输入到所述文件中。
53.根据权利要求52所述的系统,其中所述应用程序包括文件管理器应用程序。
54.根据权利要求52所述的系统,其中所述数据包括图像、视频、增强现实内容、图像标记元数据、手写识别数据、手绘草图数据、步数数据、心率数据、心电数据、卡路里数据、血压数据、或情绪数据。
55.根据权利要求52所述的系统,其中经由所述另一设备的部件来接收所述数据,并且所述部件包括相机、触摸屏、触笔、光传感器、运动传感器、活动传感器、或位置传感器中的至少一者。
56.根据权利要求55所述的系统,其中激活所述部件并且接收所述数据,而无需在所述另一设备上执行所述应用程序。
57.根据权利要求55所述的系统,其中所述至少一个处理器被进一步配置为:
生成用于操作所述另一设备的所述部件的命令;以及
利用所述系统的通信电路将所生成的命令提供给所述另一设备。
58.一种方法,所述方法包括:
提供文件管理器应用程序的用户界面视图以用于显示,所述用户界面视图包括用于将数据输入到存储在存储器中的文件中的一个或多个可选选项,其中所述一个或多个可选选项包括从另一设备获得数据的至少一个选项;
经由所述文件管理器应用程序来接收对所述至少一个选项的选择以从所述另一设备获得所述数据;
经由所述文件管理器应用程序激活所述另一设备上的另一应用程序以生成所述数据;
经由所述文件管理器应用程序从所述另一设备接收所述数据;以及
经由所述文件管理器应用程序将所述数据输入到所述文件中。
59.根据权利要求58所述的方法,其中经由所述另一设备的部件来接收所述数据,并且激活所述部件并接收所述数据,而无需在所述另一设备上执行所述应用程序。
60.根据权利要求59所述的方法,其中所述接收所述数据还包括:
生成用于操作所述另一设备的所述部件的命令;以及
利用通信电路将所生成的命令提供给所述另一设备。
61.一种方法,所述方法包括:
由第一电子设备激活第二电子设备上的相机;
由所述第一电子设备显示由所述相机捕获的预览图像流,所述预览图像流同时显示在所述第二电子设备处;以及
由所述第一电子设备实时显示所述第二电子设备处实现的对所述预览图像流的至少一个修改。
62.根据权利要求61所述的方法,其中所述至少一个修改包括在所述第二电子设备处添加到所述预览图像流的手写标记。
CN201980029386.XA 2018-06-01 2019-05-30 来自远程设备的直接输入 Active CN112136099B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202411090408.2A CN118778864A (zh) 2018-06-01 2019-05-30 来自远程设备的直接输入

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201862679602P 2018-06-01 2018-06-01
US62/679,602 2018-06-01
US16/147,486 2018-09-28
US16/147,482 2018-09-28
US16/147,489 2018-09-28
US16/147,482 US11074116B2 (en) 2018-06-01 2018-09-28 Direct input from a remote device
US16/147,486 US11061744B2 (en) 2018-06-01 2018-09-28 Direct input from a remote device
US16/147,489 US20190370094A1 (en) 2018-06-01 2018-09-28 Direct input from a remote device
PCT/US2019/034727 WO2019232258A1 (en) 2018-06-01 2019-05-30 Direct input from a remote device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202411090408.2A Division CN118778864A (zh) 2018-06-01 2019-05-30 来自远程设备的直接输入

Publications (2)

Publication Number Publication Date
CN112136099A true CN112136099A (zh) 2020-12-25
CN112136099B CN112136099B (zh) 2024-08-20

Family

ID=68693235

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980029386.XA Active CN112136099B (zh) 2018-06-01 2019-05-30 来自远程设备的直接输入
CN202411090408.2A Pending CN118778864A (zh) 2018-06-01 2019-05-30 来自远程设备的直接输入

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202411090408.2A Pending CN118778864A (zh) 2018-06-01 2019-05-30 来自远程设备的直接输入

Country Status (5)

Country Link
US (3) US11074116B2 (zh)
EP (1) EP3803641A1 (zh)
KR (2) KR102606037B1 (zh)
CN (2) CN112136099B (zh)
WO (1) WO2019232258A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4439231A2 (en) 2014-07-21 2024-10-02 Apple Inc. Remote user interface
CA3087153A1 (en) * 2019-07-18 2021-01-18 Vica Digital Solutions Inc. Electronic document systems, method and uses
US11625155B2 (en) * 2020-03-23 2023-04-11 Ricoh Company, Ltd. Information processing system, user terminal, method of processing information
US11379056B2 (en) * 2020-09-28 2022-07-05 Arian Gardner Editor's pen pad
US11307749B1 (en) * 2021-01-13 2022-04-19 Dell Products L.P. Managing content of a user interface
US11503358B1 (en) 2021-10-19 2022-11-15 Motorola Mobility Llc Electronic devices and corresponding methods utilizing ultra-wideband communication signals for user interface enhancement
US11907495B2 (en) * 2021-10-19 2024-02-20 Motorola Mobility Llc Electronic devices and corresponding methods utilizing ultra-wideband communication signals for user interface enhancement
US11606456B1 (en) 2021-10-19 2023-03-14 Motorola Mobility Llc Electronic devices and corresponding methods utilizing ultra-wideband communication signals for user interface enhancement
US20230376193A1 (en) * 2022-05-17 2023-11-23 Apple Inc. User interfaces for device controls

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5805777A (en) * 1995-10-11 1998-09-08 Eastman Kodak Company Extended printer control interface
US20050146634A1 (en) * 2003-12-31 2005-07-07 Silverstein D. A. Cameras, optical systems, imaging methods, and optical filter configuration methods
US20090210932A1 (en) * 2008-02-18 2009-08-20 Microsoft Corporation Associating network devices with users
CN101573591A (zh) * 2007-01-10 2009-11-04 通腾科技股份有限公司 导航装置及操作带有紧急服务接入的导航装置的方法
US20100245294A1 (en) * 2009-03-31 2010-09-30 Piersol Kurt W Annotating Digital Files Of A Host Computer Using Networked Tablet Computers
US20110058052A1 (en) * 2009-09-04 2011-03-10 Apple Inc. Systems and methods for remote camera control
US20110169735A1 (en) * 2010-01-12 2011-07-14 Douglas Weber Apparatus and Method for Interacting with Handheld Carrier Hosting Media Content
US20120188185A1 (en) * 2010-10-01 2012-07-26 Ron Cassar Secondary single screen mode activation through off-screen gesture area activation
US20120254752A1 (en) * 2011-03-29 2012-10-04 Svendsen Jostein Local timeline editing for online content editing
US20130124370A1 (en) * 2007-02-07 2013-05-16 Kenneth B. Moore Workflow integration and presentation management
CN103248870A (zh) * 2013-04-23 2013-08-14 北京小米科技有限责任公司 远程监控方法、被控设备、主控设备、服务器及系统
US20130222627A1 (en) * 2012-02-29 2013-08-29 Andrew Mark Earnshaw Method and device for sharing a camera feature
US20140073255A1 (en) * 2012-09-07 2014-03-13 Google Inc. System and method for interacting with content of an electronic device
CN104462128A (zh) * 2013-09-22 2015-03-25 腾讯科技(深圳)有限公司 多媒体文件处理的方法、装置和终端设备
US9176942B1 (en) * 2014-03-24 2015-11-03 Realquidity Corp. System and method for synchronizing and editing electronic documents
CN106294902A (zh) * 2015-05-28 2017-01-04 阿里巴巴集团控股有限公司 预测移动应用程序页面性能的方法、装置及电子设备
US20170205980A1 (en) * 2016-01-18 2017-07-20 Microsoft Technology Licensing, Llc Method and an apparatus for providing a multitasking view

Family Cites Families (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7266504B1 (en) * 1995-10-11 2007-09-04 Stamps.Com Inc. System and method for printing multiple postage indicia
US7272604B1 (en) * 1999-09-03 2007-09-18 Atle Hedloy Method, system and computer readable medium for addressing handling from an operating system
JP2001285570A (ja) * 2000-01-27 2001-10-12 Canon Inc 画像入力システム及び装置及び方法並びに記憶媒体
US6643721B1 (en) * 2000-03-22 2003-11-04 Intel Corporation Input device-adaptive human-computer interface
JP2001346031A (ja) * 2000-06-05 2001-12-14 Fuji Photo Film Co Ltd 画像合成方法及び装置
US6907301B2 (en) * 2000-10-16 2005-06-14 Sony Corporation Method and system for selecting and controlling devices in a home network
US8726294B2 (en) 2010-10-01 2014-05-13 Z124 Cross-environment communication using application space API
US8996454B2 (en) * 2004-01-07 2015-03-31 Nokia Corporation Remote management and access of databases, services and devices associated with a mobile terminal
JP4432628B2 (ja) 2004-06-07 2010-03-17 株式会社デンソー 車両遠隔監視システム、車両情報通信装置、通信端末、及び操作機
US20060069669A1 (en) * 2004-07-16 2006-03-30 Juergen Sattler Method and apparatus for supporting active documents
US7890475B2 (en) * 2004-09-17 2011-02-15 Sap Ag Common transport logistics for software and content
US7436300B2 (en) * 2004-11-12 2008-10-14 Microsoft Corporation Wireless device support for electronic devices
US7802202B2 (en) * 2005-03-17 2010-09-21 Microsoft Corporation Computer interaction based upon a currently active input device
TWI267061B (en) * 2005-06-21 2006-11-21 Asustek Comp Inc Method for processing multi-layered images
JP4386944B2 (ja) * 2005-09-30 2009-12-16 パナソニック株式会社 表示装置、外部接続装置及び画面制御方法
US20070112971A1 (en) * 2005-11-14 2007-05-17 Infodraw Ltd. Real time video streaming and data collaboration over wireless networks
US8330773B2 (en) * 2006-11-21 2012-12-11 Microsoft Corporation Mobile data and handwriting screen capture and forwarding
US8095874B2 (en) * 2008-05-08 2012-01-10 Microsoft Corporation Inputting data on a portable computing device
KR20100028344A (ko) * 2008-09-04 2010-03-12 삼성전자주식회사 휴대단말의 영상 편집 방법 및 장치
US8060627B2 (en) * 2008-09-30 2011-11-15 Apple Inc. Device-to-device workflows
KR101062352B1 (ko) * 2009-06-17 2011-09-05 엘지전자 주식회사 단말기 및 그 제어 방법
GB2472406B (en) * 2009-08-04 2013-04-10 Promethean Ltd Specific user field entry
US8508478B2 (en) * 2009-09-25 2013-08-13 At&T Intellectual Property I, Lp Devices, systems and methods for remote control input
US8504907B2 (en) * 2011-03-07 2013-08-06 Ricoh Co., Ltd. Generating page and document logs for electronic documents
US9263045B2 (en) * 2011-05-17 2016-02-16 Microsoft Technology Licensing, Llc Multi-mode text input
US8823484B2 (en) * 2011-06-23 2014-09-02 Sony Corporation Systems and methods for automated adjustment of device settings
CN102855105B (zh) * 2011-06-27 2015-11-25 联想(北京)有限公司 显示方法及显示设备
US8209183B1 (en) * 2011-07-07 2012-06-26 Google Inc. Systems and methods for correction of text from different input types, sources, and contexts
US20130120602A1 (en) * 2011-11-14 2013-05-16 Microsoft Corporation Taking Photos With Multiple Cameras
US9164579B2 (en) * 2011-11-15 2015-10-20 Lg Electronics Inc. Electronic device for granting authority based on context awareness information
KR101467519B1 (ko) * 2011-11-21 2014-12-02 주식회사 케이티 음성 정보를 이용한 컨텐츠 검색 서버 및 방법
KR101882442B1 (ko) * 2011-12-21 2018-07-26 엘지전자 주식회사 이동 단말기, 서버, 이동 단말기 제어 방법 및 서버의 제어 방법
KR101922023B1 (ko) 2012-02-20 2018-11-26 삼성전자주식회사 디스플레이장치 및 그 제어방법
US9628145B2 (en) 2012-04-07 2017-04-18 Samsung Electronics Co., Ltd. Method and system for transfering data between plurality of devices
CN102841804B (zh) * 2012-06-27 2014-12-10 北京三星通信技术研究有限公司 同屏多前台任务处理方法及装置
US9256858B2 (en) * 2012-06-27 2016-02-09 Nokia Technologies Oy Method and apparatus for associating context information with content
US9025066B2 (en) * 2012-07-23 2015-05-05 Adobe Systems Incorporated Fill with camera ink
CN103577381B (zh) * 2012-07-30 2017-08-25 华为技术有限公司 一种设备间共用输入装置的配置方法及系统
US9024995B2 (en) * 2012-08-09 2015-05-05 Samsung Electronics Co., Ltd. Video calling using a remote camera device to stream video to a local endpoint host acting as a proxy
KR101960062B1 (ko) * 2012-08-24 2019-03-19 삼성전자주식회사 콘텐트 공유 방법 및 장치
KR102068604B1 (ko) * 2012-08-28 2020-01-22 삼성전자 주식회사 휴대단말기의 문자 인식장치 및 방법
US20140071039A1 (en) * 2012-09-07 2014-03-13 Kabushiki Kaisha Toshiba Electronic Apparatus and Display Control Method
US8824772B2 (en) * 2012-10-23 2014-09-02 Ensenta Inc. System and method for improved remote deposit image handling
JP5768841B2 (ja) * 2013-06-21 2015-08-26 コニカミノルタ株式会社 画像形成システム、画像形成装置、遠隔操作装置およびプログラム
TW201502851A (zh) * 2013-07-05 2015-01-16 Think Cloud Digital Technology Co Ltd 電子簽章方法
KR102064952B1 (ko) 2013-07-12 2020-01-10 삼성전자주식회사 수신 데이터를 이용하여 어플리케이션을 운영하는 전자 장치
US9349165B2 (en) * 2013-10-23 2016-05-24 Adobe Systems Incorporated Automatically suggesting regions for blur kernel estimation
CN103561220A (zh) * 2013-10-28 2014-02-05 三星电子(中国)研发中心 一种电视终端及其多屏显示和控制的方法
KR20150051776A (ko) * 2013-11-05 2015-05-13 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 제어 방법
US10193987B2 (en) 2014-05-30 2019-01-29 Apple Inc. Activity continuation between electronic devices
US10166477B2 (en) * 2014-06-06 2019-01-01 Sony Interactive Entertainment Inc. Image processing device, image processing method, and image processing program
JP6391374B2 (ja) * 2014-09-03 2018-09-19 キヤノン株式会社 通信装置、通信装置の制御方法、プログラム
JP6603513B2 (ja) * 2014-09-03 2019-11-06 キヤノン株式会社 通信装置及び情報処理装置及びそれらの制御方法、並びに記憶媒体
JP6504768B2 (ja) * 2014-09-03 2019-04-24 キヤノン株式会社 電子機器およびその制御方法
JP6429539B2 (ja) * 2014-09-03 2018-11-28 キヤノン株式会社 通信装置、通信装置の制御方法、プログラム
JP6395522B2 (ja) * 2014-09-03 2018-09-26 キヤノン株式会社 通信装置、通信装置の制御方法、プログラム
CN104301857A (zh) * 2014-09-24 2015-01-21 广州三星通信技术研究有限公司 用于通信终端之间的无线通信的方法和设备
US10025684B2 (en) * 2014-09-24 2018-07-17 Microsoft Technology Licensing, Llc Lending target device resources to host device computing environment
US9769227B2 (en) * 2014-09-24 2017-09-19 Microsoft Technology Licensing, Llc Presentation of computing environment on multiple devices
WO2016137167A1 (en) * 2015-02-23 2016-09-01 Lg Electronics Inc. Terminal
US9632664B2 (en) * 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
JP6376015B2 (ja) * 2015-03-24 2018-08-22 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US20160308917A1 (en) * 2015-04-20 2016-10-20 Intel Corporation Sensor input transmission and associated processes
US20160371885A1 (en) * 2015-06-22 2016-12-22 Anatolie Gavriliuc Sharing of markup to image data
US20170054767A1 (en) * 2015-08-17 2017-02-23 Google Inc. Transferring application state between devices
KR102389038B1 (ko) * 2015-09-02 2022-04-21 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
KR102371683B1 (ko) * 2015-09-23 2022-03-08 삼성전자주식회사 컨텐츠 공유 방법 및 이를 지원하는 전자 장치
US10334002B2 (en) * 2015-09-23 2019-06-25 Edoardo Rizzi Communication device and method
WO2017078723A1 (en) * 2015-11-05 2017-05-11 Hewlett-Packard Development Company, L.P. Local compute resources and access terms
US10404778B2 (en) * 2015-12-09 2019-09-03 Walmart Apollo, Llc Session hand-off for mobile applications
US10289373B2 (en) * 2016-02-18 2019-05-14 Astro HQ LLC Event latency mitigation and screen selection
US9819784B1 (en) * 2016-05-02 2017-11-14 Microsoft Technology Licensing, Llc Silent invocation of emergency broadcasting mobile device
US9842095B2 (en) * 2016-05-10 2017-12-12 Adobe Systems Incorporated Cross-device document transactions
US10331654B2 (en) 2016-05-20 2019-06-25 Adobe Inc. Using an action registry to edit data across users and devices
US10547773B2 (en) * 2016-10-28 2020-01-28 Disney Enterprises, Inc. User interface aspects for a motorized monopod jib for cameras
US20180225263A1 (en) * 2017-02-06 2018-08-09 Microsoft Technology Licensing, Llc Inline insertion viewport
JP6991734B2 (ja) * 2017-04-28 2022-01-12 キヤノン株式会社 情報処理装置および情報処理方法およびプログラム
US10281994B2 (en) * 2017-06-16 2019-05-07 Anousheh Sayah Smart wand device
US10735639B2 (en) * 2017-06-29 2020-08-04 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and program
US10977844B2 (en) * 2017-11-29 2021-04-13 Adobe Inc. Presenting multiple image segmentations
US11818218B2 (en) * 2018-02-12 2023-11-14 The Vanguard Group, Inc. System, method, and computer-readable storage medium that establish a communication path between a mobile device and a non-mobile device
US20190297119A1 (en) * 2018-03-23 2019-09-26 Cisco Technology, Inc. Establishing direct secure connection between collaboration devices in a room or space

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5805777A (en) * 1995-10-11 1998-09-08 Eastman Kodak Company Extended printer control interface
US20050146634A1 (en) * 2003-12-31 2005-07-07 Silverstein D. A. Cameras, optical systems, imaging methods, and optical filter configuration methods
CN101573591A (zh) * 2007-01-10 2009-11-04 通腾科技股份有限公司 导航装置及操作带有紧急服务接入的导航装置的方法
US20130124370A1 (en) * 2007-02-07 2013-05-16 Kenneth B. Moore Workflow integration and presentation management
US20090210932A1 (en) * 2008-02-18 2009-08-20 Microsoft Corporation Associating network devices with users
US20100245294A1 (en) * 2009-03-31 2010-09-30 Piersol Kurt W Annotating Digital Files Of A Host Computer Using Networked Tablet Computers
US20110058052A1 (en) * 2009-09-04 2011-03-10 Apple Inc. Systems and methods for remote camera control
US20110169735A1 (en) * 2010-01-12 2011-07-14 Douglas Weber Apparatus and Method for Interacting with Handheld Carrier Hosting Media Content
US20120188185A1 (en) * 2010-10-01 2012-07-26 Ron Cassar Secondary single screen mode activation through off-screen gesture area activation
US20120254752A1 (en) * 2011-03-29 2012-10-04 Svendsen Jostein Local timeline editing for online content editing
US20130222627A1 (en) * 2012-02-29 2013-08-29 Andrew Mark Earnshaw Method and device for sharing a camera feature
US20140073255A1 (en) * 2012-09-07 2014-03-13 Google Inc. System and method for interacting with content of an electronic device
CN103248870A (zh) * 2013-04-23 2013-08-14 北京小米科技有限责任公司 远程监控方法、被控设备、主控设备、服务器及系统
CN104462128A (zh) * 2013-09-22 2015-03-25 腾讯科技(深圳)有限公司 多媒体文件处理的方法、装置和终端设备
US9176942B1 (en) * 2014-03-24 2015-11-03 Realquidity Corp. System and method for synchronizing and editing electronic documents
CN106294902A (zh) * 2015-05-28 2017-01-04 阿里巴巴集团控股有限公司 预测移动应用程序页面性能的方法、装置及电子设备
US20170205980A1 (en) * 2016-01-18 2017-07-20 Microsoft Technology Licensing, Llc Method and an apparatus for providing a multitasking view

Also Published As

Publication number Publication date
US11074116B2 (en) 2021-07-27
US11061744B2 (en) 2021-07-13
CN112136099B (zh) 2024-08-20
CN118778864A (zh) 2024-10-15
US20190370094A1 (en) 2019-12-05
US20190370092A1 (en) 2019-12-05
US20190370093A1 (en) 2019-12-05
KR102606037B1 (ko) 2023-11-29
KR20230007539A (ko) 2023-01-12
KR20210003224A (ko) 2021-01-11
KR102482361B1 (ko) 2022-12-30
EP3803641A1 (en) 2021-04-14
WO2019232258A1 (en) 2019-12-05

Similar Documents

Publication Publication Date Title
CN112136099B (zh) 来自远程设备的直接输入
US10887269B1 (en) Restricted group content collection
US11868590B2 (en) Interface to display shared user groups
KR102293770B1 (ko) 커스터마이즈된 사용자-제어형 미디어 오버레이들
US11704005B2 (en) Collaborative achievement interface
EP3272078B1 (en) Geo-fence authorization provisioning
US20230164102A1 (en) Media item attachment system
KR102268907B1 (ko) 맞춤화된 컨텍스트 미디어 콘텐츠 항목 생성
WO2018081125A1 (en) Redundant tracking system
US11128715B1 (en) Physical friend proximity in chat

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant