JP7236585B2 - User interface for voice messages - Google Patents
User interface for voice messages Download PDFInfo
- Publication number
- JP7236585B2 JP7236585B2 JP2022125792A JP2022125792A JP7236585B2 JP 7236585 B2 JP7236585 B2 JP 7236585B2 JP 2022125792 A JP2022125792 A JP 2022125792A JP 2022125792 A JP2022125792 A JP 2022125792A JP 7236585 B2 JP7236585 B2 JP 7236585B2
- Authority
- JP
- Japan
- Prior art keywords
- user interface
- external devices
- devices
- external
- location
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 329
- 230000004044 response Effects 0.000 claims description 220
- 230000008569 process Effects 0.000 claims description 146
- 230000008859 change Effects 0.000 claims description 91
- 238000004891 communication Methods 0.000 claims description 71
- 230000015654 memory Effects 0.000 claims description 48
- 230000000977 initiatory effect Effects 0.000 claims description 36
- 230000005540 biological transmission Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 5
- 230000000875 corresponding effect Effects 0.000 description 307
- 230000000007 visual effect Effects 0.000 description 212
- 230000033001 locomotion Effects 0.000 description 60
- 230000009471 action Effects 0.000 description 59
- 238000003860 storage Methods 0.000 description 49
- 238000010586 diagram Methods 0.000 description 32
- 230000001276 controlling effect Effects 0.000 description 29
- 239000003086 colorant Substances 0.000 description 28
- 238000001514 detection method Methods 0.000 description 27
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 description 21
- 238000005516 engineering process Methods 0.000 description 21
- 229910002091 carbon monoxide Inorganic materials 0.000 description 20
- 230000002093 peripheral effect Effects 0.000 description 19
- 230000007246 mechanism Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 16
- 230000007423 decrease Effects 0.000 description 14
- 238000007726 management method Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 241000699666 Mus <mouse, genus> Species 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 11
- 230000004913 activation Effects 0.000 description 10
- 238000012549 training Methods 0.000 description 10
- 230000003213 activating effect Effects 0.000 description 8
- 230000001149 cognitive effect Effects 0.000 description 8
- 239000007787 solid Substances 0.000 description 8
- 230000001413 cellular effect Effects 0.000 description 7
- 238000009499 grossing Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 238000003825 pressing Methods 0.000 description 5
- 238000010079 rubber tapping Methods 0.000 description 5
- 230000036541 health Effects 0.000 description 4
- 230000033764 rhythmic process Effects 0.000 description 4
- 230000021317 sensory perception Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 230000000994 depressogenic effect Effects 0.000 description 3
- 238000010438 heat treatment Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000035807 sensation Effects 0.000 description 3
- 241001422033 Thestylus Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000001154 acute effect Effects 0.000 description 2
- 238000004378 air conditioning Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000013503 de-identification Methods 0.000 description 2
- 230000000881 depressing effect Effects 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 238000013518 transcription Methods 0.000 description 2
- 230000035897 transcription Effects 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 241000473391 Archosargus rhomboidalis Species 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 241000197200 Gallinago media Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 229920001746 electroactive polymer Polymers 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Telephone Function (AREA)
- Input Circuits Of Receivers And Coupling Of Receivers And Audio Equipment (AREA)
- Circuits Of Receivers In General (AREA)
- Digital Computer Display Output (AREA)
- Telephonic Communication Services (AREA)
Description
（関連出願の相互参照）
本出願は、２０２０年５月１１日に出願され、「ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ ＦＯＲ ＡＵＤＩＯ ＭＥＳＳＡＧＥ」と題された米国仮特許出願第６３／０２３，２２５号に関するものであり、その内容は参照によりその全体が本明細書に組み込まれる。
(Cross reference to related applications)
This application is related to U.S. Provisional Patent Application No. 63/023,225, filed May 11, 2020, entitled "USER INTERFACE FOR AUDIO MESSAGE," the contents of which are hereby incorporated by reference in its entirety. incorporated into the specification.
本開示は、概して、コンピュータユーザインタフェースに関し、より具体的には、音声メッセージを管理するための技術に関する。 TECHNICAL FIELD This disclosure relates generally to computer user interfaces, and more specifically to techniques for managing voice messages.
ユーザは、英数字文字を使用して、他のユーザと通信するためにインスタントメッセージを送信する。このようなメッセージング技術は、典型的には、ユーザがキーボードを使用して文字を入力するか、又はデバイスがその後に送信される文字に音声を音声表記することを必要とする。ユーザは、モバイル機器を使用して外部デバイスと対話する。このような双方向作用は、多くの場合、煩雑であり、ユーザが複数の外部デバイスと個別に対話することを必要とする。 Users use alphanumeric characters to send instant messages to communicate with other users. Such messaging techniques typically require the user to enter characters using a keyboard or the device to transliterate the sound into characters that are subsequently sent. A user uses a mobile device to interact with an external device. Such interactions are often cumbersome and require the user to individually interact with multiple external devices.
電子デバイスを使用して音声メッセージを管理するための現在の技術は、概して煩雑であり、非効率である。例えば、一部の既存の技術では、複数回のキー押下又は打鍵を含む場合がある、複雑かつ時間のかかるユーザインタフェースが使用されている。既存の技術は、必要以上の時間を要し、ユーザの時間及びデバイスのエネルギを浪費する。後者の問題は、バッテリ動作式デバイスにおいては特に重大である。 Current techniques for managing voice messages using electronic devices are generally cumbersome and inefficient. For example, some existing technologies use complex and time-consuming user interfaces that may involve multiple key presses or keystrokes. Existing techniques take longer than necessary, wasting user time and device energy. The latter problem is particularly acute in battery operated devices.
したがって、本技術は、音声メッセージを管理するための、より速く、より効率的な方法及びインタフェースを電子デバイスに提供する。そのような方法及びインタフェースは、メッセージを管理するための他の方法を任意選択的に補完する又は置き換える。そのような方法及びインタフェースは、ユーザにかかる認識的負担を低減させ、より効率的なヒューマン－マシンインタフェースを作成する。バッテリ動作式コンピューティングデバイスの場合、そのような方法及びインタフェースは、電力を節約し、バッテリ充電の間隔を長くする。そのような方法及びインタフェースは、メッセージの単なる言葉ではなくメッセージの階調（例えば、重要性、重大性、皮肉さ、悲しさ、陽気さ）を含むメッセージを送信することを可能にし、受信者が、スピーカの独自の音声によってメッセージのスピーカを認識することを可能にする。このような方法及びインタフェースはまた、キーボードを使用して入力を提供する、又は入力を使用して音声表記を訂正する必要性を低減又は排除する。 Accordingly, the present technology provides electronic devices with faster, more efficient methods and interfaces for managing voice messages. Such methods and interfaces optionally supplement or replace other methods for managing messages. Such methods and interfaces reduce the cognitive burden placed on users and create more efficient human-machine interfaces. For battery-operated computing devices, such methods and interfaces conserve power and increase intervals between battery charges. Such methods and interfaces allow sending messages that contain the tone of the message (e.g., importance, seriousness, sarcasm, sadness, hilarity) rather than just the words of the message, allowing the recipient to , allows to recognize the speaker of a message by the speaker's unique voice. Such methods and interfaces also reduce or eliminate the need to use a keyboard to provide input or use input to correct phonetic transcriptions.
モバイル機器で外部デバイスの状態を管理するための現在の技術は、概して煩雑であり、非効率である。例えば、一部の既存の技術では、複数回のキー押下又は打鍵を含む場合がある、複雑かつ時間のかかるユーザインタフェースが使用されている。既存の技術は、必要以上の時間を要し、ユーザの時間及びデバイスのエネルギを浪費する。後者の問題は、バッテリ動作式デバイスにおいては特に重大である。 Current techniques for managing the state of external devices on mobile devices are generally cumbersome and inefficient. For example, some existing technologies use complex and time-consuming user interfaces that may involve multiple key presses or keystrokes. Existing techniques take longer than necessary, wasting user time and device energy. The latter problem is particularly acute in battery operated devices.
したがって、本技術は、外部デバイスを管理するための、より速く、より効率的な方法及びインタフェースを電子デバイスに提供する。そのような方法及びインタフェースは、任意選択的に、ユーザが、単一の入力を介して、個々の外部デバイスを管理するか、又は外部デバイスを同時に管理することを可能にするなどの、外部デバイスを管理するための他の方法を補完するか、又は置き換える。そのような方法及びインタフェースは、ユーザにかかる認識的負担を低減させ、より効率的なヒューマン－マシンインタフェースを作成する。バッテリ動作式コンピューティングデバイスの場合、そのような方法及びインタフェースは、電力を節約し、バッテリ充電の間隔を長くする。 Accordingly, the present technology provides electronic devices with faster, more efficient methods and interfaces for managing external devices. Such methods and interfaces optionally control external devices, such as allowing a user to manage individual external devices or manage external devices simultaneously via a single input. complements or replaces other methods of managing Such methods and interfaces reduce the cognitive burden placed on users and create more efficient human-machine interfaces. For battery-operated computing devices, such methods and interfaces conserve power and increase intervals between battery charges.
一部の実施形態によれば、方法が記載される。本方法は、ディスプレイ生成構成要素と通信するコンピュータシステムで実行される。本方法は、ディスプレイ生成構成要素を介して、第１の選択可能なユーザインタフェースオブジェクト対象であって、第１の選択可能なユーザインタフェースオブジェクト対象の選択は、１組の外部デバイスに第１の音声メッセージを記録し、送信するためのプロセスを開始するものであって、１組の外部デバイスは、１つ以上の外部デバイスの第１の１組と１つ以上の外部デバイスの第２の１組、及び第１の外部アクセサリデバイスに対応する第１のアクセサリ制御ユーザインタフェースオブジェクト対象を含むものであって、第１のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、第１の外部アクセサリデバイスの状態を変更する命令を送信するプロセスを開始させることを含む、第１のユーザインタフェースを表示することと、第１のユーザインタフェースを表示している間に、第２のユーザインタフェースを表示する要求に対応する入力を受信することと、第２のユーザインタフェースを表示する要求の受信に応答して、第２のユーザインタフェースを表示することであって、第２のユーザインタフェースは、第２の選択可能なユーザインタフェースオブジェクト対象であって、第２の選択可能なユーザインタフェースオブジェクト対象の選択は、第２の音声メッセージを１つ以上の外部デバイスの第１の１組に送信することなく１つ以上の外部デバイスの第２の１組に第２の音声メッセージを記録し、送信するためのプロセスを開始すること、及び第２の外部アクセサリデバイスに対応する第２のアクセサリ制御ユーザインタフェースオブジェクト対象を含むものであって、第２のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、第２の外部アクセサリデバイスの状態を変更する命令を送信するプロセスを開始することを含む、表示することとを含む。 According to some embodiments, a method is described. The method is performed on a computer system in communication with a display generation component. The method comprises, via a display generation component, a first selectable user interface object target, wherein selection of the first selectable user interface object target causes a set of external devices to generate a first audio. Initiating a process for recording and transmitting messages, wherein the set of external devices comprises a first set of one or more external devices and a second set of one or more external devices , and a first accessory control user interface object target corresponding to the first external accessory device, wherein selection of the first accessory control user interface object target changes the state of the first external accessory device. displaying a first user interface, including initiating a process of sending an instruction to do so; and, while displaying the first user interface, an input corresponding to a request to display a second user interface and displaying the second user interface in response to receiving a request to display the second user interface, the second user interface being the second selectable user interface object target, the selection of the second selectable user interface object target is performed on the one or more external devices without transmitting a second voice message to the first set of one or more external devices; Initiating a process for recording and transmitting a second voice message to the second set; and a second accessory control user interface object object corresponding to the second external accessory device. , displaying, wherein selection of the second accessory control user interface object target includes initiating a process of sending an instruction to change the state of the second external accessory device.
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。非一時的コンピュータ可読記憶媒体は、ディスプレイ生成構成要素と通信するコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、ディスプレイ生成構成要素を介して、第１の選択可能なユーザインタフェースオブジェクト対象であって、第１の選択可能なユーザインタフェースオブジェクト対象の選択は、１組の外部デバイスに第１の音声メッセージを記録し、送信するためのプロセスを開始するものであって、１組の外部デバイスは、１つ以上の外部デバイスの第１の１組と１つ以上の外部デバイスの第２の１組、及び第１の外部アクセサリデバイスに対応する第１のアクセサリ制御ユーザインタフェースオブジェクト対象を含むものであって、第１のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、第１の外部アクセサリデバイスの状態を変更する命令を送信するプロセスを開始させることを含む、第１のユーザインタフェースを表示し、第１のユーザインタフェースを表示している間に、第２のユーザインタフェースを表示する要求に対応する入力を受信し、第２のユーザインタフェースを表示する要求の受信に応答して、第２のユーザインタフェースを表示することであって、第２のユーザインタフェースは、第２の選択可能なユーザインタフェースオブジェクト対象であって、第２の選択可能なユーザインタフェースオブジェクト対象の選択は、第２の音声メッセージを１つ以上の外部デバイスの第１の１組に送信することなく１つ以上の外部デバイスの第２の１組に第２の音声メッセージを記録し、送信するためのプロセスを開始すること、及び第２の外部アクセサリデバイスに対応する第２のアクセサリ制御ユーザインタフェースオブジェクト対象を含むものであって、第２のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、第２の外部アクセサリデバイスの状態を変更する命令を送信するプロセスを開始することを含む、表示する、命令を含む。 According to some embodiments, a non-transitory computer-readable storage medium is described. The non-transitory computer-readable storage medium stores one or more programs configured to be executed by one or more processors of a computer system in communication with the display generating component, the one or more programs Via the generation component, selection of a first selectable user interface object target, the first selectable user interface object target recording a first voice message on a set of external devices; a set of external devices, a first set of one or more external devices and a second set of one or more external devices, and a first set of one or more external devices; Including a first accessory control user interface object target corresponding to the external accessory device, wherein selection of the first accessory control user interface object target sends an instruction to change the state of the first external accessory device. displaying a first user interface comprising initiating a process; receiving input corresponding to a request to display a second user interface while displaying the first user interface; displaying a second user interface in response to receiving a request to display a user interface, the second user interface being a second selectable user interface object subject to a second The selection of the selectable user interface object target communicates a second voice message to the second set of one or more external devices without transmitting the second voice message to the first set of one or more external devices. Initiating a process for recording and sending a voice message and a second accessory control user interface object object corresponding to a second external accessory device, the second accessory control user interface object The selection of the target includes an instruction to display, including initiating a process of sending an instruction to change the state of the second external accessory device.
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。一時的コンピュータ可読記憶媒体は、ディスプレイ生成構成要素と通信するコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、ディスプレイ生成構成要素を介して、第１の選択可能なユーザインタフェースオブジェクト対象であって、第１の選択可能なユーザインタフェースオブジェクト対象の選択は、１組の外部デバイスに第１の音声メッセージを記録し、送信するためのプロセスを開始するものであって、１組の外部デバイスは、１つ以上の外部デバイスの第１の１組と１つ以上の外部デバイスの第２の１組、及び第１の外部アクセサリデバイスに対応する第１のアクセサリ制御ユーザインタフェースオブジェクト対象を含むものであって、第１のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、第１の外部アクセサリデバイスの状態を変更する命令を送信するプロセスを開始させることを含む、第１のユーザインタフェースを表示し、第１のユーザインタフェースを表示している間に、第２のユーザインタフェースを表示する要求に対応する入力を受信し、第２のユーザインタフェースを表示する要求の受信に応答して、第２のユーザインタフェースを表示することであって、第２のユーザインタフェースは、第２の選択可能なユーザインタフェースオブジェクト対象であって、第２の選択可能なユーザインタフェースオブジェクト対象の選択は、第２の音声メッセージを１つ以上の外部デバイスの第１の１組に送信することなく１つ以上の外部デバイスの第２の１組に第２の音声メッセージを記録し、送信するためのプロセスを開始すること、及び第２の外部アクセサリデバイスに対応する第２のアクセサリ制御ユーザインタフェースオブジェクト対象を含むものであって、第２のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、第２の外部アクセサリデバイスの状態を変更する命令を送信するプロセスを開始することを含む、表示する、命令を含む。 According to some embodiments, a temporary computer-readable storage medium is described. The temporary computer-readable storage medium stores one or more programs configured to be executed by one or more processors of a computer system in communication with the display generating component, the one or more programs Via the component, a first selectable user interface object target, wherein selection of the first selectable user interface object target records and transmits a first voice message to a set of external devices. wherein the set of external devices comprises a first set of one or more external devices and a second set of one or more external devices and a first external A process including a first accessory control user interface object target corresponding to the accessory device, wherein selection of the first accessory control user interface object target sends an instruction to change the state of the first external accessory device. displaying a first user interface, while displaying the first user interface, receiving input corresponding to a request to display a second user interface; displaying a second user interface in response to receiving a request to display an interface, the second user interface being a second selectable user interface object subject to the second selection; A selection of possible user interface object targets is to send a second voice to a second set of one or more external devices without sending a second voice message to the first set of one or more external devices. Initiating a process for recording and sending a message and a second accessory control user interface object object corresponding to a second external accessory device, the second accessory control user interface object object. Selecting the display includes initiating a process of sending an instruction to change the state of the second external accessory device.
いくつかの実施形態によれば、コンピュータシステムが記載される。コンピュータシステムは、１つ以上のプロセッサであって、コンピュータがディスプレイ生成構成要素と通信するものと１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリとを備え、１つ以上のプログラムは、ディスプレイ生成構成要素を介して、第１の選択可能なユーザインタフェースオブジェクト対象であって、第１の選択可能なユーザインタフェースオブジェクト対象の選択は、１組の外部デバイスに第１の音声メッセージを記録し、送信するためのプロセスを開始するものであって、１組の外部デバイスは、１つ以上の外部デバイスの第１の１組と１つ以上の外部デバイスの第２の１組、及び第１の外部アクセサリデバイスに対応する第１のアクセサリ制御ユーザインタフェースオブジェクト対象を含むものであって、第１のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、第１の外部アクセサリデバイスの状態を変更する命令を送信するプロセスを開始させることを含む、第１のユーザインタフェースを表示し、第１のユーザインタフェースを表示している間に、第２のユーザインタフェースを表示する要求に対応する入力を受信し、第２のユーザインタフェースを表示する要求の受信に応答して、第２のユーザインタフェースを表示することであって、第２のユーザインタフェースは、第２の選択可能なユーザインタフェースオブジェクト対象であって、第２の選択可能なユーザインタフェースオブジェクト対象の選択は、第２の音声メッセージを１つ以上の外部デバイスの第１の１組に送信することなく１つ以上の外部デバイスの第２の１組に第２の音声メッセージを記録し、送信するためのプロセスを開始すること、及び第２の外部アクセサリデバイスに対応する第２のアクセサリ制御ユーザインタフェースオブジェクト対象を含むものであって、第２のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、第２の外部アクセサリデバイスの状態を変更する命令を送信するプロセスを開始することを含む、表示する、命令を含む。 According to some embodiments, a computer system is described. The computer system comprises one or more processors in which the computer communicates with the display generating component and a memory storing one or more programs configured to be executed by the one or more processors. , one or more programs, via a display generating component, a first selectable user interface object target, wherein selection of the first selectable user interface object target is transmitted to a set of external devices; Initiating a process for recording and transmitting a first voice message, wherein the set of external devices includes a first set of one or more external devices and a first set of one or more external devices. 2 and a first accessory control user interface object target corresponding to the first external accessory device, wherein selection of the first accessory control user interface object target corresponds to the first external accessory device displaying a first user interface, and responding to a request to display a second user interface while displaying the first user interface, including initiating a process of sending an instruction to change the state of and displaying a second user interface in response to receiving a request to display the second user interface, the second user interface being a second selectable user interface object target, the selection of the second selectable user interface object target is performed on the one or more external devices without transmitting a second voice message to the first set of one or more external devices; Initiating a process for recording and transmitting a second voice message to the second set; and a second accessory control user interface object object corresponding to the second external accessory device. , the selection of the second accessory control user interface object target includes initiating a process of sending an instruction to change the state of the second external accessory device.
いくつかの実施形態によれば、コンピュータシステムが記載される。コンピュータシステムは、コンピュータシステムと通信するディスプレイ生成構成要素を介して、第１の選択可能なユーザインタフェースオブジェクト対象であって、第１の選択可能なユーザインタフェースオブジェクト対象の選択は、１組の外部デバイスに第１の音声メッセージを記録し、送信するためのプロセスを開始するものであって、１組の外部デバイスは、１つ以上の外部デバイスの第１の１組と１つ以上の外部デバイスの第２の１組、及び第１の外部アクセサリデバイスに対応する第１のアクセサリ制御ユーザインタフェースオブジェクト対象を含むものであって、第１のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、第１の外部アクセサリデバイスの状態を変更する命令を送信するプロセスを開始させることを含む、第１のユーザインタフェースを表示するための手段と、第１のユーザインタフェースを表示している間に、第２のユーザインタフェースを表示する要求に対応する入力を受信するための手段と、第２のユーザインタフェースを表示する要求の受信に応答して、第２のユーザインタフェースを表示するための手段であって、第２のユーザインタフェースは、第２の選択可能なユーザインタフェースオブジェクト対象であって、第２の選択可能なユーザインタフェースオブジェクト対象の選択は、第２の音声メッセージを１つ以上の外部デバイスの第１の１組に送信することなく１つ以上の外部デバイスの第２の１組に第２の音声メッセージを記録し、送信するためのプロセスを開始するもの、及び第２の外部アクセサリデバイスに対応する第２のアクセサリ制御ユーザインタフェースオブジェクト対象を含むものであって、第２のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、第２の外部アクセサリデバイスの状態を変更する命令を送信するプロセスを開始させることを含む、手段とを備える。 According to some embodiments, a computer system is described. The computer system, via a display generating component in communication with the computer system, selects a first selectable user interface object target, the selection of the first selectable user interface object target being controlled by a set of external devices. a first set of one or more external devices and one or more external devices A second set and a first accessory control user interface object target corresponding to the first external accessory device, wherein selection of the first accessory control user interface object target corresponds to the first external accessory device. Means for displaying a first user interface comprising initiating a process of sending an instruction to change the state of the device; and displaying a second user interface while displaying the first user interface. means for receiving input corresponding to a request to display; and means for displaying the second user interface in response to receiving a request to display the second user interface, wherein the second user The interface is a second selectable user interface object target, wherein selection of the second selectable user interface object target outputs a second voice message to the first set of one or more external devices Initiating a process for recording and transmitting a second voice message to a second set of one or more external devices without transmission and a second accessory corresponding to the second external accessory device. a control user interface object target, wherein selection of the second accessory control user interface object target initiates a process of sending an instruction to change the state of the second external accessory device; Prepare.
一部の実施形態によれば、方法が記載される。本方法は、ディスプレイ生成構成要素と通信するコンピュータシステムで実行される。本方法は、第１のメディアに対応する第１のデータを受信することと、ディスプレイ生成構成要素を介して、第１の時間周期の端部まで、第１のメディアの示唆を有する第１の通知を表示することと、第１のデータを受信した後に、第２のメディアに対応する第２のデータを受信することであって、第２のメディアが第１のメディアとは異なる、第２のデータを受信することと、第２のメディアが１つ以上の基準の１組を満たすとの判定に従い、並びに（１）第２のデータが受信された時間、及び（２）第１のデータが受信された時間に基づく判定に従って、ディスプレイ生成構成要素を介して、第２の時間周期の端部まで、第１のメディアの示唆を有する第２の通知を表示することであって、第１の時間周期の端部が第２の時間周期の端部と異なる、第２の通知を表示することとを含む。 According to some embodiments, a method is described. The method is performed on a computer system in communication with a display generation component. The method includes receiving first data corresponding to a first media; displaying a notification; and receiving, after receiving the first data, second data corresponding to a second medium, the second medium being different than the first medium. and determining that the second media satisfies a set of one or more criteria, and (1) the time the second data was received, and (2) the first data displaying, via the display generating component, a second notification having an indication of the first media until the end of the second time period, according to the determination based on the time that the first displaying a second notification having a different time period end than the second time period end.
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。非一時的コンピュータ可読記憶媒体は、ディスプレイ構成要素と通信するコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、第１のメディアに対応する第１のデータを受信し、ディスプレイ生成構成要素を介して、第１の時間周期の端部まで、第１のメディアの示唆を有する第１の通知を表示し、第１のデータを受信した後に、第２のメディアに対応する第２のデータを受信することであって、第２のメディアが第１のメディアとは異なる、第２のデータを受信することと、第２のメディアが１つ以上の基準の１組を満たすとの判定に従い、並びに（１）第２のデータが受信された時間、及び（２）第１のデータが受信された時間に基づく判定に従って、ディスプレイ生成構成要素を介して、第２の時間周期の端部まで、第１のメディアの示唆を有する第２の通知を表示することであって、第１の時間周期の端部が第２の時間周期の端部と異なる、第２の通知を表示することとを含む。 According to some embodiments, a non-transitory computer-readable storage medium is described. The non-transitory computer-readable storage medium stores one or more programs configured to be executed by one or more processors of a computer system in communication with the display component, the one or more programs first receiving a first data corresponding to the media of, displaying, via the display generating component, a first notification having an indication of the first media until the end of the first time period; after receiving data, receiving second data corresponding to a second medium, wherein the second medium is different from the first medium; media satisfies a set of one or more criteria, and according to a determination based on (1) the time the second data was received, and (2) the time the first data was received; Displaying, via a display generating component, a second notification having the first media suggestion until the end of the second time period, the end of the first time period being the second Displaying a second notification different from the end of the time period.
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。一時的コンピュータ可読記憶媒体は、ディスプレイ構成要素と通信するコンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、第１のメディアに対応する第１のデータを受信し、ディスプレイ生成構成要素を介して、第１の時間周期の端部まで、第１のメディアの示唆を有する第１の通知を表示し、第１のデータを受信した後に、第２のメディアに対応する第２のデータを受信することであって、第２のメディアが第１のメディアとは異なる、第２のデータを受信することと、第２のメディアが１つ以上の基準の１組を満たすとの判定に従い、並びに（１）第２のデータが受信された時間、及び（２）第１のデータが受信された時間に基づく判定に従って、ディスプレイ生成構成要素を介して、第２の時間周期の端部まで、第１のメディアの示唆を有する第２の通知を表示することであって、第１の時間周期の端部が第２の時間周期の端部と異なる、第２の通知を表示することとを含む。 According to some embodiments, a temporary computer-readable storage medium is described. The temporary computer-readable storage medium stores one or more programs configured to be executed by one or more processors of a computer system in communication with the display component, the one or more programs receiving first data corresponding to media; displaying, via a display generating component, a first notification having an indication of the first media until the end of a first time period; receiving second data corresponding to a second medium, wherein the second medium is different from the first medium; and display according to a determination that the media satisfies a set of one or more criteria and according to a determination based on (1) the time the second data was received; and (2) the time the first data was received. Displaying, via the generating component, a second notification having the first media suggestion until the end of the second time period, the end of the first time period being the second time period. displaying a second notification different from the end of the cycle.
いくつかの実施形態によれば、コンピュータシステムが記載される。コンピュータシステムは、１つ以上のプロセッサであって、コンピュータシステムがディスプレイ構成要素と通信するものと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリとを備え、１つ以上のプログラムは、第１のメディアに対応する第１のデータを受信し、ディスプレイ生成構成要素を介して、第１の時間周期の端部まで、第１のメディアの示唆を有する第１の通知を表示し、第１のデータを受信した後に、第２のメディアに対応する第２のデータを受信することであって、第２のメディアが第１のメディアとは異なる、第２のデータを受信することと、第２のメディアが１つ以上の基準の１組を満たすとの判定に従い、並びに（１）第２のデータが受信された時間、及び（２）第１のデータが受信された時間に基づく判定に従って、ディスプレイ生成構成要素を介して、第２の時間周期の端部まで、第１のメディアの示唆を有する第２の通知を表示することであって、第１の時間周期の端部が第２の時間周期の端部と異なる、第２の通知を表示することとを含む。 According to some embodiments, a computer system is described. The computer system comprises one or more processors, with which the computer system communicates with the display component, and memory storing one or more programs configured to be executed by the one or more processors. wherein the one or more programs receive first data corresponding to the first media and, via the display generation component, have suggestions of the first media until the end of the first time period After displaying the first notification and receiving the first data, receiving second data corresponding to the second media, wherein the second media is different from the first media; 2 data and determining that the second media satisfies a set of one or more criteria; and (1) the time the second data was received, and (2) the first displaying a second notification having an indication of the first media until the end of the second time period via the display generation component according to a determination based on the time the data was received; displaying a second notification in which the end of the one time period is different than the end of the second time period.
いくつかの実施形態によれば、コンピュータシステムが記載される。コンピュータシステムは、第１のメディアに対応する第１のデータを受信するための手段と、コンピュータシステムと通信する生成構成要素を介して、第１の時間周期の端部まで、第１のメディアの示唆を有する第１の通知を表示するための手段と、第１のデータを受信した後に、第２のメディアに対応する第２のデータを受信するための手段であって、第２のメディアが第１のメディアとは異なる手段と、第２のメディアが１つ以上の基準の１組を満たすとの判定に従い、並びに第２のデータが受信された時間、及び（２）第１のデータが受信された時間に基づく判定に従って、ディスプレイ生成構成要素を介して、第２の時間周期の端部まで、第１のメディアの示唆を有する第２の通知を表示するための手段であって、第１の時間周期の端部が第２の時間周期の端部と異なる手段とを備える。 According to some embodiments, a computer system is described. The computer system, via means for receiving first data corresponding to the first medium, and a production component in communication with the computer system, until the end of the first time period, means for displaying a first notification having suggestions; and means for, after receiving the first data, receiving second data corresponding to second media, wherein the second media according to means different from the first media and determining that the second media meets a set of one or more criteria, and the time the second data is received; and (2) the first data is means for displaying, via the display generating component, a second notification having an indication of the first media until the end of the second time period according to the received time-based determination, the means for: and means for an end of one time period to differ from an end of the second time period.
一部の実施形態によれば、方法が記載される。本方法は、１つ以上のマイクロフォン、１つ以上のスピーカ、及び１つ以上のディスプレイ装置を有する電子デバイスで実行される。本方法は、１つ以上のマイクロフォンを介して音声入力を受信することと、音声入力の視覚的な指示を表示することであって、音声入力の一部が、１つ以上のディスプレイ装置を介して、表示する１つ以上のデバイスに送信される音声入力に対応するとの判定に従って、視覚的な指示は１つ以上の色の第１の１組を有する視覚的な指示を表示することを含み、音声入力が、１つ以上のディスプレイ装置を介して、表示する、音声入力の任意の部分を他のデバイスに送信する命令を含まないとの判定に従って、視覚的な指示は、１つ以上の色の第１の１組とは異なる１つ以上の色の第２の１組を表示することを含むこととを含む。 According to some embodiments, a method is described. The method is performed on an electronic device having one or more microphones, one or more speakers, and one or more display devices. The method includes receiving audio input via one or more microphones and displaying a visual indication of the audio input, a portion of the audio input via one or more display devices. the visual indication includes displaying the visual indication having a first set of one or more colors, according to the determination that the visual indication corresponds to the audio input sent to the one or more devices for displaying. , the audio input does not include instructions for displaying, via one or more display devices, transmitting any portion of the audio input to another device, the visual instructions may include one or more and displaying a second set of one or more colors different from the first set of colors.
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。非一時的コンピュータ可読記憶媒体は、１つ以上のマイクロフォン、１つ以上のスピーカ、及び１つ以上のディスプレイ装置を有する電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、１つ以上のマイクロフォンを介して音声入力を受信し、音声入力の視覚的な指示を表示することであって、音声入力の一部が、１つ以上のディスプレイ装置を介して、表示する１つ以上のデバイスに送信される音声入力に対応するとの判定に従って、視覚的な指示は１つ以上の色の第１の１組を有する視覚的な指示を表示することを含み、音声入力が、１つ以上のディスプレイ装置を介して、表示する、音声入力の任意の部分を他のデバイスに送信する命令を含まないとの判定に従って、視覚的な指示は、１つ以上の色の第１の１組とは異なる１つ以上の色の第２の１組を有する視覚的な指示を表示することを含む、音声入力の視覚的な指示を表示する、命令を含む。 According to some embodiments, a non-transitory computer-readable storage medium is described. A non-transitory computer readable storage medium configured to be executed by one or more processors of an electronic device having one or more microphones, one or more speakers, and one or more display devices. , one or more of the programs receiving audio input via one or more microphones and displaying visual indications of the audio input, a portion of the audio input being one The visual indication has a first set of one or more colors, according to a determination that it corresponds to audio input transmitted to one or more devices for display via one or more display devices. Visual, including displaying instructions, according to a determination that the audio input does not include instructions to transmit any portion of the audio input to another device for display via one or more display devices. The indication includes displaying a visual indication having a second set of one or more colors that is different than the first set of one or more colors. do, including instructions.
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。一時的コンピュータ可読記憶媒体は、１つ以上のマイクロフォン、１つ以上のスピーカ、及び１つ以上のディスプレイ装置を有する電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、１つ以上のマイクロフォンを介して音声入力を受信し、音声入力の視覚的な指示を表示することであって、音声入力の一部が、１つ以上のディスプレイ装置を介して、表示する１つ以上のデバイスに送信される音声入力に対応するとの判定に従って、視覚的な指示は１つ以上の色の第１の１組を有する視覚的な指示を表示することを含み、音声入力が、１つ以上のディスプレイ装置を介して、表示する、音声入力の任意の部分を他のデバイスに送信する命令を含まないとの判定に従って、視覚的な指示は、１つ以上の色の第１の１組とは異なる１つ以上の色の第２の１組を有する視覚的な指示を表示することを含む、音声入力の視覚的な指示を表示する、命令を含む。 According to some embodiments, a temporary computer-readable storage medium is described. A temporary computer-readable storage medium is one or more processors configured to be executed by one or more processors of an electronic device having one or more microphones, one or more speakers, and one or more display devices. storing a program, one or more of which receive audio input via one or more microphones and display a visual indication of the audio input, wherein a portion of the audio input is The visual indication has a first set of one or more colors, according to a determination that it corresponds to voice input transmitted to one or more devices for display via the above display device. and according to a determination that the audio input does not include instructions to transmit any portion of the audio input to another device for display via one or more display devices. displays a visual indication of voice input, including displaying a visual indication having a second set of one or more colors different from the first set of one or more colors , including instructions.
いくつかの実施形態によれば、電子デバイスが記載される。電子デバイスは、１つ以上のマイクロフォンと、１つ以上のスピーカと、１つ以上のディスプレイ装置と、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリを備え、１つ以上のプログラムは、１つ以上のマイクロフォンを介して音声入力を受信し、音声入力の視覚的な指示を表示することであって、音声入力の一部が、１つ以上のディスプレイ装置を介して、表示する１つ以上のデバイスに送信される音声入力に対応するとの判定に従って、視覚的な指示は１つ以上の色の第１の１組を有する視覚的な指示を表示することを含み、音声入力が、１つ以上のディスプレイ装置を介して、表示する、音声入力の任意の部分を他のデバイスに送信する命令を含まないとの判定に従って、視覚的な指示は、１つ以上の色の第１の１組とは異なる１つ以上の色の第２の１組を有する視覚的な指示を表示することを含む、音声入力の視覚的な指示を表示する、命令を含む。 According to some embodiments, an electronic device is described. The electronic device includes one or more microphones, one or more speakers, one or more display devices, one or more processors, and one or more processors configured to be executed by the one or more processors. one or more of which is to receive audio input via one or more microphones and display a visual indication of the audio input; corresponds to audio input transmitted to one or more devices for display via one or more display devices, the visual indication has a first set of one or more colors comprising displaying visual instructions, according to a determination that the voice input does not include instructions to transmit any portion of the voice input to another device for display via one or more display devices; The visual indication includes displaying a visual indication having a second set of one or more colors different from the first set of one or more colors. Contain instructions to display instructions.
いくつかの実施形態によれば、電子デバイスが記載される。電子デバイスは、１つ以上のマイクロフォンと、１つ以上のスピーカと、１つ以上のディスプレイ装置と、１つ以上のマイクロフォンを介して音声入力を受信するための手段と、音声入力の視覚的な指示を表示する手段であって、音声入力の一部が、１つ以上のディスプレイ装置を介して、表示する１つ以上のデバイスに送信される音声入力に対応するとの判定に従って、視覚的な指示は１つ以上の色の第１の１組を有する視覚的な指示を表示することを含み、音声入力が、１つ以上のディスプレイ装置を介して、表示する、音声入力の任意の部分を他のデバイスに送信する命令を含まないとの判定に従って、視覚的な指示は、１つ以上の色の第１の１組とは異なる１つ以上の色の第２の１組を表示することを含む手段とを備える。 According to some embodiments, an electronic device is described. The electronic device comprises one or more microphones, one or more speakers, one or more display devices, means for receiving audio input via the one or more microphones, and a visual representation of the audio input. Means for displaying instructions, the visual instructions according to a determination that a portion of the audio input corresponds to the audio input sent to one or more devices for display via one or more display devices. includes displaying a visual indication having a first set of one or more colors, and any portion of the voice input that the voice input displays via one or more display devices. the visual instruction to display a second set of one or more colors that is different from the first set of one or more colors. and means for containing.
一部の実施形態によれば、方法が記載される。本方法は、コンピュータシステムで実行されるものであって、コンピュータシステムは、ディスプレイ生成構成要素及び１つ以上の入力デバイスと通信する。本方法は、ディスプレイ生成構成要素を介して、第１のアクセサリタイプの複数のアクセサリデバイスが第１の状態にあることを示す第１の状態を表示することであって、第１のアクセサリタイプの複数のアクセサリデバイスは、第１のアクセサリタイプであり、第１の状態にある第１のアクセサリデバイスと、第１のアクセサリタイプであり、第１の状態にある第２のアクセサリデバイスであって、第２のアクセサリデバイスが第１のアクセサリデバイスとは異なるものとを含む、第１の状態を表示することと、第１の状態インジケータを表示している間に、ジェスチャを検出することと、ジェスチャの検出に応答して、ジェスチャが第１のタイプのジェスチャであり、第１の状態インジケータに向けられるとの判定に従って、第１のアクセサリデバイス及び第２のアクセサリデバイスを第１の状態とは異なる第２の状態に変更させ、ジェスチャが第１のタイプのジェスチャとは異なる第２のタイプのジェスチャであり、第１の状態インジケータに向けられるとの判定に従って、ディスプレイ生成構成要素を介して、第１のアクセサリデバイスに対応する第１のアクセサリ制御ユーザインタフェースオブジェクト対象を表示することであって、第１のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、第２のアクセサリデバイスを第２の状態に変更させることなく、第１のアクセサリデバイスを第２の状態に変更させる、第１のアクセサリ制御ユーザインタフェースオブジェクト対象を表示することとを含む。 According to some embodiments, a method is described. The method is performed in a computer system that communicates with a display generation component and one or more input devices. The method includes displaying, via a display generating component, a first state indicating that a plurality of accessory devices of a first accessory type are in a first state, wherein: The plurality of accessory devices are a first accessory device of a first accessory type and in a first state and a second accessory device of the first accessory type and in a first state, wherein displaying a first state including a second accessory device different than the first accessory device; detecting a gesture while displaying the first state indicator; in response to detecting the first accessory device and the second accessory device in a different state in accordance with determining that the gesture is a first type gesture and directed at the first state indicator. causing a change to a second state, and upon determining that the gesture is a second type gesture different from the first type gesture and directed at the first state indicator, via the display generation component, Displaying a first accessory control user interface object target corresponding to one accessory device, wherein selection of the first accessory control user interface object target causes a second accessory device to change to a second state. and displaying a first accessory control user interface object target that causes the first accessory device to change to the second state without the first accessory device.
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。非一時的コンピュータ可読記憶媒体は、コンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するものであって、コンピュータシステムは、ディスプレイ生成構成要素及び１つ以上の入力デバイスと通信し、１つ以上のプログラムは、ディスプレイ生成構成要素を介して、第１のアクセサリタイプの複数のアクセサリデバイスが第１の状態にあることを示す第１の状態を表示することであって、第１のアクセサリタイプの複数のアクセサリデバイスは、第１のアクセサリタイプであり、第１の状態にある第１のアクセサリデバイスと、第１のアクセサリタイプであり、第１の状態にある第２のアクセサリデバイスであって、第２のアクセサリデバイスが第１のアクセサリデバイスとは異なるものとを含む、第１の状態を表示し、第１の状態インジケータを表示している間に、ジェスチャを検出し、ジェスチャの検出に応答して、ジェスチャが第１のタイプのジェスチャであり、第１の状態インジケータに向けられるとの判定に従って、第１のアクセサリデバイス及び第２のアクセサリデバイスを第１の状態とは異なる第２の状態に変更させ、ジェスチャが第１のタイプのジェスチャとは異なる第２のタイプのジェスチャであり、第１の状態インジケータに向けられるとの判定に従って、ディスプレイ生成構成要素を介して、第１のアクセサリデバイスに対応する第１のアクセサリ制御ユーザインタフェースオブジェクト対象を表示することであって、第１のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、第２のアクセサリデバイスを第２の状態に変更させることなく、第１のアクセサリデバイスを第２の状態に変更させる、第１のアクセサリ制御ユーザインタフェースオブジェクト対象を表示する、命令を含む。 According to some embodiments, a non-transitory computer-readable storage medium is described. The non-transitory computer-readable storage medium stores one or more programs configured to be executed by one or more processors of a computer system, the computer system comprising a display generation component and one In communication with the input devices, the one or more programs display, via a display generation component, a first state indicating that the plurality of accessory devices of the first accessory type are in the first state. wherein the plurality of accessory devices of the first accessory type are a first accessory device of the first accessory type and in a first state; and a first accessory device of the first accessory type and in a first state displaying a first state, including one in which the second accessory device is different than the first accessory device, and while displaying the first state indicator , detects the gesture, and in response to detecting the gesture, activates the first accessory device and the second accessory device in accordance with determining that the gesture is a first type gesture and directed at the first state indicator. causing a change to a second state different from the first state and generating a display according to determining that the gesture is a second type gesture different from the first type gesture and directed at the first state indicator; displaying, via a component, a first accessory control user interface object target corresponding to the first accessory device, wherein selection of the first accessory control user interface object target corresponds to the second accessory device; Instructions are included for displaying a first accessory control user interface object target that causes the first accessory device to change to the second state without causing the second state to change.
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。一時的コンピュータ可読記憶媒体は、コンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するものであって、コンピュータシステムは、ディスプレイ生成構成要素及び１つ以上の入力デバイスと通信し、１つ以上のプログラムは、ディスプレイ生成構成要素を介して、第１のアクセサリタイプの複数のアクセサリデバイスが第１の状態にあることを示す第１の状態を表示することであって、第１のアクセサリタイプの複数のアクセサリデバイスは、第１のアクセサリタイプであり、第１の状態にある第１のアクセサリデバイスと、第１のアクセサリタイプであり、第１の状態にある第２のアクセサリデバイスであって、第２のアクセサリデバイスが第１のアクセサリデバイスとは異なるものとを含む、第１の状態を表示し、第１の状態インジケータを表示している間に、ジェスチャを検出し、ジェスチャの検出に応答して、ジェスチャが第１のタイプのジェスチャであり、第１の状態インジケータに向けられるとの判定に従って、第１のアクセサリデバイス及び第２のアクセサリデバイスを第１の状態とは異なる第２の状態に変更させ、ジェスチャが第１のタイプのジェスチャとは異なる第２のタイプのジェスチャであり、第１の状態インジケータに向けられるとの判定に従って、ディスプレイ生成構成要素を介して、第１のアクセサリデバイスに対応する第１のアクセサリ制御ユーザインタフェースオブジェクト対象を表示することであって、第１のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、第２のアクセサリデバイスを第２の状態に変更させることなく、第１のアクセサリデバイスを第２の状態に変更させる、第１のアクセサリ制御ユーザインタフェースオブジェクト対象を表示する、命令を含む。 According to some embodiments, a temporary computer-readable storage medium is described. The temporary computer-readable storage medium stores one or more programs configured to be executed by one or more processors of a computer system, which includes a display generation component and one or more and the one or more programs displaying, via a display generating component, a first state indicating that the plurality of accessory devices of the first accessory type are in the first state. and wherein the plurality of accessory devices of the first accessory type are the first accessory device of the first accessory type and in the first state and the first accessory device of the first accessory type and in the first state while displaying a first state and displaying a first state indicator, including a second accessory device, wherein the second accessory device is different than the first accessory device; Detecting the gesture and, in response to detecting the gesture, activating the first accessory device and the second accessory device in accordance with determining that the gesture is a gesture of the first type and directed at the first state indicator. causing a change to a second state different from the one state, according to determining that the gesture is a second type gesture different from the first type gesture and directed at the first state indicator; displaying, via an element, a first accessory control user interface object target corresponding to the first accessory device, wherein selection of the first accessory control user interface object target causes the second accessory device to become the second accessory device; Instructions are included to display a first accessory control user interface object target that causes the first accessory device to change to a second state without causing the first accessory device to change to a second state.
いくつかの実施形態によれば、コンピュータシステムが記載される。コンピュータシステムは、１つ以上のプロセッサであって、コンピュータシステムがディスプレイ生成構成要素及び１つ以上の入力デバイスと通信するものと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリとを備え、１つ以上のプログラムは、ディスプレイ生成構成要素を介して、第１のアクセサリタイプの複数のアクセサリデバイスが第１の状態にあることを示す第１の状態を表示することであって、第１のアクセサリタイプの複数のアクセサリデバイスは、第１のアクセサリタイプであり、第１の状態にある第１のアクセサリデバイスと、第１のアクセサリタイプであり、第１の状態にある第２のアクセサリデバイスであって、第２のアクセサリデバイスが第１のアクセサリデバイスとは異なるものとを含む、第１の状態を表示し、第１の状態インジケータを表示している間に、ジェスチャを検出し、ジェスチャの検出に応答して、ジェスチャが第１のタイプのジェスチャであり、第１の状態インジケータに向けられるとの判定に従って、第１のアクセサリデバイス及び第２のアクセサリデバイスを第１の状態とは異なる第２の状態に変更させ、ジェスチャが第１のタイプのジェスチャとは異なる第２のタイプのジェスチャであり、第１の状態インジケータに向けられるとの判定に従って、ディスプレイ生成構成要素を介して、第１のアクセサリデバイスに対応する第１のアクセサリ制御ユーザインタフェースオブジェクト対象を表示することであって、第１のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、第２のアクセサリデバイスを第２の状態に変更させることなく、第１のアクセサリデバイスを第２の状態に変更させる、第１のアクセサリ制御ユーザインタフェースオブジェクト対象を表示する、命令を含む。 According to some embodiments, a computer system is described. The computer system comprises one or more processors, with which the computer system communicates with display generating components and one or more input devices, and one or more configured to be executed by the one or more processors. wherein the one or more programs, via the display generation component, generate a first state indicating that the plurality of accessory devices of the first accessory type are in the first state. displaying, the plurality of accessory devices of a first accessory type are a first accessory device of the first accessory type and in a first state; displaying a first state, including a second accessory device in a state wherein the second accessory device is different than the first accessory device and displaying a first state indicator the first accessory device and the second accessory in response to detecting the gesture and determining, in response to detecting the gesture, that the gesture is a gesture of a first type and directed to a first state indicator; causing the device to change to a second state different from the first state, according to determining that the gesture is a second type gesture different from the first type gesture and directed to the first state indicator; displaying, via a display generating component, a first accessory control user interface object target corresponding to the first accessory device, wherein selection of the first accessory control user interface object target corresponds to the second accessory Instructions are included for displaying a first accessory control user interface object target that causes the first accessory device to change to the second state without causing the device to change to the second state.
いくつかの実施形態によれば、コンピュータシステムが記載される。コンピュータシステムは、ディスプレイ生成構成要素を介して、第１のアクセサリタイプの複数のアクセサリデバイスが第１の状態にあることを示す第１の状態を表示するための手段であって、第１のアクセサリタイプの複数のアクセサリデバイスは、第１のアクセサリタイプであり、第１の状態にある第１のアクセサリデバイスと、第１のアクセサリタイプであり、第１の状態にある第２のアクセサリデバイスであって、第２のアクセサリデバイスが第１のアクセサリデバイスとは異なるものとを含む手段と、第１の状態インジケータを表示している間に、ジェスチャを検出するための手段と、ジェスチャの検出に応答して、ジェスチャが第１のタイプのジェスチャであり、第１の状態インジケータに向けられるとの判定に従って、第１のアクセサリデバイス及び第２のアクセサリデバイスを第１の状態とは異なる第２の状態に変更させ、ジェスチャが第１のタイプのジェスチャとは異なる第２のタイプのジェスチャであり、第１の状態インジケータに向けられるとの判定に従って、ディスプレイ生成構成要素を介して、第１のアクセサリデバイスに対応する第１のアクセサリ制御ユーザインタフェースオブジェクト対象を表示するための手段であって、第１のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、第２のアクセサリデバイスを第２の状態に変更させることなく、第１のアクセサリデバイスを第２の状態に変更させる手段とを備える。 According to some embodiments, a computer system is described. The computer system, via a display generating component, means for displaying a first state indicating that a plurality of accessory devices of a first accessory type are in a first state, the first accessory The plurality of accessory devices of type are a first accessory device in a first state and a second accessory device of the first accessory type in a first state. means for detecting a gesture while displaying the first status indicator; and responsive to detecting the gesture. and placing the first accessory device and the second accessory device in a second state different from the first state in accordance with determining that the gesture is a first type gesture and directed at the first state indicator. and according to a determination that the gesture is a second type gesture different from the first type gesture and directed at the first status indicator, via the display generating component, the first accessory device means for displaying a first accessory control user interface object target corresponding to a second accessory device without causing a second accessory device to change to a second state. , and means for causing the first accessory device to change to the second state.
一部の実施形態によれば、方法が記載される。本方法は、ディスプレイ生成構成要素及び１つ以上の入力デバイスと通信するコンピュータシステムで実行される。本方法は、ディスプレイ生成構成要素を介して、第１の場所で、第１のメディアメッセージの第１の表現、及び第１の場所とは異なる第２の場所で、第２のメディアメッセージの第２の表現を含むメディアユーザインタフェースを表示することと、メディアユーザインタフェースを表示したことに応答して、メディアユーザインタフェースに対応するユーザ入力に基づくことなく、第１のメディアメッセージを再生することと、第１のメディアメッセージの再生の完了の検出に応答して、第１のメディアメッセージに対応する表現を、ディスプレイ生成構成要素を介して表示することなく、第２のメディアメッセージの第２の表現を表示することとを含む。 According to some embodiments, a method is described. The method is performed in a computer system in communication with a display generation component and one or more input devices. The method includes, via a display generating component, a first representation of a first media message at a first location and a second representation of a second media message at a second location different from the first location. displaying a media user interface including the representation of 2; and responsive to displaying the media user interface, playing the first media message without being based on user input corresponding to the media user interface; In response to detecting completion of playback of the first media message, displaying a second representation of the second media message without displaying a representation corresponding to the first media message via the display generating component. displaying.
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。非一時的コンピュータ可読記憶媒体は、コンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するものであって、コンピュータシステムは、ディスプレイ生成構成要素及び１つ以上の入力デバイスと通信し、１つ以上のプログラムは、ディスプレイ生成構成要素を介して、第１の場所で、第１のメディアメッセージの第１の表現、及び第１の場所とは異なる第２の場所で、第２のメディアメッセージの第２の表現を含むメディアユーザインタフェースを表示し、メディアユーザインタフェースを表示したことに応答して、メディアユーザインタフェースに対応するユーザ入力に基づくことなく、第１のメディアメッセージを再生し、第１のメディアメッセージの再生の完了の検出に応答して、第１のメディアメッセージに対応する表現を、ディスプレイ生成構成要素を介して表示することなく、第２のメディアメッセージの第２の表現を表示する、命令を含む。 According to some embodiments, a non-transitory computer-readable storage medium is described. The non-transitory computer-readable storage medium stores one or more programs configured to be executed by one or more processors of a computer system, the computer system comprising a display generation component and one Communicating with the input devices, the one or more programs, via the display generating component, at a first location, a first representation of a first media message and a second representation different from the first location. displaying a media user interface including a second representation of a second media message at a location of and, in response to displaying the media user interface, the first and, in response to detecting completion of playback of the first media message, playing a second media message without displaying a representation corresponding to the first media message via the display generation component. Instructions are included to display a second representation of the message.
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。一時的コンピュータ可読記憶媒体は、コンピュータシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するものであって、コンピュータシステムは、ディスプレイ生成構成要素及び１つ以上の入力デバイスと通信し、１つ以上のプログラムは、ディスプレイ生成構成要素を介して、第１の場所で、第１のメディアメッセージの第１の表現、及び第１の場所とは異なる第２の場所で、第２のメディアメッセージの第２の表現を含むメディアユーザインタフェースを表示し、メディアユーザインタフェースを表示したことに応答して、メディアユーザインタフェースに対応するユーザ入力に基づくことなく、第１のメディアメッセージを再生し、第１のメディアメッセージの再生の完了の検出に応答して、第１のメディアメッセージに対応する表現を、ディスプレイ生成構成要素を介して表示することなく、第２のメディアメッセージの第２の表現を表示する、命令を含む。 According to some embodiments, a temporary computer-readable storage medium is described. The temporary computer-readable storage medium stores one or more programs configured to be executed by one or more processors of a computer system, which includes a display generation component and one or more and one or more programs, via a display generating component, at a first location, a first representation of a first media message and a second representation different from the first location. at a location, displaying a media user interface including a second representation of a second media message; Playing the media message and, in response to detecting completion of playing the first media message, producing a second media message without displaying a representation corresponding to the first media message via the display generating component. includes instructions for displaying a second representation of .
いくつかの実施形態によれば、コンピュータシステムが記載される。コンピュータシステムは、１つ以上のプロセッサであって、コンピュータシステムがディスプレイ生成構成要素及び１つ以上の入力デバイスと通信するものと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリとを備え、１つ以上のプログラムは、ディスプレイ生成構成要素を介して、第１の場所で、第１のメディアメッセージの第１の表現、及び第１の場所とは異なる第２の場所で、第２のメディアメッセージの第２の表現を含むメディアユーザインタフェースを表示し、メディアユーザインタフェースを表示したことに応答して、メディアユーザインタフェースに対応するユーザ入力に基づくことなく、第１のメディアメッセージを再生し、第１のメディアメッセージの再生の完了の検出に応答して、第１のメディアメッセージに対応する表現を、ディスプレイ生成構成要素を介して表示することなく、第２のメディアメッセージの第２の表現を表示する、命令を含む。 According to some embodiments, a computer system is described. The computer system comprises one or more processors, with which the computer system communicates with display generating components and one or more input devices, and one or more configured to be executed by the one or more processors. wherein the one or more programs are a first representation of the first media message at a first location and different from the first location via the display generating component displaying, at a second location, a media user interface including a second representation of a second media message; and in response to displaying the media user interface, not based on user input corresponding to the media user interface; playing a first media message; and, in response to detecting completion of playing the first media message, a second media message without displaying a representation corresponding to the first media message via the display generation component; display a second representation of the media message of the.
いくつかの実施形態によれば、コンピュータシステムが記載される。コンピュータシステムは、ディスプレイ生成構成要素及び１つ以上の入力デバイスと通信する。コンピュータシステムは、ディスプレイ生成構成要素を介して、第１の場所で、第１のメディアメッセージの第１の表現、及び第１の場所とは異なる第２の場所で、第２のメディアメッセージの第２の表現を含むメディアユーザインタフェースを表示するための手段と、メディアユーザインタフェースを表示したことに応答して、メディアユーザインタフェースに対応するユーザ入力に基づくことなく、第１のメディアメッセージを再生するための手段と、第１のメディアメッセージの再生の完了の検出に応答して、第１のメディアメッセージに対応する表現を、ディスプレイ生成構成要素を介して表示することなく、第２のメディアメッセージの第２の表現を表示するための手段とを備える。 According to some embodiments, a computer system is described. A computer system communicates with a display generation component and one or more input devices. A computer system, via a display generating component, outputs a first representation of a first media message at a first location and a second representation of a second media message at a second location different from the first location. means for displaying a media user interface including the representation of 2; and in response to displaying the media user interface, for playing a first media message without being based on user input corresponding to the media user interface. and, in response to detecting completion of playback of the first media message, generating the second media message without displaying a representation corresponding to the first media message via the display generation component. and means for displaying a representation of 2.
これらの機能を実行する実行可能な命令は、任意選択的に、１つ以上のプロセッサによって実行されるように構成された非一時的コンピュータ可読記憶媒体又は他のコンピュータプログラム製品内に含まれる。これらの機能を実行する実行可能な命令は、任意選択的に、１つ以上のプロセッサによって実行されるように構成された一時的コンピュータ可読記憶媒体又は他のコンピュータプログラム製品内に含まれる。 Executable instructions for performing these functions are optionally contained within a non-transitory computer-readable storage medium or other computer program product configured to be executed by one or more processors. Executable instructions for performing these functions are optionally contained within a temporary computer-readable storage medium or other computer program product configured to be executed by one or more processors.
このため、音声メッセージを管理するための、より速く、より効率的な方法及インタフェースがデバイスに提供され、それによって、このようなデバイスの有効性、効率、及びユーザ満足度が増す。そのような方法及びインタフェースは、音声メッセージを管理するための他の方法を補完する又は置き換えることができる。 Thus, devices are provided with faster, more efficient methods and interfaces for managing voice messages, thereby increasing the effectiveness, efficiency, and user satisfaction of such devices. Such methods and interfaces can complement or replace other methods for managing voice messages.
説明される様々な実施形態をより良く理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきであり、類似の参照番号は、以下の図の全てを通じて、対応する部分を指す。 For a better understanding of the various described embodiments, reference should be made to the following detailed description in conjunction with the following drawings, where like reference numerals refer to the following figures. Refers to corresponding parts throughout.
以下の説明は、例示的な方法、パラメータなどについて記載する。しかしながら、そのような説明は、本開示の範囲に対する限定として意図されるものではなく、代わりに例示的な実施形態の説明として提供されることを認識されたい。 The following description sets forth exemplary methods, parameters, and the like. It should be recognized, however, that such description is not intended as a limitation on the scope of the present disclosure, but is instead provided as a description of exemplary embodiments.
音声メッセージを管理するための効率的な方法及びインタフェースを提供する電子デバイスが必要とされている。音声メッセージを管理するための技術は、デバイスの効率を増大させ（例えば、不必要な表示を低減する）、外部デバイスの周囲に提供される情報を増大させ（例えば、音声メッセージのソースを表示すること）、（オーディオ入力を受信したデバイスの状態のユーザに視覚的フィードバックを提供することによって）プライバシーを増大させる。このような技術は、音声メッセージを使用するユーザの認識的負担を軽減し、それにより、生産性を高めることができる。更に、このような技法は、普通なら冗長なユーザ入力に浪費されるプロセッサ及びバッテリの電力を低減させることができる。 What is needed is an electronic device that provides an efficient method and interface for managing voice messages. Techniques for managing voice messages increase device efficiency (e.g., reduce unnecessary displays) and increase information provided around external devices (e.g., display source of voice messages). ), increasing privacy (by providing visual feedback to the user of the state of the device that received the audio input). Such techniques can reduce the cognitive burden of users using voice messaging, thereby increasing productivity. In addition, such techniques can reduce processor and battery power otherwise wasted on redundant user input.
以下の図１Ａ～１Ｂ、図２、図３、図４Ａ～４Ｂ、及び図５Ａ～５Ｊでは、音声メッセージを送信及び受信するための技術を実行するための例示的なデバイスについて説明する。図６は、いくつかの実施形態に係る、音声メッセージを送信及び受信するための技術を実行するための物理的構造及び例示的なデバイスの１組を示す図である。 1A-1B, 2, 3, 4A-4B, and 5A-5J below describe exemplary devices for implementing techniques for sending and receiving voice messages. FIG. 6 is a diagram illustrating a set of physical structures and exemplary devices for implementing techniques for sending and receiving voice messages, according to some embodiments.
図７Ａ～７ＡＨは、いくつかの実施形態に係る、音声メッセージを送信するための例示的なユーザインタフェースを示す。図８Ａ～８Ｂは、いくつかの実施形態に係る、音声メッセージを送信するための方法を示すフロー図である。図７Ａ～７ＡＨのユーザインタフェースは、図８Ａ～８Ｂのプロセスを含む、後述のプロセスを示すために使用される。 7A-7AH illustrate exemplary user interfaces for sending voice messages, according to some embodiments. 8A-8B are flow diagrams illustrating methods for sending voice messages, according to some embodiments. The user interfaces of Figures 7A-7AH are used to illustrate the processes described below, including the processes of Figures 8A-8B.
図９Ａ～９Ｘは、いくつかの実施形態に係る、通知を表示するための例示的なユーザインタフェースを示す。図１０は、いくつかの実施形態に係る、通知を表示するための方法を示すフロー図である。図９Ａ～９Ｘのユーザインタフェースは、図１０のプロセスを含む、後述するプロセスを示すために使用される。 9A-9X illustrate exemplary user interfaces for displaying notifications, according to some embodiments. FIG. 10 is a flow diagram illustrating a method for displaying notifications, according to some embodiments. The user interfaces of FIGS. 9A-9X are used to illustrate the processes described below, including the process of FIG.
図１１Ａ～１１Ｒは、視覚的な指示を表示するための例示的なユーザインタフェースを示す。図１２は、視覚的な指示を表示するための方法を示すフロー図である。図１１Ａ～１１Ｒのユーザインタフェースは、図１２のプロセスを含む、後述のプロセスを示すために使用される。 11A-11R show exemplary user interfaces for displaying visual instructions. FIG. 12 is a flow diagram illustrating a method for displaying visual indications. The user interfaces of FIGS. 11A-11R are used to illustrate the processes described below, including the process of FIG.
図１３Ａ～１３Ｎは、デバイスの状態を管理するための例示的なユーザインタフェースを示す。図１４は、デバイスの状態を管理するための方法を示すフロー図である。図１３Ａ～１３Ｎのユーザインタフェースは、図１４のプロセスを含む、後述のプロセスを示すために使用される。 13A-13N illustrate exemplary user interfaces for managing device status. FIG. 14 is a flow diagram illustrating a method for managing device state. The user interfaces of FIGS. 13A-13N are used to illustrate the processes described below, including the process of FIG.
図１５Ａ～１５Ｆは、いくつかの実施形態に係る、音声メッセージを再生するための例示的なユーザインタフェースを示す。図１６は、いくつかの実施形態に係る、音声メッセージを再生するための方法を示すフロー図である。図１５Ａ～１５Ｆのユーザインタフェースは、図１６のプロセスを含む、後述のプロセスを示すために使用される。 15A-15F illustrate exemplary user interfaces for playing voice messages, according to some embodiments. FIG. 16 is a flow diagram illustrating a method for playing a voice message, according to some embodiments. The user interfaces of FIGS. 15A-15F are used to illustrate the processes described below, including the process of FIG.
以下の説明では、様々な要素について説明するために、「第１の」、「第２の」などの用語を使用するが、これらの要素は、それらの用語によって限定されるべきではない。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、記載する様々な実施形態の範囲から逸脱することなく、第１のタッチを第２のタッチと呼ぶこともでき、同様に第２のタッチを第１のタッチと呼ぶこともできる。第１のタッチ及び第２のタッチはどちらもタッチであるが、これらは同じタッチではない。 Although the following description uses terms such as "first," "second," etc. to describe various elements, these elements should not be limited by those terms. These terms are only used to distinguish one element from another. For example, a first touch could be referred to as a second touch, and similarly a second touch could be referred to as a first touch, without departing from the scope of various described embodiments. Both the first touch and the second touch are touches, but they are not the same touch.
本明細書に記載する様々な実施形態の説明で使用される術語は、特定の実施形態を説明することのみを目的とし、限定的であることは意図されていない。記載する様々な実施形態の説明及び添付の特許請求の範囲では、単数形の「ａ（１つ、一）」、「ａｎ（１つ、一）」、及び「ｔｈｅ（その、この）」は、文脈上別途明白に記載しない限り、複数形も同様に含むことが意図される。また、本明細書で使用されるとき、用語「及び／又は」は、関連する列挙された項目のうちの１つ以上のいずれか及び全ての考えられる組み合わせを指し、かつこれを含むことを理解されたい。用語「ｉｎｃｌｕｄｅｓ（含む）」、「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｃｏｍｐｒｉｓｅｓ（含む、備える）」、及び／又は「ｃｏｍｐｒｉｓｉｎｇ（含む、備える）」は、本明細書で使用する場合、述べられた特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらのグループの存在又は追加を除外しないことが更に理解されるであろう。 The terminology used in the description of the various embodiments provided herein is for the purpose of describing particular embodiments only and is not intended to be limiting. In the description of the various embodiments described and in the appended claims, the singular forms "a," "an," and "the" are intended to include the plural as well, unless the context clearly dictates otherwise. Also, as used herein, the term "and/or" is understood to refer to and include any and all possible combinations of one or more of the associated listed items. want to be The terms "includes," "including," "comprises," and/or "comprising," as used herein, refer to the features mentioned, specifying the presence of an integer, step, operation, element, and/or component, but specifying the presence or addition of one or more other features, integers, steps, operations, elements, components, and/or groups thereof It will be further understood that no exclusions are made.
「～の場合（if）」という用語は、任意選択的に、文脈に応じて、「～とき（when）」若しくは「～とき（upon）」、又は「～と判定したことに応じて（in response to determining）」若しくは「～を検出したことに応じて（in response to detecting）」を意味すると解釈される。同様に、「～と判定された場合（if it is determined）」又は「［記載の状態又はイベント］が検出された場合（if [a stated condition or event] is detected）」という語句は、任意選択的に、文脈に応じて、「～と判定したとき（upon determining）」若しくは「～と判定したことに応じて（in response to determining）」、又は「［記載の状態又はイベント］を検出したとき（upon detecting [the stated condition or event]）」若しくは「［記載の状態又はイベント］を検出したことに応じて（in response to detecting [the stated condition or event]）」を意味すると解釈される。 The term "if" is optionally used, depending on the context, "when" or "upon" or "in "response to determining" or "in response to detecting". Similarly, the phrases "if it is determined" or "if [a stated condition or event] is detected" are optional. Literally, depending on the context, "upon determining" or "in response to determining", or "when detecting [state or event] “upon detecting [the stated condition or event]” or “in response to detecting [the stated condition or event]”.
電子デバイス、そのようなデバイス用のユーザインタフェース、及びそのようなデバイスを使用する関連するプロセスの実施形態が説明される。いくつかの実施形態では、デバイスは、ＰＤＡ機能及び／又は音楽プレーヤ機能などの他の機能も含む、携帯電話などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態としては、カリフォルニア州クパチーノのＡｐｐｌｅ Ｉｎｃ．からのｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）のデバイスが挙げられるが、これらに限定されない。任意選択的に、タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を有するラップトップ又はタブレットコンピュータなどの他のポータブル電子デバイスも使用される。また、いくつかの実施形態では、デバイスはポータブル通信デバイスではなく、タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を有するデスクトップコンピュータであることも理解されたい。 Embodiments of electronic devices, user interfaces for such devices, and associated processes of using such devices are described. In some embodiments, the device is a portable communication device such as a mobile phone that also includes PDA functionality and/or other functionality such as music player functionality. Exemplary embodiments of portable multifunction devices include those manufactured by Apple Inc. of Cupertino, Calif. including, but not limited to, iPhone®, iPod Touch®, and iPad® devices from Apple Inc. Optionally, other portable electronic devices such as laptops or tablet computers with touch-sensitive surfaces (eg, touch screen displays and/or touch pads) are also used. It should also be appreciated that in some embodiments the device is not a portable communication device, but a desktop computer with a touch-sensitive surface (eg, a touchscreen display and/or touchpad).
以下の論考では、ディスプレイ及びタッチ感知面を含む電子デバイスについて説明する。しかしながら、電子デバイスは、任意選択的に、物理キーボード、マウス、及び／又はジョイスティックなどの１つ以上の他の物理ユーザインタフェースデバイスを含むことを理解されたい。 The following discussion describes electronic devices that include displays and touch-sensitive surfaces. However, it should be understood that the electronic device optionally includes one or more other physical user interface devices such as a physical keyboard, mouse and/or joystick.
デバイスは、典型的には、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、テレビ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレーヤアプリケーション、及び／又はデジタルビデオプレーヤアプリケーションのうちの１つ以上などの様々なアプリケーションに対応する。 Devices are typically used in drawing applications, presentation applications, word processing applications, website creation applications, disc authoring applications, spreadsheet applications, gaming applications, telephony applications, video conferencing applications, e-mail applications, instant messaging applications, training Various applications such as one or more of a support application, a photo management application, a digital camera application, a digital video camera application, a web browsing application, a digital music player application, and/or a digital video player application are supported.
本デバイス上で実行される様々なアプリケーションは、タッチ感知面などの、少なくとも１つの共通の物理ユーザインタフェースデバイスを、任意選択的に使用する。タッチ感知面の１つ以上の機能、並びにデバイス上に表示される対応する情報は、アプリケーションごとに、及び／又はそれぞれのアプリケーション内で、任意選択的に、調整及び／又は変更される。このように、デバイスの共通の物理アーキテクチャ（タッチ感知面など）は、任意選択的に、ユーザにとって直観的かつ透明なユーザインタフェースを備える様々なアプリケーションをサポートする。 Various applications running on the device optionally use at least one common physical user interface device, such as a touch-sensitive surface. One or more functions of the touch-sensitive surface and corresponding information displayed on the device are optionally adjusted and/or changed from application to application and/or within each application. In this way, the common physical architecture of the device (such as the touch sensitive surface) optionally supports various applications with a user interface that is intuitive and transparent to the user.
ここで、タッチ感知ディスプレイを備えるポータブルデバイスの実施形態に注意を向ける。図１Ａは、いくつかの実施形態に係るタッチ感知ディスプレイシステム１１２を有するポータブル多機能デバイス１００を示すブロック図である。タッチ感知ディスプレイ１１２は、便宜上「タッチスクリーン」と呼ばれることがあり、「タッチ感知ディスプレイシステム」として知られている又は呼ばれることがある。デバイス１００は、メモリ１０２（任意選択的に、１つ以上のコンピュータ可読記憶媒体を含む）、メモリコントローラ１２２、１つ以上の処理ユニット（ＣＰＵ）１２０、周辺機器インタフェース１１８、ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、入出力（Ｉ／Ｏ）サブシステム１０６、他の入力コントロールデバイス１１６、及び外部ポート１２４を含む。デバイス１００は、任意選択的に、１つ以上の光センサ１６４を含む。デバイス１００は、任意選択的に、デバイス１００上の接触の強度を検出する１つ以上の接触強度センサ１６５（例えば、デバイス１００のタッチ感知ディスプレイシステム１１２などのタッチ感知面）を含む。デバイス１００は、任意選択的に、デバイス１００上で触知出力を生成する（例えばデバイス１００のタッチ感知ディスプレイシステム１１２又はデバイス３００のタッチパッド３５５などのタッチ感知面上で触知出力を生成する）１つ以上の触知出力生成器１６７を含む。これらの構成要素は、任意選択的に、１つ以上の通信バス又は信号ライン１０３を介して通信する。
Attention is now directed to embodiments of portable devices with touch-sensitive displays. FIG. 1A is a block diagram illustrating a
本明細書及び特許請求の範囲では、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触（例えば、指の接触）の力若しくは圧力（単位面積当たりの力）、又はタッチ感知面上の接触の力若しくは圧力に対する代理（プロキシ）を指す。接触の強度は、少なくとも４つの別個の値を含み、より典型的には、数百の（例えば、少なくとも２５６の）別個の値を含む、値の範囲を有する。接触の強度は、任意選択的に、様々な手法、及び様々なセンサ又はセンサの組み合わせを使用して、判定（又は測定）される。例えば、タッチ感知面の下又はそれに隣接する１つ以上の力センサは、任意選択的に、タッチ感知面上の様々なポイントにおける力を測定するために使用される。いくつかの実装例では、複数の力センサからの力測定値は、接触の推定される力を判定するために組み合わされる（例えば、加重平均）。同様に、スタイラスの感圧性先端部は、任意選択的に、タッチ感知面上のスタイラスの圧力を判定するために使用される。あるいは、タッチ感知面上で検出される接触エリアのサイズ及び／若しくはその変化、接触に近接するタッチ感知面の電気容量及び／若しくはその変化、並びに／又は、接触に近接するタッチ感知面の抵抗及び／若しくはその変化は、任意選択的に、タッチ感知面上の接触の力又は圧力の代替物として使用される。いくつかの実装例では、接触の力又は圧力のための代替測定値は、強度閾値を超えているかどうかを判定するために直接使用される（例えば、強度閾値は、代替測定値に対応する単位で記述される）。いくつかの実装例では、接触力又は圧力に対する代理測定は、推定される力又は圧力に変換され、推定される力又は圧力は、強度閾値を超過したかどうかを判定するために使用される（例えば、強度閾値は、圧力の単位で測定される圧力閾値である）。接触の強度をユーザ入力の属性として使用することにより、アフォーダンスを（例えば、タッチ感知ディスプレイ上に）表示するための、及び／又は、ユーザ入力を（例えば、タッチ感知ディスプレイ、タッチ感知面、又は、ノブ若しくはボタンなどの物理的／機械的制御部を介して）受信するための面積が制限されている、低減されたサイズのデバイス上で、通常であればユーザによってアクセスすることが不可能であり得る追加のデバイス機能への、ユーザのアクセスが可能となる。 As used herein and in the claims, the term "strength" of contact on the touch-sensitive surface refers to the force or pressure (force per unit area) of contact (e.g., finger contact) on the touch-sensitive surface, or Refers to a proxy for the force or pressure of contact on a touch-sensitive surface. The intensity of contact has a range of values including at least four distinct values, and more typically including several hundred (eg, at least 256) distinct values. The strength of contact is optionally determined (or measured) using various techniques and various sensors or combinations of sensors. For example, one or more force sensors under or adjacent to the touch-sensitive surface are optionally used to measure force at various points on the touch-sensitive surface. In some implementations, force measurements from multiple force sensors are combined (eg, weighted average) to determine the estimated force of the contact. Similarly, the stylus' pressure-sensitive tip is optionally used to determine the pressure of the stylus on the touch-sensitive surface. Alternatively, the size and/or change in the contact area detected on the touch-sensitive surface, the capacitance and/or change in the touch-sensitive surface proximate to the contact, and/or the resistance and/or change in the touch-sensitive surface proximate to the contact. /or its variation is optionally used as a substitute for contact force or pressure on the touch-sensitive surface. In some implementations, the alternate measure for contact force or pressure is used directly to determine whether an intensity threshold has been exceeded (e.g., the intensity threshold is in units corresponding to the alternate measure). ). In some implementations, the surrogate measurement for contact force or pressure is converted to an estimated force or pressure, and the estimated force or pressure is used to determine whether a strength threshold has been exceeded ( For example, the intensity threshold is the pressure threshold measured in units of pressure). to display affordances (e.g., on a touch-sensitive display) and/or measure user input (e.g., on a touch-sensitive display, touch-sensitive surface, or Not normally accessible by the user on reduced size devices with limited area for receiving (via physical/mechanical controls such as knobs or buttons) It allows the user access to additional device features that are available.
本明細書及び特許請求の範囲において使用される場合、用語「触知出力」は、ユーザの触覚でユーザによって検出されることになる、デバイスの従前の位置に対するそのデバイスの物理的変位、デバイスの構成要素（例えば、タッチ感知面）の、そのデバイスの別の構成要素（例えば、筐体）に対する物理的変位、又は、デバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素が、タッチに敏感なユーザの表面（例えば、ユーザの手の指、手のひら、又は他の部分）に接触している状況では、物理的変位によって生成された触知出力は、そのデバイス又はデバイスの構成要素の物理的特性の認識される変化に相当する触感として、ユーザによって解釈されることになる。例えば、タッチ感知面（例えば、タッチ感知ディスプレイ又はトラックパッド）の移動は、ユーザによって、物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」として、任意選択的に解釈される。場合によっては、ユーザの動作により物理的に押された（例えば、変位された）タッチ感知面に関連付けられた物理アクチュエータボタンの移動がないときでさえ、ユーザは「ダウンクリック」又は「アップクリック」などの触感を感じる。別の例として、タッチ感知面の移動は、タッチ感知面の平滑度に変化がない場合であっても、ユーザによって、そのタッチ感知面の「粗さ」として、任意選択的に解釈又は感知される。そのようなユーザによるタッチの解釈は、ユーザの個人的な感覚認知に左右されるが、大多数のユーザに共通する、多くのタッチの感覚認知が存在する。したがって、触知出力が、ユーザの特定の感覚認知（例えば、「アップクリック」「ダウンクリック」、「粗さ」）に対応するものと記述される場合、別途記載のない限り、生成された触知出力は、典型的な（又は、平均的な）ユーザの記述された感覚認知を生成するデバイス、又はデバイスの構成要素の物理的変位に対応する。 As used herein and in the claims, the term "tactile output" refers to the physical displacement of the device relative to its previous position, which is to be detected by the user in the user's sense of touch. Refers to the physical displacement of a component (eg, touch-sensitive surface) relative to another component of the device (eg, housing) or the displacement of a component relative to the device's center of mass. For example, in situations where a device or device component is in contact with a touch-sensitive surface of a user (e.g., fingers, palm, or other part of the user's hand), tactile sensations generated by physical displacement The output will be interpreted by the user as a tactile sensation corresponding to a perceived change in the physical properties of the device or device components. For example, movement of a touch-sensitive surface (eg, touch-sensitive display or trackpad) is optionally interpreted by the user as a "down-click" or "up-click" of a physical actuator button. In some cases, a user can "down-click" or "up-click" even when there is no movement of the physical actuator button associated with the touch-sensitive surface that is physically pressed (e.g., displaced) by the user's motion. I feel the tactile sensation such as As another example, movement of the touch-sensitive surface is optionally interpreted or perceived by the user as "roughness" of the touch-sensitive surface, even if there is no change in the smoothness of the touch-sensitive surface. be. Such a user's interpretation of touch depends on the user's personal sensory perception, but there are many sensory perceptions of touch that are common to the majority of users. Thus, when a tactile output is described as corresponding to a particular sensory perception of a user (e.g., "upclick", "downclick", "roughness"), the generated tactile A sensory output corresponds to the physical displacement of a device, or a component of a device, that produces the described sensory perception of a typical (or average) user.
デバイス１００は、ポータブル多機能デバイスの一例に過ぎず、デバイス１００は、任意選択的に、示されているものよりも多くの構成要素又は少ない構成要素を有するものであり、任意選択的に、２つ以上の構成要素を組み合わせるものであり、又は、任意選択的に、それらの構成要素の異なる構成若しくは配置を有するものであることを理解されたい。図１Ａに示す様々な構成要素は、１つ以上の信号処理回路及び／又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアの両方の組み合わせで実施される。
メモリ１０２は、任意選択的に、高速ランダムアクセスメモリを含み、また任意選択的に、１つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイスなどの不揮発性メモリを含む。メモリコントローラ１２２は、任意選択的に、デバイス１００の他の構成要素によるメモリ１０２へのアクセスを制御する。
Memory 102 optionally includes high speed random access memory and optionally non-volatile memory such as one or more magnetic disk storage devices, flash memory devices, or other non-volatile solid state memory devices. include.
周辺機器インタフェース１１８は、デバイスの入力及び出力周辺機器をＣＰＵ１２０及びメモリ１０２に結合するために使用することができる。１つ以上のプロセッサ１２０は、メモリ１０２に記憶された様々なソフトウェアプログラム及び／又は命令セットを動作させる又は実行して、デバイス１００のための様々な機能を実行し、データを処理する。いくつかの実施形態では、周辺機器インタフェース１１８、ＣＰＵ１２０、及びメモリコントローラ１２２は、任意選択的に、チップ１０４などの単一のチップ上で実施される。いくつかの他の実施形態では、それらは別々のチップ上に任意選択的に実装される。
ＲＦ（radio frequency）（無線周波数）回路１０８は、電磁信号とも呼ばれるＲＦ信号を送受信する。ＲＦ回路１０８は、電気信号を電磁信号に、又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。ＲＦ回路１０８は、任意選択的に、これらの機能を実行するための周知の回路を含み、それらの回路としては、限定するものではないが、アンテナシステム、ＲＦ送受信機、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュール（subscriber identity module、ＳＩＭ）カード、メモリなどが挙げられる。ＲＦ回路１０８は、任意選択的に、ワールドワイドウェブ（World Wide Web、ＷＷＷ）とも呼ばれるインターネット、イントラネット、並びに／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（local area network、ＬＡＮ）及び／若しくはメトロポリタンエリアネットワーク（metropolitan area network、ＭＡＮ）などの無線ネットワークなどのネットワークと、また他のデバイスと、無線通信によって通信する。ＲＦ回路１０８は、任意選択的に、短距離通信無線機などによって近距離通信（near field Communication、ＮＦＣ）フィールドを検出するよく知られている回路を含む。無線通信は、任意選択的に、それだけに限定されるものではないが、動き通信用のグローバルシステム（Global System for Mobile Communications、ＧＳＭ）、拡張データＧＳＭ環境（Enhanced Data GSM Environment、ＥＤＧＥ）、高速ダウンリンクパケットアクセス（high-speed downlink packet access、ＨＳＤＰＡ）、高速アップリンクパケットアクセス（high-speed uplink packet access、ＨＳＵＰＡ）、エボリューションデータオンリ（Evolution,Data-Only、ＥＶ－ＤＯ）、ＨＳＰＡ、ＨＳＰＡ＋、デュアルセルＨＳＰＡ（Dual-Cell HSPA、ＤＣ－ＨＳＰＤＡ）、ロングタームエボリューション（long term evolution、ＬＴＥ）、近距離通信（ＮＦＣ）、広帯域符号分割多元接続（wideband code division multiple access、Ｗ－ＣＤＭＡ）、符号分割多元接続（code division multiple access、ＣＤＭＡ）、時分割多元接続（time division multiple access、ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈローエネルギ（Bluetooth Low Energy、ＢＴＬＥ（登録商標））、ワイヤレスフィデリティ（Wireless Fidelity、Ｗｉ－Ｆｉ（登録商標））（例えば、ＩＥＥＥ ８０２．１１ａ、ＩＥＥＥ ８０２．１１ｂ、ＩＥＥＥ ８０２．１１ｇ、ＩＥＥＥ ８０２．１１ｎ、及び／若しくはＩＥＥＥ ８０２．１１ａｃ）、ボイスオーバインターネットプロトコル（voice over Internet Protocol、ＶｏＩＰ）、Ｗｉ－ＭＡＸ（登録商標）、電子メール用プロトコル（例えば、インターネットメッセージアクセスプロトコル（Internet message access protocol、ＩＭＡＰ）及び／若しくはポストオフィスプロトコル（post office protocol、ＰＯＰ））、インスタントメッセージング（例えば、拡張可能なメッセージング及びプレゼンスプロトコル（extensible messaging and presence protocol、ＸＭＰＰ）、インスタントメッセージング及びプレゼンスレベレイジングエクステンションのためのセッション開始プロトコル（Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions、ＳＩＭＰＬＥ）、インスタントメッセージング及びプレゼンスサービス（Instant Messaging and Presence Service、ＩＭＰＳ））、並びに／若しくはショートメッセージサービス（Short Message Service、ＳＭＳ）、又は本明細書の出願日の時点でまだ開発されていない通信プロトコルを含む任意の他の適した通信プロトコルを含む、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用する。
Radio frequency (RF)
オーディオ回路１１０、スピーカ１１１、及びマイクロフォン１１３は、ユーザとデバイス１００との間のオーディオインタフェースを提供する。オーディオ回路１１０は、周辺機器インタフェース１１８からオーディオデータを受信し、このオーディオデータを電気信号に変換し、この電気信号をスピーカ１１１に送信する。スピーカ１１１は、電気信号を人間の可聴音波に変換する。また、オーディオ回路１１０は、マイクロフォン１１３によって音波から変換された電気信号を受信する。オーディオ回路１１０は、電気信号をオーディオデータに変換し、このオーディオデータを処理のために周辺機器インタフェース１１８に送信する。オーディオデータは、任意選択的に、周辺機器インタフェース１１８によって、メモリ１０２及び／若しくはＲＦ回路１０８から取得され、かつ／又はメモリ１０２及び／若しくはＲＦ回路１０８に伝送される。いくつかの実施形態では、オーディオ回路１１０はまた、ヘッドセットジャック（例えば、図２の２１２）を含む。ヘッドセットジャックは、オーディオ回路１１０と、出力専用ヘッドホン又は出力（例えば片耳又は両耳用のヘッドホン）及び入力（例えばマイクロフォン）の両方を備えるヘッドセットなどの着脱可能なオーディオ入出力周辺機器との間のインタフェースを提供する。
Ｉ／Ｏサブシステム１０６は、タッチスクリーン１１２及び他の入力コントロールデバイス１１６などのデバイス１００上の入出力周辺機器を、周辺機器インタフェース１１８に結合する。Ｉ／Ｏサブシステム１０６は、任意選択的に、ディスプレイコントローラ１５６、光センサコントローラ１５８、深度カメラコントローラ１６９、強度センサコントローラ１５９、触覚フィードバックコントローラ１６１、及び、他の入力デバイス若しくは制御デバイス用の１つ以上の入力コントローラ１６０を含む。１つ以上の入力コントローラ１６０は、他の入力コントロールデバイス１１６からの電気信号の受信／他の入力コントロールデバイス１１６への電気信号の送信を行う。他の入力コントロールデバイス１１６は、任意選択的に、物理ボタン（例えば、プッシュボタン、ロッカボタンなど）、ダイヤル、スライダスイッチ、ジョイスティック、クリックホイールなどを含む。いくつかの代替的な実施形態では、入力コントローラ（単数又は複数）１６０は、任意選択的に、キーボード、赤外線ポート、ＵＳＢポート、及びマウスなどのポインタデバイスのうちのいずれかに結合される（又はいずれにも結合されない）。１つ以上のボタン（例えば、図２の２０８）は、任意選択的に、スピーカ１１１及び／又はマイクロフォン１１３の音量コントロールのための上下ボタンを含む。１つ以上のボタンは、任意選択的に、プッシュボタン（例えば、図２の２０６）を含む。
I/O subsystem 106 couples input/output peripherals on
全体として参照により本明細書に組み込まれている、２００５年１２月２３日出願の米国特許出願第１１／３２２，５４９号、「Ｕｎｌｏｃｋｉｎｇ ａ Ｄｅｖｉｃｅ ｂｙ Ｐｅｒｆｏｒｍｉｎｇ Ｇｅｓｔｕｒｅｓ ｏｎ ａｎ Ｕｎｌｏｃｋ Ｉｍａｇｅ」、米国特許第７，６５７，８４９号に記載されているように、プッシュボタンの素早い押下は、任意選択的に、タッチスクリーン１１２のロックを係合解除し、又は任意選択的に、タッチスクリーン上のジェスチャを使用してデバイスをアンロックするプロセスを開始する。プッシュボタン（例えば、２０６）のより長い押下は、任意選択的に、デバイス１００への電力をオン又はオフにする。ボタンのうちの１つ以上の機能性は、任意選択的に、ユーザによってカスタマイズ可能である。タッチスクリーン１１２は、仮想又はソフトボタン及び１つ以上のソフトキーボードを実装するために使用される。
U.S. Patent Application No. 11/322,549, "Unlocking a Device by Performing Gestures on an Unlock Image," filed Dec. 23, 2005, which is incorporated herein by reference in its entirety, U.S. Patent No. 7, 657,849, a quick press of the push button optionally disengages the lock on the
タッチ感知ディスプレイ１１２は、デバイスとユーザとの間の入力インタフェース及び出力インタフェースを提供する。ディスプレイコントローラ１５６は、タッチスクリーン１１２からの電気信号の受信、及び／又はタッチスクリーン１１２への電気信号の送信を行う。タッチスクリーン１１２は、ユーザに対して視覚出力を表示する。この視覚出力は、グラフィック、テキスト、アイコン、ビデオ、及びそれらの任意の組み合わせ（総称して「グラフィック」）を任意選択的に含む。いくつかの実施形態では、視覚出力の一部又は全ては、任意選択的に、ユーザインタフェースオブジェクトに対応する。
Touch-
タッチスクリーン１１２は、触覚及び／又は触知接触に基づくユーザからの入力を受け入れるタッチ感知面、センサ、又はセンサのセットを有する。タッチスクリーン１１２及びディスプレイコントローラ１５６は（メモリ１０２内の任意の関連モジュール及び／又は命令セットと共に）、タッチスクリーン１１２上で接触（及び任意の接触の移動又は中断）を検出し、検出された接触をタッチスクリーン１１２上に表示されたユーザインタフェースオブジェクト（例えば、１つ以上のソフトキー、アイコン、ウェブページ又は画像）との対話に変換する。例示的な実施形態では、タッチスクリーン１１２とユーザとの間の接触点は、ユーザの指に対応する。
タッチスクリーン１１２は、任意選択的に、ＬＣＤ（液晶ディスプレイ）技術、ＬＰＤ（発光ポリマーディスプレイ）技術、又はＬＥＤ（発光ダイオード）技術を使用するが、他の実施形態では、他のディスプレイ技術も使用される。タッチスクリーン１１２及びディスプレイコントローラ１５６は、任意選択的に、それだけに限定されるものではないが、容量性、抵抗性、赤外線、及び表面音波の技術、並びにタッチスクリーン１１２との１つ以上の接触点を判定する他の近接センサアレイ又は他の要素を含む、現在知られている又は今後開発される複数のタッチ感知技術のうちのいずれかを使用して、接触及びそのあらゆる動き又は中断を検出する。例示的な実施形態では、カリフォルニア州クパチーノのＡｐｐｌｅ Ｉｎｃ．からのｉＰｈｏｎｅ（登録商標）及びｉＰｏｄ Ｔｏｕｃｈ（登録商標）に見られるものなどの、投影型相互静電容量感知技術が使用される。
The
タッチスクリーン１１２のいくつかの実施形態におけるタッチ感知ディスプレイは、任意選択的に、それぞれ全体として参照により本明細書に組み込まれている、米国特許第６，３２３，８４６号（Ｗｅｓｔｅｒｍａｎら）、第６，５７０，５５７号（Ｗｅｓｔｅｒｍａｎら）、及び／若しくは第６，６７７，９３２号（Ｗｅｓｔｅｒｍａｎ）、並びに／又は米国特許公報第２００２／００１５０２４Ａ１号という米国特許に記載されているマルチタッチ感知タッチパッドに類似している。しかしながら、タッチスクリーン１１２はデバイス１００からの視覚出力を表示するのに対して、タッチ感知タッチパッドは視覚出力を提供しない。
The touch-sensitive display in some embodiments of
タッチスクリーン１１２のいくつかの実施形態におけるタッチ感知ディスプレイは、（１）２００６年５月２日出願の米国特許出願第１１／３８１，３１３号、「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈ Ｓｕｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ」、（２）２００４年５月６日出願の米国特許出願第１０／８４０，８６２号、「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈｓｃｒｅｅｎ」、（３）２００４年７月３０日出願の米国特許出願第１０／９０３，９６４号、「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（４）２００５年１月３１日出願の米国特許出願第１１／０４８，２６４号、「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（５）２００５年１月１８日出願の米国特許出願第１１／０３８，５９０号、「Ｍｏｄｅ－Ｂａｓｅｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（６）２００５年９月１６日出願の米国特許出願第１１／２２８，７５８号、「Ｖｉｒｔｕａｌ Ｉｎｐｕｔ Ｄｅｖｉｃｅ Ｐｌａｃｅｍｅｎｔ Ｏｎ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ」、（７）２００５年９月１６日出願の米国特許出願第１１／２２８，７００号、「Ｏｐｅｒａｔｉｏｎ Ｏｆ Ａ Ｃｏｍｐｕｔｅｒ Ｗｉｔｈ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｉｎｔｅｒｆａｃｅ」、（８）２００５年９月１６日出願の米国特許出願第１１／２２８，７３７号、「Ａｃｔｉｖａｔｉｎｇ Ｖｉｒｔｕａｌ Ｋｅｙｓ Ｏｆ Ａ Ｔｏｕｃｈ－Ｓｃｒｅｅｎ Ｖｉｒｔｕａｌ Ｋｅｙｂｏａｒｄ」、及び（９）２００６年３月３日出願の米国特許出願第１１／３６７，７４９号、「Ｍｕｌｔｉ－Ｆｕｎｃｔｉｏｎａｌ Ｈａｎｄ－Ｈｅｌｄ Ｄｅｖｉｃｅ」という出願に記載されている。これらの出願は全て、全体として参照により本明細書に組み込まれている。
The touch sensitive display in some embodiments of the
タッチスクリーン１１２は、任意選択的に、１００ｄｐｉを超えるビデオ解像度を有する。いくつかの実施形態では、タッチスクリーンは、約１６０ｄｐｉのビデオ解像度を有する。ユーザは、任意選択的に、スタイラス、指などの任意の適した物体又は付属物を使用して、タッチスクリーン１１２に接触する。いくつかの実施形態では、ユーザインタフェースは、指による接触及びジェスチャを主に扱うように設計されるが、これは、タッチスクリーン上の指の接触面積がより大きいため、スタイラスベースの入力ほど精密でない可能性がある。いくつかの実施形態では、デバイスは、指による粗い入力を、ユーザによって所望されているアクションを実行するための、正確なポインタ／カーソルの位置又はコマンドに変換する。
いくつかの実施形態では、タッチスクリーンに加えて、デバイス１００は、任意選択的に、特定の機能をアクティブ化又は非アクティブ化するためのタッチパッドを含む。いくつかの実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しない、デバイスのタッチ感知エリアである。タッチパッドは、任意選択的に、タッチスクリーン１１２又はタッチスクリーンによって形成されるタッチ感知面の拡張部とは別個のタッチ感知面である。
In some embodiments, in addition to the touchscreen,
デバイス１００は、様々な構成要素に電力を供給する電力システム１６２も含む。電力システム１６２は、任意選択的に、電力管理システム、１つ以上の電源（例えば、バッテリ、交流（ＡＣ））、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態インジケータ（例えば、発光ダイオード（ＬＥＤ））、並びにポータブルデバイス内での電力の生成、管理、及び分配に関連付けられた任意の他の構成要素を含む。
また、デバイス１００は、任意選択的に、１つ以上の光センサ１６４を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の光センサコントローラ１５８に結合された光センサを示す。光センサ１６４は、任意選択的に、電荷結合デバイス（charge-coupled device、ＣＣＤ）又は相補的金属酸化物半導体（complementary metal-oxide semiconductor、ＣＭＯＳ）フォトトランジスタを含む。光センサ１６４は、１つ以上のレンズを通って投影された環境からの光を受信し、その光を、画像を表すデータに変換する。光センサ１６４は、撮像モジュール１４３（カメラモジュールとも呼ばれる）と連携して、任意選択的に、静止画像又はビデオをキャプチャする。いくつかの実施形態では、光センサは、デバイスの前面にあるタッチスクリーンディスプレイ１１２とは反対に、デバイス１００の裏面に位置し、したがってタッチスクリーンディスプレイは、静止画像及び／又はビデオ画像の取得のためのビューファインダとして使用することが有効である。いくつかの実施形態では、光センサは、デバイスの前面に配置し、したがってユーザの画像が、任意選択的に、テレビ会議のために入手され、ユーザは、他のテレビ会議参加者をタッチスクリーンディスプレイ上で見る。いくつかの実施形態では、光センサ１６４の位置は、ユーザによって（例えば、デバイス筐体内でレンズ及びセンサを回転させることによって）変更することができ、したがって単一の光センサ１６４が、タッチスクリーンディスプレイと共に、テレビ会議にも静止画像及び／又はビデオ画像の取得にも使用される。
デバイス１００はまた、任意選択的に、１つ以上の深度カメラセンサ１７５を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の深度カメラコントローラ１６９に結合された深度カメラセンサを示す。深度カメラセンサ１７５は、環境からデータを受信して、視点（例えば、深度カメラセンサ）からのシーン内の対象物（例えば、顔面）の３次元モデルを作成する。いくつかの実施形態では、撮像モジュール１４３（カメラモジュールとも呼ばれる）と連携して、深度カメラセンサ１７５は、任意選択的に、撮像モジュール１４３によってキャプチャされた画像の種々の部分の深度マップを決定するために使用される。いくつかの実施形態では、ユーザが他のテレビ会議参加者をタッチスクリーンディスプレイ上で見ている間に、深度情報を有するユーザの画像が、任意選択的に、テレビ会議のために取得されるように、及び、深度マップデータを有する自撮り画像をキャプチャするように、デバイス１００の前面に深度カメラセンサが配置されている。いくつかの実施形態では、深度カメラセンサ１７５は、デバイスの背面に、あるいはデバイス１００の背面及び前面に配置されている。いくつかの実施形態では、深度カメラセンサ１７５の位置は、ユーザによって（例えば、デバイスハウジング内でレンズ及びセンサを回転させることによって）変更することができ、したがって深度カメラセンサ１７５が、タッチスクリーンディスプレイと共に、テレビ会議にも静止画像及び／又はビデオ画像の取得にも使用される。
デバイス１００はまた、任意選択的に、１つ以上の接触強度センサ１６５を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の強度センサコントローラ１５９に結合された接触強度センサを示す。接触強度センサ１６５は、任意選択的に、１つ以上のピエゾ抵抗ひずみゲージ、容量性力センサ、電気力センサ、圧電力センサ、光学力センサ、容量性タッチ感知面、又は他の強度センサ（例えば、タッチ感知面上の接触の力（若しくは圧力）を測定するために使用されるセンサ）を含む。接触強度センサ１６５は、接触強度情報（例えば、圧力情報、又は圧力情報に対するプロキシ）を環境から受信する。いくつかの実施形態では、少なくとも１つの接触強度センサは、タッチ感知面（例えばタッチ感知ディスプレイシステム１１２）と並置される、又はそれに近接される。いくつかの実施形態では、少なくとも１つの接触強度センサが、デバイス１００の前面に配置されたタッチスクリーンディスプレイ１１２の反対側である、デバイス１００の背面に配置されている。
また、デバイス１００は、任意選択的に、１つ以上の近接センサ１６６を含む。図１Ａは、周辺機器インタフェース１１８に結合された近接センサ１６６を示す。代わりに、近接センサ１６６は、任意選択的に、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に結合される。近接センサ１６６は、任意選択的に、全体として参照により本明細書に組み込まれている、米国特許出願第１１／２４１，８３９号、「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」、第１１／２４０，７８８号、「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」第１１／６２０，７０２号、「Ｕｓｉｎｇ Ａｍｂｉｅｎｔ Ｌｉｇｈｔ Ｓｅｎｓｏｒ Ｔｏ Ａｕｇｍｅｎｔ Ｐｒｏｘｉｍｉｔｙ Ｓｅｎｓｏｒ Ｏｕｔｐｕｔ」、第１１／５８６，８６２号、「Ａｕｔｏｍａｔｅｄ Ｒｅｓｐｏｎｓｅ Ｔｏ Ａｎｄ Ｓｅｎｓｉｎｇ Ｏｆ Ｕｓｅｒ Ａｃｔｉｖｉｔｙ Ｉｎ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅｓ」、及び同第１１／６３８，２５１号、「Ｍｅｔｈｏｄｓ Ａｎｄ Ｓｙｓｔｅｍｓ Ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｏｆ Ｐｅｒｉｐｈｅｒａｌｓ」で説明されるように機能するものであり、これらの出願は、全体が参照により本明細書に組み込まれる。いくつかの実施形態では、多機能デバイスが、ユーザの耳の近くに配置される場合（例えば、ユーザが電話通話を行っている場合）、近接センサは、タッチスクリーン１１２をオフにして無効化する。
デバイス１００はまた、任意選択的に、１つ以上の触知出力生成器１６７を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の触覚フィードバックコントローラ１６１に結合された触知出力生成器を示す。触知出力生成器１６７は、任意選択的に、スピーカ若しくは他のオーディオ構成要素などの１つ以上の電気音響デバイス、及び／又はモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ、若しくは他の触知出力生成構成要素（例えば、デバイス上で電気信号を触知出力に変換する構成要素）などのエネルギを直線の動きに変換する電気機械デバイスを含む。接触強度センサ１６５は、触覚フィードバックモジュール１３３から触知フィードバック生成命令を受信し、デバイス１００のユーザが感知することが可能な触知出力をデバイス１００上に生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器は、タッチ感知面（例えば、タッチ感知ディスプレイシステム１１２）と並置される、又はそれに近接しており、任意選択的に、タッチ感知面を垂直方向（例えば、デバイス１００の表面の内／外）に、又は水平方向（例えば、デバイス１００の表面と同じ平面内の前後）に移動させることによって、触知出力を生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器センサが、デバイス１００の前面に配置されたタッチスクリーンディスプレイ１１２の反対側である、デバイス１００の背面に配置されている。
また、デバイス１００は、任意選択的に、１つ以上の加速度計１６８を含む。図１Ａは、周辺機器インタフェース１１８に結合された加速度計１６８を示す。代わりに、加速度計１６８は、任意選択的に、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に結合される。加速度計１６８は、任意選択的に、どちらも全体として参照により本明細書に組み込まれている、米国特許公開第２００５０１９００５９号、「Ａｃｃｅｌｅｒａｔｉｏｎ－ｂａｓｅｄ Ｔｈｅｆｔ Ｄｅｔｅｃｔｉｏｎ Ｓｙｓｔｅｍ ｆｏｒ Ｐｏｒｔａｂｌｅ Ｅｌｅｃｔｒｏｎｉｃ Ｄｅｖｉｃｅｓ」、及び米国特許公開第２００６００１７６９２号、「Ｍｅｔｈｏｄｓ Ａｎｄ Ａｐｐａｒａｔｕｓｅｓ Ｆｏｒ Ｏｐｅｒａｔｉｎｇ Ａ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅ Ｂａｓｅｄ Ｏｎ Ａｎ Ａｃｃｅｌｅｒｏｍｅｔｅｒ」に記載されているように機能する。いくつかの実施形態では、情報は、１つ以上の加速度計から受信したデータの分析に基づいて、ポートレートビュー又はランドスケープビューでタッチスクリーンディスプレイ上に表示される。デバイス１００は、加速度計１６８に加えて、磁気計並びにデバイス１００の場所及び向き（例えば、縦方向又は横方向）に関する情報を取得するためのＧＰＳ（又はＧＬＯＮＡＳＳ又は他のグローバルナビゲーションシステム）受信機を任意選択的に含む。
いくつかの実施形態では、メモリ１０２内に記憶されているソフトウェア構成要素は、オペレーティングシステム１２６、通信モジュール（又は命令セット）１２８、接触／動きモジュール（又は命令セット）１３０、グラフィックモジュール（又は命令セット）１３２、テキスト入力モジュール（又は命令セット）１３４、全地球測位システム（Global Positioning System、ＧＰＳ）モジュール（又は命令セット）１３５、及びアプリケーション（又は命令セット）１３６を含む。更に、いくつかの実施形態では、メモリ１０２（図１Ａ）又は３７０（図３）は、図１Ａ及び図３に示すように、デバイス／グローバル内部状態１５７を記憶する。デバイス／グローバル内部状態１５７は、現在アクティブ状態のアプリケーションがある場合に、どのアプリケーションがアクティブであるかを示すアクティブアプリケーション状態、どのアプリケーション、ビュー、又は他の情報がタッチスクリーンディスプレイ１１２の様々な領域を占めているかを示す表示状態、デバイスの様々なセンサ及び入力コントロールデバイス１１６から取得した情報を含むセンサ状態、並びにデバイスの位置及び／又は姿勢に関する位置情報、のうちの１つ以上を含む。
In some embodiments, the software components stored in memory 102 include
オペレーティングシステム１２６（例えば、Ｄａｒｗｉｎ（登録商標）、ＲＴＸＣ（登録商標）、ＬＩＮＵＸ（登録商標）、ＵＮＩＸ（登録商標）、ＯＳ Ｘ（登録商標）、ｉＯＳ（登録商標）、ＷＩＮＤＯＷＳ（登録商標）、又はＶｘＷｏｒｋｓ（登録商標）などの組み込み型オペレーティングシステム）は、一般的なシステムタスク（例えば、メモリ管理、記憶デバイスの制御、電力管理など）を制御及び管理する様々なソフトウェア構成要素及び／又はドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素との間の通信を容易にする。 operating system 126 (e.g., Darwin®, RTXC®, LINUX®, UNIX®, OS X®, iOS®, WINDOWS®, or Embedded operating systems such as VxWorks®) include various software components and/or drivers that control and manage common system tasks (e.g., memory management, storage device control, power management, etc.). , facilitates communication between various hardware and software components.
通信モジュール１２８は、１つ以上の外部ポート１２４を介して他のデバイスとの通信を容易にし、ＲＦ回路１０８及び／又は外部ポート１２４が受信したデータを処理するための様々なソフトウェア構成要素をも含む。外部ポート１２４（例えば、ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）、ＦＩＲＥＷＩＲＥ（登録商標）など）は、直接的に、又はネットワーク（例えばインターネット、無線ＬＡＮなど）を介して間接的に、他のデバイスに結合するように適合されている。いくつかの実施形態では、外部ポートは、ｉＰｏｄ（登録商標）（Ａｐｐｌｅ Ｉｎｃ．の商標）デバイス上で使用される３０ピンコネクタと同じ若しくは類似であり、かつ／又はそれに適合しているマルチピン（例えば、３０ピン）コネクタである。
接触／動きモジュール１３０は、任意選択的に、タッチスクリーン１１２（ディスプレイコントローラ１５６と連携して）及び他のタッチ感知デバイス（例えば、タッチパッド又は物理クリックホイール）との接触を検出する。接触／動きモジュール１３０は、接触が生じたか否かを判定すること（例えば、指を下ろすイベントを検出すること）、接触の強度（例えば、接触の力若しくは圧力、又は接触の力若しくは圧力の代替物）を判定すること、接触の移動が存在するか否かを判定し、タッチ感知面を横断する移動を追跡すること（例えば、指をドラッグする１つ以上のイベントを検出すること）、及び接触が停止したか否かを判定すること（例えば、指を上げるイベント又は接触の中断を検出すること）などの、接触の検出に関する様々な動作を実行するための、様々なソフトウェア構成要素を含む。接触／動きモジュール１３０は、タッチ感知面から接触データを受信する。一連の接触データによって表される、接触点の移動を判定することは、任意選択的に、接触点の速さ（大きさ）、速度（大きさ及び方向）、及び／又は加速度（大きさ及び／又は方向の変化）を判定することを含む。これらの動作は、任意選択的に、単一の接触（例えば、１本の指の接触）又は複数の同時接触（例えば、「マルチタッチ」／複数の指の接触）に適用される。いくつかの実施形態では、接触／動きモジュール１３０及びディスプレイコントローラ１５６は、タッチパッド上の接触を検出する。
Contact/
いくつかの実施形態では、接触／動きモジュール１３０は、ユーザによって動作が実行されたか否かを判定するための（例えば、ユーザがアイコン上で「クリック」したか否かを判定するための）、１つ以上の強度閾値のセットを使用する。いくつかの実施形態では、強度閾値の少なくとも１つのサブセットが、ソフトウェアパラメータに従って判定される（例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によって判定されるのではなく、デバイス１００の物理ハードウェアを変化させることなく調整することができる）。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッド又はタッチスクリーンディスプレイハードウェアを変化させることなく、広範囲の既定閾値のうちのいずれかに設定することができる。加えて、いくつかの実装例では、デバイスのユーザは、強度閾値のセットのうちの１つ以上を調整するソフトウェア設定が提供される（例えば、システムレベルのクリック「強度」パラメータによって、個々の強度閾値を調整すること、及び／又は複数の強度閾値を一度に調整することによる）。
In some embodiments, the contact/
接触／動きモジュール１３０は、任意選択的に、ユーザによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターンを有する（例えば検出される接触の動き、タイミング、及び／又は強度が異なる）。したがって、ジェスチャは、任意選択的に、特定の接触パターンを検出することによって検出される。例えば、指タップジェスチャを検出することは、指ダウンイベントを検出し、それに続いて指ダウンイベントと同じ位置（又は実質的に同じ位置）（例えば、アイコンの位置）で指アップ（リフトオフ）イベントを検出することを含む。別の例として、タッチ感知面上で指スワイプジェスチャを検出することは、指ダウンイベントを検出し、それに続いて１つ以上の指ドラッグイベントを検出し、その後それに続いて指アップ（リフトオフ）イベントを検出することを含む。
Contact/
グラフィックモジュール１３２は、表示されるグラフィックの視覚的な影響（例えば、輝度、透明度、彩度、コントラスト、又は他の視覚的特性）を変化させる構成要素を含めて、タッチスクリーン１１２又は他のディスプレイ上にグラフィックをレンダリング及び表示する様々な既知のソフトウェア構成要素を含む。本明細書では、「グラフィック」という用語は、それだけに限定されるものではないが、文字、ウェブページ、アイコン（ソフトキーを含むユーザインタフェースオブジェクトなど）、デジタル画像、ビデオ、アニメーションなどを含む、ユーザに表示することができる任意のオブジェクトを含む。
いくつかの実施形態では、グラフィックモジュール１３２は、使用されることになるグラフィックを表すデータを記憶する。各グラフィックには、任意選択的に、対応するコードが割り当てられる。グラフィックモジュール１３２は、アプリケーションなどから、必要に応じて、座標データ及び他のグラフィック特性データと共に、表示されることとなるグラフィックを指定する１つ以上のコードを受信し、次にディスプレイコントローラ１５６に出力する画面の画像データを生成する。
In some embodiments,
触覚フィードバックモジュール１３３は、デバイス１００とのユーザ対話に応じて、デバイス１００上の１つ以上の場所で触知出力を生成するために、触知出力生成器（単数又は複数）１６７によって使用される命令を生成するための、様々なソフトウェア構成要素を含む。
テキスト入力モジュール１３４は、任意選択で、グラフィックモジュール１３２の構成要素であり、様々なアプリケーション（例えば、連絡先１３７、電子メール１４０、ＩＭ１４１、ブラウザ１４７、及びテキスト入力を必要とする任意の他のアプリケーション）でテキストを入力するためのソフトキーボードを提供する。
ＧＰＳモジュール１３５は、デバイスの位置を判定し、この情報を様々なアプリケーションで使用するために（例えば、位置に基づくダイヤル発呼で使用するために電話１３８へ、写真／ビデオのメタデータとしてカメラ１４３へ、並びに、気象ウィジェット、地域のイエローページウィジェット、及び地図／ナビゲーションウィジェットなどの、位置に基づくサービスを提供するアプリケーションへ）提供する。
アプリケーション１３６は、任意選択的に、以下のモジュール（又は命令セット）又はそれらのサブセット若しくはスーパーセットを含む。
●連絡先モジュール１３７（アドレス帳又は連絡先リストと呼ばれることもある）、
●電話モジュール１３８、
●テレビ会議モジュール１３９、
●電子メールクライアントモジュール１４０、
●インスタントメッセージング（Instant messaging、ＩＭ）モジュール１４１、
●トレーニングサポートモジュール１４２、
●静止画像及び／又はビデオ画像用のカメラモジュール１４３、
●画像管理モジュール１４４、
●ビデオプレーヤモジュール、
●音楽プレーヤモジュール、
●ブラウザモジュール１４７、
●カレンダモジュール１４８、
●任意選択的に気象ウィジェット１４９－１、株式ウィジェット１４９－２、計算機ウィジェット１４９－３、アラーム時計ウィジェット１４９－４、辞書ウィジェット１４９－５、及びユーザによって入手された他のウィジェット、並びにユーザ作成ウィジェット１４９－６のうちの１つ以上を含むウィジェットモジュール１４９、
●ユーザ作成ウィジェット１４９－６を作成するためのウィジェット作成モジュール１５０、
●検索モジュール１５１、
●ビデオプレーヤモジュール及び音楽プレーヤモジュールを一体化したビデオ及び音楽プレーヤモジュール１５２、
●メモモジュール１５３、
●地図モジュール１５４、並びに／又は、
●オンラインビデオモジュール１５５。
- the contacts module 137 (sometimes called an address book or contact list);
a
a
-
an instant messaging (IM)
●
- a
an
● video player module,
● music player module,
the
a
- Optionally weather widget 149-1, stocks widget 149-2, calculator widget 149-3, alarm clock widget 149-4, dictionary widget 149-5, and other user-obtained and user-created widgets a
- a
a
- a video and
●
-
•
任意選択的にメモリ１０２に記憶される他のアプリケーション１３６の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ＪＡＶＡ（登録商標）対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。
Examples of
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、連絡先モジュール１３７は、任意選択的に、アドレス帳に名前（単数又は複数）を追加すること、アドレス帳から名前（単数又は複数）を削除すること、電話番号（単数又は複数）、電子メールアドレス（単数又は複数）、実際の住所（単数又は複数）、又は他の情報を名前に関連付けること、画像を名前に関連付けること、名前を分類して並べ替えること、電話番号又は電子メールアドレスを提供して、電話１３８、テレビ会議モジュール１３９、電子メール１４０、又はＩＭ１４１による通信を開始及び／又は促進することなどを含めて、アドレス帳又は連絡先リスト（例えば、メモリ１０２又はメモリ３７０内の連絡先モジュール１３７のアプリケーション内部状態１９２内に記憶される）を管理するために使用される。
In conjunction with
ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、電話モジュール１３８は、任意選択的に、電話番号に対応する文字シーケンスの入力、連絡先モジュール１３７内の１つ以上の電話番号へのアクセス、入力された電話番号の修正、それぞれの電話番号のダイヤル、会話の実施、会話が終了したときの通話停止又はハングアップのために使用される。前述したように、無線通信は、任意選択的に、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用する。
In conjunction with
ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチスクリーン１１２、ディスプレイコントローラ１５６、光センサ１６４、光センサコントローラ１５８、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、連絡先モジュール１３７、及び電話モジュール１３８と連携して、テレビ会議モジュール１３９は、ユーザ命令に従ってユーザと１人以上の他の参加者との間のテレビ会議を開始、実行、及び終了するための実行可能な命令を含む。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、電子メールクライアントモジュール１４０は、ユーザ命令に応じて電子メールを作成、送信、受信、及び管理するための実行可能な命令を含む。画像管理モジュール１４４と連携して、電子メールクライアントモジュール１４０は、カメラモジュール１４３で撮影された静止画像又はビデオ画像を有する電子メールの作成及び送信を非常に容易にする。
In conjunction with
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、インスタントメッセージングモジュール１４１は、インスタントメッセージに対応する文字シーケンスの入力、以前に入力された文字の修正、それぞれのインスタントメッセージの送信（例えば、電話通信ベースのインスタントメッセージ向けのショートメッセージサービス（Short Message Service、ＳＭＳ）若しくはマルチメディアメッセージサービス（Multimedia Message Service、ＭＭＳ）プロトコル、又はインターネットベースのインスタントメッセージ向けのＸＭＰＰ、ＳＩＭＰＬＥ、若しくはＩＭＰＳを使用する）、インスタントメッセージの受信、及び受信したインスタントメッセージの閲覧のための実行可能な命令を含む。いくつかの実施形態では、送信及び／又は受信されるインスタントメッセージは、任意選択的に、ＭＭＳ及び／又は拡張メッセージングサービス（Enhanced Messaging Service、ＥＭＳ）でサポートされるグラフィック、写真、オーディオファイル、ビデオファイル、及び／又は他の添付ファイルを含む。本明細書では、「インスタントメッセージング」とは、電話通信ベースのメッセージ（例えば、ＳＭＳ又はＭＭＳを使用して送信されるメッセージ）と、インターネットベースのメッセージ（例えば、ＸＭＰＰ、ＳＩＭＰＬＥ、又はＩＭＰＳを使用して送信されるメッセージ）との両方を指す。
In conjunction with
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、地図モジュール１５４、及び音楽プレーヤモジュールと連携して、トレーニングサポートモジュール１４２は、トレーニング（例えば、時間、距離、及び／又はカロリー燃焼目標を有する）を作成し、トレーニングセンサ（スポーツデバイス）と通信し、トレーニングセンサデータを受信し、トレーニングをモニタするために使用されるセンサを較正し、トレーニングのための音楽を選択及び再生し、並びに、トレーニングデータを表示、記憶、及び送信するための実行可能な命令を含む。
In conjunction with
タッチスクリーン１１２、ディスプレイコントローラ１５６、光センサ（単数又は複数）１６４、光センサコントローラ１５８、接触／動きモジュール１３０、グラフィックモジュール１３２、及び画像管理モジュール１４４と連携して、カメラモジュール１４３は、静止画像若しくはビデオ（ビデオストリームを含む）のキャプチャ及びメモリ１０２内への記憶、静止画像若しくはビデオの特性の修正、又はメモリ１０２からの静止画像若しくはビデオの削除のための実行可能な命令を含む。
In conjunction with
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びカメラモジュール１４３と連携して、画像管理モジュール１４４は、静止画像及び／又はビデオ画像の配置、修正（例えば、編集）、あるいはその他の操作、ラベル付け、削除、提示（例えば、デジタルスライドショー又はアルバムにおける）、及び記憶のための実行可能な命令を含む。
In conjunction with
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、ブラウザモジュール１４７は、ウェブページ又はその一部分、並びにウェブページにリンクされた添付ファイル及び他のファイルの検索、リンク、受信、及び表示を含めて、ユーザ命令に従ってインターネットをブラウジングするための実行可能な命令を含む。
In conjunction with
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７と連携して、カレンダモジュール１４８は、ユーザの指示に従い、カレンダ及びカレンダに関連付けられたデータ（例えば、カレンダアイテム、ｔｏ ｄｏリストなど）を作成し、表示し、修正し、記憶するための実行可能な命令を含む。
In conjunction with
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と連携して、ウィジェットモジュール１４９は、任意選択的にユーザによってダウンロード及び使用されるミニアプリケーション（例えば、気象ウィジェット１４９－１、株式ウィジェット１４９－２、計算機ウィジェット１４９－３、アラーム時計ウィジェット１４９－４、及び辞書ウィジェット１４９－５）、又はユーザによって作成されるミニアプリケーション（例えば、ユーザ作成ウィジェット１４９－６）である。いくつかの実施形態では、ウィジェットは、ＨＴＭＬ（Hypertext Markup Language、ハイパーテキストマークアップ言語）ファイル、ＣＳＳ（Cascading Style Sheets、カスケーディングスタイルシート）ファイル、及びＪａｖａＳｃｒｉｐｔファイルを含む。いくつかの実施形態では、ウィジェットは、ＸＭＬ（Extensible Markup Language、拡張可能マークアップ言語）ファイル及びＪａｖａＳｃｒｉｐｔファイル（例えば、Ｙａｈｏｏ！ウィジェット）を含む。
In conjunction with
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と連携して、ウィジェットクリエータモジュール１５０は、任意選択的に、ウィジェットを作成する（例えば、ウェブページのユーザ指定部分をウィジェットにする）ために、ユーザによって使用される。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、検索モジュール１５１は、ユーザ命令に従って１つ以上の検索基準（例えば、１つ以上のユーザ指定検索語）に一致するメモリ１０２内の文字、音楽、サウンド、画像、ビデオ、及び／又は他のファイルを検索するための実行可能な命令を含む。
In conjunction with
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、及びブラウザモジュール１４７と連携して、ビデオ及び音楽プレーヤモジュール１５２は、ＭＰ３又はＡＡＣファイルなどの１つ以上のファイル形式で記憶された録音済みの音楽及び他のサウンドファイルをユーザがダウンロード及び再生できるようにする実行可能な命令、並びにビデオを（例えば、タッチスクリーン１１２上又は外部ポート１２４を介して接続された外部のディスプレイ上に）表示、提示、又は別の方法で再生するための実行可能な命令を含む。いくつかの実施形態では、デバイス１００は、任意選択的に、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）などのＭＰ３プレーヤの機能を含む。
In conjunction with
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、メモモジュール１５３は、ユーザ命令に従ってメモ、ｔｏ ｄｏリストなどを作成及び管理するための実行可能な命令を含む。
In conjunction with
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、及びブラウザモジュール１４７と連携して、地図モジュール１５４は、任意選択的に、ユーザ命令に従って、地図及び地図に関連付けられたデータ（例えば、運転方向、特定の場所又はその付近の店舗及び他の対象地点に関するデータ、並びに他の場所ベースのデータ）を受信、表示、修正、及び記憶するために使用される。
In conjunction with
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７と連携して、オンラインビデオモジュール１５５は、ユーザが特定のオンラインビデオへのアクセス、特定のオンラインビデオのブラウジング、受信（例えば、ストリーミング及び／又はダウンロードによる）、再生（例えば、タッチスクリーン上又は外部ポート１２４を介して接続された外部ディスプレイ上）、特定のオンラインビデオへのリンクを有する電子メールの送信、並びにＨ．２６４などの１つ以上のファイル形式のオンラインビデオの他の管理を行うことを可能にする命令を含む。いくつかの実施形態では、特定のオンラインビデオへのリンクを送信するために、電子メールクライアントモジュール１４０ではなく、インスタントメッセージングモジュール１４１が使用される。オンラインビデオアプリケーションについての追加の説明は、その内容が全体として参照により本明細書に組み込まれている、２００７年６月２０日出願の米国仮特許出願第６０／９３６，５６２号、「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」、及び２００７年１２月３１日出願の米国特許出願第１１／９６８，０６７号、「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」において見ることができる。
In conjunction with
上記で特定したモジュール及びアプリケーションはそれぞれ、前述した１つ以上の機能及び本出願に記載する方法（例えば、本明細書に記載するコンピュータにより実装される方法及び他の情報処理方法）を実行する実行可能な命令のセットに対応する。これらのモジュール（例えば、命令セット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実施する必要はなく、したがって、様々な実施形態において、これらのモジュールの様々なサブセットが、任意選択的に、組み合わされ、又は他の形で再構成される。例えば、ビデオプレーヤモジュールは、任意選択的に、音楽プレーヤモジュールと組み合わされて、単一のモジュール（例えば、図１Ａのビデオ及び音楽プレーヤモジュール１５２）にされる。いくつかの実施形態では、メモリ１０２は、任意選択で、上記で特定されたモジュール及びデータ構造体のサブセットを記憶する。更に、メモリ１０２は、上記で説明されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
Each of the modules and applications identified above may be implemented to perform one or more of the functions described above and the methods described herein (e.g., the computer-implemented methods and other information processing methods described herein). Corresponds to the set of possible instructions. These modules (eg, instruction sets) need not be implemented as separate software programs, procedures, or modules, and thus various subsets of these modules are optionally combined in various embodiments. modified or otherwise reconfigured. For example, a video player module is optionally combined with a music player module into a single module (eg, video and
いくつかの実施形態では、デバイス１００は、そのデバイスにおける既定の機能のセットの動作がタッチスクリーン及び／又はタッチパッドのみを介して実行されるデバイスである。デバイス１００が動作するための主要な入力コントロールデバイスとしてタッチスクリーン及び／又はタッチパッドを使用することにより、任意選択的に、デバイス１００上の物理的な入力コントロールデバイス（プッシュボタン、ダイヤルなど）の数が削減される。
In some embodiments,
タッチスクリーン及び／又はタッチパッドを通じてのみ実行される既定の機能のセットは、任意選択的に、ユーザインタフェース間のナビゲーションを含む。いくつかの実施形態では、タッチパッドは、ユーザによってタッチされたときに、デバイス１００上に表示される任意のユーザインタフェースから、メインメニュー、ホームメニュー、又はルートメニューにデバイス１００をナビゲートする。このような実施形態では、「メニューボタン」は、タッチパッドを使用して実装される。いくつかの他の実施形態では、メニューボタンは、タッチパッドではなく、物理プッシュボタン又はその他の物理入力コントロールデバイスである。
A default set of functions performed only through a touchscreen and/or touchpad optionally includes navigation between user interfaces. In some embodiments, the touchpad navigates
図１Ｂは、いくつかの実施形態に係るイベント処理のための例示的な構成要素を示すブロック図である。いくつかの実施形態では、メモリ１０２（図１Ａ）又は３７０（図３）は、イベントソータ１７０（例えば、オペレーティングシステム１２６内）と、それぞれのアプリケーション１３６－１（例えば、前述のアプリケーション１３７～１５１、１５５、３８０～３９０のうちのいずれか）とを含む。 FIG. 1B is a block diagram illustrating exemplary components for event processing according to some embodiments. In some embodiments, memory 102 (FIG. 1A) or 370 (FIG. 3) includes event sorter 170 (eg, within operating system 126) and respective applications 136-1 (eg, the aforementioned applications 137-151, 155, any of 380-390).
イベントソータ１７０は、イベント情報を受信し、イベント情報が伝送されるアプリケーション１３６－１、及びアプリケーション１３６－１のアプリケーションビュー１９１を判定する。イベントソータ１７０は、イベントモニタ１７１及びイベントディスパッチャモジュール１７４を含む。いくつかの実施形態では、アプリケーション１３６－１は、アプリケーションがアクティブ又は実行中であるときにタッチ感知ディスプレイ１１２上に表示される現在のアプリケーションビュー（単数又は複数）を示すアプリケーション内部状態１９２を含む。いくつかの実施形態では、デバイス／グローバル内部状態１５７は、どのアプリケーション（単数又は複数）が現在アクティブであるかを判定するためにイベントソータ１７０によって使用され、アプリケーション内部状態１９２は、イベント情報が配信されるアプリケーションビュー１９１を判定するためにイベントソータ１７０によって使用される。
Event sorter 170 receives event information and determines the application 136-1 to which the event information is transmitted and the application view 191 of application 136-1. Event sorter 170 includes event monitor 171 and
いくつかの実施形態では、アプリケーション内部状態１９２は、アプリケーション１３６－１が実行を再開するときに使用すべき再開情報、アプリケーション１３６－１によって表示されている情報を示す又は表示する準備ができたユーザインタフェース状態情報、ユーザがアプリケーション１３６－１の前の状態又はビューに戻ることを可能にする状態キュー、及びユーザによって行われた前のアクションのリドゥ／アンドゥキューのうちの１つ以上などの追加の情報を含む。 In some embodiments, application internal state 192 indicates resume information to be used when application 136-1 resumes execution, information being displayed by application 136-1, or a user ready to display information. Additional features such as interface state information, one or more of a state queue that allows the user to return to a previous state or view of application 136-1, and a redo/undo queue of previous actions taken by the user. Contains information.
イベントモニタ１７１は、周辺機器インタフェース１１８からイベント情報を受信する。イベント情報は、サブイベント（例えば、マルチタッチジェスチャの一部としてのタッチ感知ディスプレイ１１２上のユーザタッチ）に関する情報を含む。周辺機器インタフェース１１８は、Ｉ／Ｏサブシステム１０６、又は近接センサ１６６、加速度計（単数又は複数）１６８、及び／若しくは（オーディオ回路１１０を介した）マイクロフォン１１３などのセンサから受信する情報を送信する。周辺機器インタフェース１１８がＩ／Ｏサブシステム１０６から受信する情報は、タッチ感知ディスプレイ１１２又はタッチ感知面からの情報を含む。
いくつかの実施形態では、イベントモニタ１７１は、所定の間隔で周辺機器インタフェース１１８に要求を送信する。それに応じて、周辺機器インタフェース１１８は、イベント情報を送信する。他の実施形態では、周辺機器インタフェース１１８は、重要なイベント（例えば、所定のノイズ閾値を上回る及び／又は所定の持続時間を超える入力の受信）があるときのみイベント情報を送信する。 In some embodiments, event monitor 171 sends requests to peripherals interface 118 at predetermined intervals. In response, peripherals interface 118 transmits event information. In other embodiments, peripherals interface 118 transmits event information only when there is a significant event (eg, receipt of input above a predetermined noise threshold and/or exceeding a predetermined duration).
いくつかの実施形態では、イベントソータ１７０はまた、ヒットビュー判定モジュール１７２及び／又はアクティブイベント認識部判定モジュール１７３を含む。
In some embodiments, event sorter 170 also includes hit
ヒットビュー判定モジュール１７２は、タッチ感知ディスプレイ１１２が２つ以上のビューを表示するとき、サブイベントが１つ以上のビュー内のどこで行われたかを判定するソフトウェア手順を提供する。ビューは、ユーザがディスプレイ上で見ることができる制御装置及び他の要素から構成されている。
Hit
アプリケーションに関連付けられたユーザインタフェースの別の態様は、本明細書ではアプリケーションビュー又はユーザインタフェースウインドウと呼ばれることもあるビューのセットであり、その中で情報が表示され、タッチに基づくジェスチャが生じる。タッチが検出される（それぞれのアプリケーションの）アプリケーションビューは、任意選択的に、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに対応する。例えば、タッチが検出される最下位レベルビューは、任意選択的に、ヒットビューと呼ばれ、また、適切な入力として認識されるイベントのセットは、任意選択的に、タッチによるジェスチャを開始する初期タッチのヒットビューに少なくとも部分的に基づいて決定される。 Another aspect of the user interface associated with an application is the set of views, sometimes referred to herein as application views or user interface windows, in which information is displayed and touch-based gestures occur. The application view (of the respective application) in which the touch is detected optionally corresponds to a program level within the application's program hierarchy or view hierarchy. For example, the lowest level view in which touch is detected is optionally called the hit view, and the set of events recognized as appropriate input is optionally the initial view that initiates a touch gesture. The determination is based at least in part on the hit view of the touch.
ヒットビュー判定モジュール１７２は、タッチに基づくジェスチャのサブイベントに関連する情報を受信する。アプリケーションが階層状に構成された複数のビューを有するとき、ヒットビュー判定モジュール１７２は、サブイベントを処理すべき階層内の最下位のビューとして、ヒットビューを特定する。ほとんどの状況では、ヒットビューは、開始サブイベント（例えば、イベント又は潜在的イベントを形成するサブイベントシーケンス内の第１のサブイベント）が行われる最も低いレベルのビューである。ヒットビューがヒットビュー判定モジュール１７２によって特定されると、このヒットビューは、典型的には、ヒットビューとして特定されたのと同じタッチ又は入力ソースに関係する全てのサブイベントを受信する。
The hit
アクティブイベント認識部判定モジュール１７３は、ビュー階層内のどのビュー（単数又は複数）がサブイベントの特定のシーケンスを受信すべきかを判定する。いくつかの実施形態では、アクティブイベント認識部判定モジュール１７３は、ヒットビューのみがサブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール１７３は、サブイベントの物理位置を含む全てのビューがアクティブに関わりがあるビューであると判定し、したがって、全てのアクティブに関わりがあるビューが、サブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、タッチサブイベントが１つの特定のビューに関連付けられたエリアに完全に限定された場合でも、階層内の上位のビューは、依然としてアクティブに関わりがあるビューであり続ける。
Active event
イベントディスパッチャモジュール１７４は、イベント情報をイベント認識部（例えばイベント認識部１８０）にディスパッチする。アクティブイベント認識部判定モジュール１７３を含む実施形態では、イベントディスパッチャモジュール１７４は、アクティブイベント認識部判定モジュール１７３により判定されたイベント認識部にイベント情報を伝送する。いくつかの実施形態では、イベントディスパッチャモジュール１７４は、それぞれのイベント受信部１８２によって取得されるイベント情報をイベントキューに記憶する。
いくつかの実施形態では、オペレーティングシステム１２６は、イベントソータ１７０を含む。あるいは、アプリケーション１３６－１がイベントソータ１７０を含む。更に他の実施形態では、イベントソータ１７０は、独立型のモジュールであり、又は接触／動きモジュール１３０などのメモリ１０２内に記憶されている別のモジュールの一部分である。
In some embodiments,
いくつかの実施形態では、アプリケーション１３６－１は、それぞれがアプリケーションのユーザインタフェースのそれぞれのビュー内で発生するタッチイベントを処理するための命令を含む、複数のイベント処理部１９０及び１つ以上のアプリケーションビュー１９１を含む。アプリケーション１３６－１の各アプリケーションビュー１９１は、１つ以上のイベント認識部１８０を含む。典型的には、それぞれのアプリケーションビュー１９１は、複数のイベント認識部１８０を含む。他の実施形態では、イベント認識部１８０のうちの任意の１つ以上は、ユーザインタフェースキット、又は、アプリケーション１３６－１が方法及び他の属性を継承する上位レベルのオブジェクト対象などの、別個のモジュールの一部である。いくつかの実施形態では、それぞれのイベント処理部１９０は、データ更新部１７６、オブジェクト更新部１７７、ＧＵＩ更新部１７８、及び／又はイベントソータ１７０から受信されたイベントデータ１７９、のうちの１つ以上を含む。イベント処理部１９０は、任意選択的に、データ更新部１７６、オブジェクト更新部１７７、又はＧＵＩ更新部１７８を利用し又は呼び出して、アプリケーション内部状態１９２を更新する。あるいは、アプリケーションビュー１９１のうちの１つ以上が、１つ以上のそれぞれのイベント処理部１９０を含む。また、いくつかの実施形態では、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８のうちの１つ以上は、それぞれのアプリケーションビュー１９１に含まれる。
In some embodiments, application 136-1 includes multiple event handlers 190 and one or more applications, each containing instructions for handling touch events that occur within respective views of the application's user interface. Contains view 191 . Each application view 191 of application 136 - 1 includes one or
それぞれのイベント認識部１８０は、イベントソータ１７０からイベント情報（例えば、イベントデータ１７９）を受信し、このイベント情報からイベントを特定する。イベント認識部１８０は、イベント受信部１８２及びイベント比較部１８４を含む。いくつかの実施形態では、イベント認識部１８０はまた、メタデータ１８３及びイベント配信命令１８８（任意選択的にサブイベント配信命令を含む）の少なくともサブセットも含む。
Each
イベント受信部１８２は、イベントソータ１７０からイベント情報を受信する。イベント情報は、サブイベント、例えば、タッチ又はタッチの移動についての情報を含む。サブイベントに応じて、イベント情報はまた、サブイベントの位置などの追加の情報を含む。サブイベントがタッチの動きに関わるとき、イベント情報はまた任意選択的に、サブイベントの速さ及び方向を含む。いくつかの実施形態では、イベントは、１つの向きから別の向きへの（例えば、縦向きから横向きへ、又はその逆の）デバイスの回転を含み、イベント情報は、デバイスの現在の向き（デバイスの姿勢とも呼ぶ）についての対応する情報を含む。
The
イベント比較部１８４は、イベント情報を、定義済みのイベント又はサブイベントの定義と比較し、その比較に基づいて、イベント又はサブイベントを判定するか、あるいはイベント又はサブイベントの状態を判定若しくは更新する。いくつかの実施形態では、イベント比較部１８４は、イベント定義１８６を含む。イベント定義１８６は、例えばイベント１（１８７－１）及びイベント２（１８７－２）などのイベント（例えば、既定のサブイベントのシーケンス）の定義を含む。いくつかの実施形態では、イベント（１８７）内のサブイベントは、例えば、タッチの開始、タッチの終了、タッチの移動、タッチの取り消し、及び複数のタッチを含む。一実施例では、イベント１（１８７－１）についての定義は、表示されたオブジェクト上のダブルタップである。ダブルタップは、例えば、所定の段階に対する表示オブジェクト上の第１のタッチ（タッチ開始）、所定の段階に対する第１のリフトオフ（タッチ終了）、所定の段階に対する表示オブジェクト上の第２のタッチ（タッチ開始）、及び所定の段階に対する第２のリフトオフ（タッチ終了）を含む。別の実施例では、イベント２（１８７－２）の定義は、表示されたオブジェクト対象上のドラッグである。ドラッグは、例えば、所定の段階に対する表示オブジェクト上のタッチ（又は接触）、タッチ感知ディスプレイ１１２にわたるタッチの移動、及びタッチのリフトオフ（タッチ終了）を含む。いくつかの実施形態では、イベントは、１つ以上の関連付けられたイベント処理部１９０に関する情報も含む。
The
いくつかの実施形態では、イベント定義１８７は、それぞれのユーザインタフェースオブジェクトについてのイベントの定義を含む。いくつかの実施形態では、イベント比較部１８４は、どのユーザインタフェースオブジェクトがサブイベントに関連付けられているかを判定するヒットテストを実行する。例えば、タッチ感知ディスプレイ１１２上に３つのユーザインタフェースオブジェクトが表示されているアプリケーションビュー内で、タッチ感知ディスプレイ１１２上でタッチが検出されたとき、イベント比較部１８４は、ヒットテストを実行して、３つのユーザインタフェースオブジェクトのうちのどれがタッチ（サブイベント）に関連付けられているかを判定する。表示された各オブジェクトが、それぞれのイベント処理部１９０に関連付けられている場合、イベント比較部は、ヒットテストの結果を用いて、どのイベント処理部１９０をアクティブ化すべきかを判定する。例えば、イベント比較部１８４は、ヒットテストをトリガするサブイベント及びオブジェクトに関連付けられたイベント処理部を選択する。
In some embodiments, event definitions 187 include definitions of events for respective user interface objects. In some embodiments,
いくつかの実施形態では、それぞれのイベント１８７の定義は、サブイベントのシーケンスがイベント認識部のイベントタイプに対応するか否かが判定されるまで、イベント情報の配信を遅らせる遅延アクションも含む。 In some embodiments, each event 187 definition also includes a delay action that delays delivery of event information until it is determined if the sequence of sub-events corresponds to the event recognizer's event type.
それぞれのイベント認識部１８０が一連のサブイベントがイベント定義１８６のイベントのいずれとも一致しないと判断した場合、それぞれのイベント認識部１８０は、イベント不可能、イベント失敗、又はイベント終了の状態に入り、その後は、タッチに基づくジェスチャの次のサブイベントを無視する。この状況では、ヒットビューについてアクティブのままである他のイベント認識部があれば、そのイベント認識部は、進行中のタッチによるジェスチャのサブイベントの追跡及び処理を続行する。
If the
いくつかの実施形態では、それぞれのイベント認識部１８０は、イベント配信システムがどのようにサブイベント配信を実行すべきかをアクティブに関与しているイベント認識部に示す構成可能なプロパティ、フラグ、及び／又はリストを有するメタデータ１８３を含む。いくつかの実施形態では、メタデータ１８３は、イベント認識部が互いにどのように対話するか、又はイベント認識部が互いにどのように対話することが可能となるかを示す構成可能なプロパティ、フラグ、及び／又はリストを含む。いくつかの実施形態では、メタデータ１８３は、サブイベントがビュー階層又はプログラム階層における多様なレベルに配信されるかを示す構成可能なプロパティ、フラグ、及び／又はリストを含む。
In some embodiments, each
いくつかの実施形態では、それぞれのイベント認識部１８０は、イベントの１つ以上の特定のサブイベントが認識されるときに、イベントに関連付けられたイベント処理部１９０をアクティブ化する。いくつかの実施形態では、それぞれのイベント認識部１８０は、イベントに関連付けられたイベント情報をイベント処理部１９０に配信する。イベント処理部１９０をアクティブ化することは、それぞれのヒットビューにサブイベントを送信する（及び、送信を延期する）こととは別個である。いくつかの実施形態では、イベント認識部１８０は、認識したイベントに関連付けられたフラグを投入し、そのフラグに関連付けられたイベント処理部１９０は、そのフラグを捕らえ、既定のプロセスを実行する。
In some embodiments, each
いくつかの実施形態では、イベント配信命令１８８は、イベント処理部をアクティブ化することなくサブイベントについてのイベント情報を配信するサブイベント配信命令を含む。代わりに、サブイベント配信命令は、一連のサブイベントと関連付けられたイベント処理部に、又はアクティブに関与しているビューにイベント情報を配信する。一連のサブイベント又はアクティブに関与しているビューと関連付けられたイベント処理部は、イベント情報を受信し、所定の処理を実行する。
In some embodiments,
いくつかの実施形態では、データ更新部１７６は、アプリケーション１３６－１で使用されるデータを作成及び更新する。例えば、データ更新部１７６は、連絡先モジュール１３７で使用される電話番号を更新し、又はビデオプレーヤモジュールで使用されるビデオファイルを記憶する。いくつかの実施形態では、オブジェクト更新部１７７は、アプリケーション１３６－１で使用されるオブジェクトを作成及び更新する。例えば、オブジェクト更新部１７７は、新たなユーザインタフェースオブジェクトを作成し、又はユーザインタフェースオブジェクトの位置を更新する。ＧＵＩ更新部１７８は、ＧＵＩを更新する。例えば、ＧＵＩ更新部１７８は、表示情報を準備し、タッチ感知ディスプレイ上に表示するために表示情報をグラフィックモジュール１３２に送る。
In some embodiments, data updater 176 creates and updates data used by application 136-1. For example, the data updater 176 updates phone numbers used by the
いくつかの実施形態では、イベント処理部（単数又は複数）１９０は、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８を含む又はそれらへのアクセスを有する。いくつかの実施形態では、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８は、それぞれのアプリケーション１３６－１又はアプリケーションビュー１９１の単一モジュールに含まれる。他の実施形態では、それらは、２つ以上のソフトウェアモジュールに含まれる。
In some embodiments, event handler(s) 190 includes or has access to data updater 176 ,
タッチ感知ディスプレイ上のユーザのタッチのイベント処理に関する前述の記載は、入力デバイスを用いて多機能デバイス１００を動作させるための他の形態のユーザ入力にも適用されるが、その全てがタッチスクリーン上で開始されるわけではないことを理解されたい。例えば、キーボードの単一又は複数の押圧若しくは保持と任意選択的に連携される、マウスの移動及びマウスボタンの押圧、タッチパッド上のタップ、ドラッグ、スクロールなどの接触の移動、ペンスタイラス入力、デバイスの移動、口頭による命令、検出された眼球運動、バイオメトリック入力、並びに／又はそれらの任意の組み合わせを、任意選択的に、認識するイベントを定義するサブイベントに対応する入力として利用する。
The foregoing description of event handling of a user's touch on a touch-sensitive display also applies to other forms of user input for operating
図２は、いくつかの実施形態に係る、タッチスクリーン１１２を有するポータブル多機能デバイス１００を示す。タッチスクリーンは、任意選択的に、ユーザインタフェース（user interface、ＵＩ）２００内に１つ以上のグラフィックを表示する。本実施形態、並びに以下で説明される他の実施形態では、ユーザは、例えば、１本以上の指２０２（図には正確な縮尺では描かれていない）又は１つ以上のスタイラス２０３（図には正確な縮尺では描かれていない）を使用して、グラフィック上でジェスチャを実施することによって、それらのグラフィックのうちの１つ以上を選択することが可能となる。いくつかの実施形態では、１つ以上のグラフィックの選択は、ユーザが、その１つ以上のグラフィックとの接触を中断する場合に実施される。いくつかの実施形態では、ジェスチャは、１回以上のタップ、１回以上のスワイプ（左から右へ、右から左へ、上向きに及び／若しくは下向きに）、並びに／又は、デバイス１００と接触した指のローリング（右から左へ、左から右へ、上向きに及び／若しくは下向きに）を、任意選択で含む。いくつかの実装例又は状況では、グラフィックとの不測の接触は、そのグラフィックを選択するものではない。例えば、選択に対応するジェスチャがタップである場合、アプリケーションアイコンの上をスイープするスワイプジェスチャは、任意選択的に、対応するアプリケーションを選択するものではない。
FIG. 2 illustrates portable
デバイス１００はまた、任意選択的に、「ホーム」ボタン又はメニューボタン２０４などの１つ以上の物理ボタンを含む。前述したように、メニューボタン２０４は、任意選択的に、任意選択的にデバイス１００上で実行される１組のアプリケーション内の任意のアプリケーション１３６へナビゲートするために使用される。あるいは、いくつかの実施形態では、メニューボタンは、タッチスクリーン１１２上に表示されるＧＵＩ内のソフトキーとして実装される。
いくつかの実施形態では、デバイス１００は、タッチスクリーン１１２、メニューボタン２０４、デバイスの電源をオン／オフにしてデバイスをロックするプッシュボタン２０６、音量調整ボタン２０８、加入者識別モジュール（ＳＩＭ）カードスロット２１０、ヘッドセットジャック２１２、及びドッキング／充電用外部ポート１２４を含む。プッシュボタン２０６は、任意選択的に、ボタンを押し下げて、既定の期間にわたってボタンを押し下げた状態に保持することによって、デバイスの電源をオン／オフするため、ボタンを押し下げて、既定の時間が経過する前にボタンを解放することによってデバイスをロックするため、及び／又はデバイスをロック解除する、若しくはロック解除プロセスを開始するために、使用される。代替的実施形態では、デバイス１００はまた、マイクロフォン１１３を介して、一部の機能をアクティブ化又は非アクティブ化するための口頭入力も受け入れる。デバイス１００はまた、任意選択的に、タッチスクリーン１１２上の接触の強度を検出する１つ以上の接触強度センサ１６５、及び／又はデバイス１００のユーザに対する触知出力を生成する１つ以上の触知出力生成器１６７を含む。
In some embodiments, the
図３は、いくつかの実施形態に係る、ディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。デバイス３００は、ポータブル型である必要はない。いくつかの実施形態では、デバイス３００は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディアプレーヤデバイス、ナビゲーションデバイス、教育的デバイス（子供の学習玩具など）、ゲームシステム、又は制御デバイス（例えば、家庭用又は業務用コントローラ）である。デバイス３００は、典型的には、１つ以上の処理ユニット（ＣＰＵ）３１０、１つ以上のネットワーク又は他の通信インタフェース３６０、メモリ３７０、及びこれらの構成要素を相互接続する１つ以上の通信バス３２０を含む。通信バス３２０は、任意選択的に、システム構成要素間の通信を相互接続及び制御する回路（チップセットと呼ばれることもある）を含む。デバイス３００は、ディスプレイ３４０を含む入出力（Ｉ／Ｏ）インタフェース３３０を含み、ディスプレイ３４０は、典型的には、タッチスクリーンディスプレイである。Ｉ／Ｏインタフェース３３０はまた、任意選択的に、キーボード及び／又はマウス（若しくは他のポインティングデバイス）３５０と、タッチパッド３５５と、デバイス３００上に触知出力を生成する触知出力生成器３５７（例えば、図１Ａを参照して前述した触知出力生成器１６７に類似している）と、センサ３５９（例えば、図１Ａを参照して前述した接触強度センサ１６５に類似している光、加速度、近接、タッチ感知、及び／又は接触強度センサ）とを含む。メモリ３７０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含み、任意選択的に、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ３７０は、任意選択で、ＣＰＵ（単数又は複数）３１０からリモートに位置する１つ以上の記憶デバイスを含む。いくつかの実施形態では、メモリ３７０は、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２内に記憶されているプログラム、モジュール、及びデータ構造に類似したプログラム、モジュール、及びデータ構造、又はそのサブセットを記憶する。更に、メモリ３７０は、任意選択で、ポータブル多機能デバイス１００のメモリ１０２に存在しない追加のプログラム、モジュール、及びデータ構造を記憶する。例えば、デバイス３００のメモリ３７０は、任意選択的に、描画モジュール３８０、プレゼンテーションモジュール３８２、ワードプロセッシングモジュール３８４、ウェブサイト作成モジュール３８６、ディスクオーサリングモジュール３８８、及び／又はスプレッドシートモジュール３９０を記憶するのに対して、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２は、任意選択的に、これらのモジュールを記憶しない。
FIG. 3 is a block diagram of an exemplary multifunction device having a display and a touch-sensitive surface, according to some embodiments; Device 300 need not be portable. In some embodiments, device 300 is a laptop computer, desktop computer, tablet computer, multimedia player device, navigation device, educational device (such as a children's learning toy), gaming system, or control device (e.g., home controller for commercial use or business use). Device 300 typically includes one or more processing units (CPUs) 310, one or more network or
図３の上記で特定した要素はそれぞれ、任意選択的に、前述したメモリデバイスのうちの１つ以上の中に記憶される。上記で特定したモジュールはそれぞれ、前述した機能を実行する命令セットに対応する。上記で特定したモジュール又はプログラム（例えば、命令セット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実施する必要はなく、したがって様々な実施形態では、これらのモジュールの様々なサブセットは、任意選択的に、組み合わされ、又は他の形で再構成される。いくつかの実施形態では、メモリ３７０は、任意選択で、上記で特定されたモジュール及びデータ構造のサブセットを記憶する。更に、メモリ３７０は、上記で説明されていない追加のモジュール及びデータ構造体を任意選択的に記憶する。 Each of the above-identified elements of FIG. 3 are optionally stored in one or more of the memory devices previously described. Each of the modules identified above corresponds to a set of instructions that perform the functions previously described. The modules or programs (e.g., set of instructions) identified above need not be implemented as separate software programs, procedures, or modules; thus, in various embodiments, various subsets of these modules are optionally , combined or otherwise rearranged. In some embodiments, memory 370 optionally stores a subset of the modules and data structures identified above. In addition, memory 370 optionally stores additional modules and data structures not described above.
次に、任意選択的に例えばポータブル多機能デバイス１００上で実施されるユーザインタフェースの実施形態に注意を向ける。
Attention is now directed to user interface embodiments that are optionally implemented, for example, on
図４Ａは、いくつかの実施形態に係るポータブル多機能デバイス１００上のアプリケーションのメニューの例示的なユーザインタフェースを示す。同様のユーザインタフェースは、デバイス３００上に任意選択的に実装される。いくつかの実施形態では、ユーザインタフェース４００は、以下の要素、又はそれらのサブセット若しくはスーパーセットを含む。
●セルラー信号及びＷｉ－Ｆｉ（登録商標）信号などの無線通信（単数又は複数）のための信号強度インジケータ（単数又は複数）４０２、
●時刻４０４、
●Ｂｌｕｅｔｏｏｔｈ（登録商標）インジケータ４０５、
●バッテリ状態インジケータ４０６、
●以下のような、頻繁に使用されるアプリケーションのアイコンを有するトレイ４０８：
○不在着信又はボイスメールメッセージの数のインジケータ４１４を任意選択的に含む、「電話」とラベル付けされた、電話モジュール１３８のアイコン４１６、
○未読電子メールの数のインジケータ４１０を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール１４０のアイコン４１８、
○「ブラウザ」とラベル付けされた、ブラウザモジュール１４７のアイコン４２０、及び
○「ｉＰｏｄ」とラベル付けされた、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の登録商標）モジュール１５２とも呼ばれるビデオ及び音楽プレーヤモジュール１５２のアイコン４２２、及び
●以下のような、他のアプリケーションのアイコン：
○「メッセージ」とラベル付けされた、ＩＭモジュール１４１のアイコン４２４、
○「カレンダ」とラベル付けされた、カレンダモジュール１４８のアイコン４２６、
○「写真」とラベル付けされた、画像管理モジュール１４４のアイコン４２８、
○「カメラ」とラベル付けされた、カメラモジュール１４３のアイコン４３０、
○「オンラインビデオ」とラベル付けされた、オンラインビデオモジュール１５５のアイコン４３２、
○「株式」とラベル付けされた、株式ウィジェット１４９－２のアイコン４３４、
○「地図」とラベル付けされた、地図モジュール１５４のアイコン４３６、
○「天気」とラベル付けされた、気象ウィジェット１４９－１のアイコン４３８、
○「時計」とラベル付けされた、アラーム時計ウィジェット１４９－４のアイコン４４０、
○「トレーニングサポート」とラベル付けされた、トレーニングサポートモジュール１４２のアイコン４４２、
○「メモ」とラベル付けされた、メモモジュール１５３のアイコン４４４、及び
○デバイス１００及びその様々なアプリケーション１３６についての設定へのアクセスを提供する、「設定」とラベル付けされた、設定アプリケーション又はモジュールのアイコン４４６。
FIG. 4A illustrates an exemplary user interface of a menu of applications on
- signal strength indicator(s) 402 for wireless communication(s) such as cellular and Wi-Fi signals;
●
- Bluetooth(R)
-
- A
o an icon 416 of the
o Icon 418 of
o icon 420 for
o Icon 442 for
図４Ａに示すアイコンラベルは、単なる例示であることに留意されたい。例えば、ビデオ及び音楽プレーヤモジュール１５２のためのアイコン４２２は、「音楽」又は「音楽プレーヤ」と表示される。他のラベルが、様々なアプリケーションアイコンのために、任意選択的に使用される。いくつかの実施形態では、それぞれのアプリケーションアイコンに関するラベルは、それぞれのアプリケーションアイコンに対応するアプリケーションの名前を含む。いくつかの実施形態では、特定のアプリケーションアイコンのラベルは、その特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。
Note that the icon labels shown in FIG. 4A are merely exemplary. For example, the
図４Ｂは、ディスプレイ４５０（例えば、タッチスクリーンディスプレイ１１２）とは別個のタッチ感知面４５１（例えば、図３のタブレット又はタッチパッド３５５）を有するデバイス（例えば、図３のデバイス３００）上の例示的なユーザインタフェースを示す。デバイス３００はまた、任意選択的に、タッチ感知面４５１上の接触の強度を検出する１つ以上の接触強度センサ（例えば、センサ３５９のうちの１つ以上）、及び／又はデバイス３００のユーザに対する触知出力を生成する１つ以上の触知出力生成器３５７を含む。
FIG. 4B shows an exemplary display on a device (eg, device 300 of FIG. 3) having a touch-sensitive surface 451 (eg, tablet or
以下の例のうちのいくつかは、タッチスクリーンディスプレイ１１２（タッチ感知面及びディスプレイが組み合わされている）上の入力を参照して与えられるが、いくつかの実施形態では、デバイスは、図４Ｂに示すディスプレイとは別個のタッチ感知面上の入力を検出する。いくつかの実施形態では、タッチ感知面（例えば、図４Ｂの４５１）は、ディスプレイ（例えば、４５０）上の１次軸（例えば、図４Ｂの４５３）に対応する１次軸（例えば、図４Ｂの４５２）を有する。これらの実施形態によれば、デバイスは、ディスプレイ上のそれぞれの場所に対応する場所（例えば、図４Ｂでは、４６０は４６８に対応し、４６２は４７０に対応する）で、タッチ感知面４５１との接触（例えば、図４Ｂの４６０及び４６２）を検出する。このようにして、タッチ感知面（例えば、図４Ｂの４５１）上でデバイスによって検出されるユーザ入力（例えば、接触４６０及び４６２、並びにこれらの動き）は、タッチ感知面がディスプレイとは別個であるとき、多機能デバイスのディスプレイ（例えば、図４Ｂの４５０）上のユーザインタフェースを操作するために、デバイスによって使用される。同様の方法が、本明細書に記載の他のユーザインタフェースに任意選択的に使用されることを理解されたい。
Although some of the examples below are given with reference to input on the touchscreen display 112 (which is a combined touch-sensitive surface and display), in some embodiments the device is as shown in FIG. 4B. Detects input on a touch-sensitive surface separate from the display shown. In some embodiments, the touch-sensitive surface (eg, 451 in FIG. 4B) has a primary axis (eg, 453 in FIG. 4B) that corresponds to the primary axis (eg, 453 in FIG. 4B) on the display (eg, 450). 452). According to these embodiments, the device interacts with touch-
加えて、以下の例は、主に指入力（例えば、指接触、指タップジェスチャ、指スワイプジェスチャ）を参照して与えられるが、一部の実施形態では、指入力のうちの１つ以上は、別の入力デバイスからの入力（例えば、マウスベースの入力又はスタイラス入力）に置き換えられることを理解されたい。例えば、スワイプジェスチャは、（例えば、接触の代わりの）マウスクリックに続けた、（例えば、接触の移動の代わりの）スワイプの経路に沿ったカーソルの移動によって、任意選択的に置き換えられる。別の例として、タップジェスチャは、任意選択的に、カーソルがタップジェスチャの位置の上に位置する間はマウスクリックと置き換えられる（例えば、接触を検出して、それに続いて接触の検出を停止する代わりに）。同様に、複数のユーザ入力が同時に検出されるとき、複数のコンピュータマウスが、任意選択的に、同時に使用され、又はマウス及び指の接触が、任意選択的に、同時に使用されることを理解されたい。 Additionally, although the examples below are given primarily with reference to finger input (e.g., finger contact, finger tap gesture, finger swipe gesture), in some embodiments one or more of the finger inputs are , may be replaced by input from another input device (eg, mouse-based input or stylus input). For example, a swipe gesture is optionally replaced by a mouse click (eg, instead of contact) followed by movement of the cursor along the path of the swipe (eg, instead of moving the contact). As another example, a tap gesture is optionally replaced with a mouse click while the cursor is positioned over the location of the tap gesture (e.g., detect contact and subsequently stop detecting contact). instead). Similarly, when multiple user inputs are detected simultaneously, it will be appreciated that multiple computer mice are optionally used simultaneously, or mouse and finger contact are optionally used simultaneously. sea bream.
図５Ａは、例示的なパーソナル電子デバイス５００を示す。デバイス５００は、本体５０２を含む。いくつかの実施形態では、デバイス５００は、デバイス１００及び３００（例えば、図１Ａ～４Ｂ）に関して説明する特徴のうちのいくつか又は全てを含むことができる。いくつかの実施形態では、デバイス５００は、タッチ感知ディスプレイスクリーン５０４、以下ではタッチスクリーン５０４、を有する。あるいは、又はタッチスクリーン５０４に加えて、デバイス５００は、ディスプレイ及びタッチ感知面を有する。デバイス１００及び３００と同様に、いくつかの実施形態では、タッチスクリーン５０４（又はタッチ感知面）は、任意選択的に、加えられている接触（例えば、タッチ）の強度を検出する１つ以上の強度センサを含む。タッチスクリーン５０４（又はタッチ感知面）の１つ以上の強度センサは、タッチの強度を表す出力データを提供することができる。デバイス５００のユーザインタフェースは、タッチの強度に基づいてタッチに応答することができ、これは、異なる強度のタッチが、デバイス５００上で異なるユーザインタフェース動作を呼び出すことができることを意味する。
FIG. 5A shows an exemplary personal
タッチ強度を検出及び処理する例示的な技法は、例えば、それぞれ全体として参照により本明細書に組み込まれている、国際特許第ＷＯ／２０１３／１６９８４９号として公開された、２０１３年５月８日出願の国際特許出願第ＰＣＴ／ＵＳ２０１３／０４００６１号、「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｄｉｓｐｌａｙｉｎｇ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｏｂｊｅｃｔｓ Ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ａｎ Ａｐｐｌｉｃａｔｉｏｎ」、及び国際特許第ＷＯ／２０１４／１０５２７６号として公開された、２０１３年１１月１１日出願の国際特許出願第ＰＣＴ／ＵＳ２０１３／０６９４８３号、「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｔｒａｎｓｉｔｉｏｎｉｎｇ Ｂｅｔｗｅｅｎ Ｔｏｕｃｈ Ｉｎｐｕｔ ｔｏ Ｄｉｓｐｌａｙ Ｏｕｔｐｕｔ Ｒｅｌａｔｉｏｎｓｈｉｐｓ」という関連出願に見られる。 Exemplary techniques for detecting and processing touch intensity are disclosed, for example, in International Patent Application No. PCT/US2013/040061, "Device, Method, and Graphical User Interface for Displaying User Interface Objects Corresponding to an Application", and International Patent No. WO/2014/103712, published as See related application entitled "Device, Method, and Graphical User Interface for Transitioning Between Touch Input to Display Output Relationships," International Patent Application No. PCT/US2013/069483, filed May 11.
いくつかの実施形態では、デバイス５００は、１つ以上の入力機構５０６及び５０８を有する。入力機構５０６及び５０８は、含まれる場合、物理的機構とすることができる。物理的入力機構の例としては、プッシュボタン及び回転可能機構が挙げられる。いくつかの実施形態では、デバイス５００は、１つ以上のアタッチメント機構を有する。そのようなアタッチメント機構は、含まれる場合、例えば帽子、アイウェア、イアリング、ネックレス、シャツ、ジャケット、ブレスレット、腕時計のバンド、チェーン、ズボン、ベルト、靴、財布、バックパックなどにデバイス５００を取り付けることを可能にすることができる。これらのアタッチメント機構は、ユーザがデバイス５００を着用することを可能にする。
In some embodiments,
図５Ｂは、例示的なパーソナル電子デバイス５００を示す。いくつかの実施形態では、デバイス５００は、図１Ａ、図１Ｂ、及び図３に関して説明した構成要素のうちのいくつか又は全てを含むことができる。デバイス５００は、Ｉ／Ｏセクション５１４を１つ以上のコンピュータプロセッサ５１６及びメモリ５１８に動作可能に結合するバス５１２を有する。Ｉ／Ｏセクション５１４は、ディスプレイ５０４に接続することができ、ディスプレイ５０４は、タッチ感知構成要素５２２と、任意選択的に強度センサ５２４（例えば、接触強度センサ）とを有することができる。加えて、Ｉ／Ｏセクション５１４は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離通信（ＮＦＣ）、セルラー、及び／又は他の無線通信技法を使用してアプリケーション及びオペレーティングシステムデータを受信する通信ユニット５３０に接続することができる。デバイス５００は、入力機構５０６及び／又は５０８を含むことができる。入力機構５０６は、任意選択的に、例えば回転可能入力デバイス又は押下可能及び回転可能入力デバイスである。いくつかの例では、入力機構５０８は、任意選択的にボタンである。
FIG. 5B shows an exemplary personal
いくつかの例では、入力機構５０８は、任意選択的にマイクロフォンである。パーソナル電子デバイス５００は、任意選択的に、ＧＰＳセンサ５３２、加速度計５３４、方向センサ５４０（例えば、コンパス）、ジャイロスコープ５３６、動きセンサ５３８、及び／又はこれらの組み合わせなどの様々なセンサを含み、これらのセンサは全て、Ｉ／Ｏセクション５１４に動作可能に接続することができる。
In some examples,
パーソナル電子デバイス５００のメモリ５１８は、コンピュータ実行可能命令を記憶するための１つ以上の非一時的コンピュータ可読記憶媒体を含み得、それらの命令は、１つ以上のコンピュータプロセッサ５１６によって実行されると、例えば、コンピュータプロセッサに、プロセス８００（図８Ａ～８Ｂ）、プロセス１０００（図１０）、プロセス１２００（図１２）、プロセス１４００（図１４）、及びプロセス１６００（図１６）を含めた、以下に説明する技術を実行させることができる。コンピュータ可読記憶媒体は、命令実行システム、装置、又はデバイスによって使用するための、又は命令実行システム、装置、又はデバイスに接続されているコンピュータ実行可能命令を、有形に含み又は記憶することができる任意の媒体とすることができる。いくつかの実施例では、記憶媒体は、一時的コンピュータ可読記憶媒体である。いくつかの実施例では、記憶媒体は、非一時的コンピュータ可読記憶媒体である。非一時的コンピュータ可読記憶媒体は、それだけに限定されるものではないが、磁気、光学、及び／又は半導体記憶装置を含むことができる。そのような記憶装置の例としては、磁気ディスク、ＣＤ、ＤＶＤ、又はＢｌｕ－ｒａｙ（登録商標）技術に基づく光学ディスク、並びにフラッシュ、ソリッドステートドライブなどの常駐ソリッドステートメモリなどが挙げられる。パーソナル電子デバイス５００は、図５Ｂの構成要素及び構成に限定されるものではなく、他の又は追加の構成要素を複数の構成で含むことができる。
本明細書では、「アフォーダンス」という用語は、任意選択的にデバイス１００、３００、及び／又は５００（図１Ａ、図３、及び図５Ａ～５Ｂ）のディスプレイスクリーン上に表示されるユーザ対話グラフィカルユーザインタフェースオブジェクトを指す。例えば、画像（例えば、アイコン）、ボタン、及び文字（例えば、ハイパーリンク）はそれぞれ、意選択的に、アフォーダンスを構成する。
As used herein, the term “affordance” refers to a user-interacting graphical user interface optionally displayed on a display screen of
本明細書で使用される「フォーカスセレクタ」という用語は、ユーザが対話しているユーザインタフェースの現在の部分を示す入力要素を指す。カーソル又は他の場所マーカーを含むいくつかの実装形態では、カーソルが「フォーカスセレクタ」として作用し、したがってカーソルが特定のユーザインタフェース要素（例えば、ボタン、ウインドウ、スライダ、又は他のユーザインタフェース要素）の上に位置する間に、タッチ感知面（例えば、図３のタッチパッド３５５又は図４Ｂのタッチ感知面４５１）上で入力（例えば、押下入力）が検出されたとき、特定のユーザインタフェース要素が、検出された入力に従って調整される。タッチスクリーンディスプレイ上のユーザインタフェース要素との直接対話を有効化するタッチスクリーンディスプレイ（例えば、図１Ａのタッチ感知ディスプレイシステム１１２又は図４Ａのタッチスクリーン１１２）を含むいくつかの実装形態では、タッチスクリーン上の検出された接触が「フォーカスセレクタ」として作用し、したがってタッチスクリーンディスプレイ上の特定のユーザインタフェース要素（例えば、ボタン、ウインドウ、スライダ、又は他のユーザインタフェース要素）の場所で入力（例えば、接触による押下入力）が検出されたとき、特定のユーザインタフェース要素が、検出された入力に従って調整される。いくつかの実装例では、タッチスクリーンディスプレイ上の対応するカーソルの移動又は接触の移動（例えば、フォーカスを１つのボタンから別のボタンへ動かすためにタブキー又は矢印キーを使用することによる）なく、フォーカスがユーザインタフェースの１つの領域からユーザインタフェースの別の領域へ動かされ、これらの実装例では、フォーカスセレクタは、ユーザインタフェースの種々の領域間でのフォーカスの移動に従って移動する。フォーカスセレクタがとる特有の形態に関わらず、フォーカスセレクタは、概して、ユーザインタフェース要素（又はタッチスクリーンディスプレイ上の接触）であり、ユーザの意図する対話をユーザインタフェースによって通信するように、ユーザによって制御される（例えば、ユーザが対話することを意図しているユーザインタフェースの要素をデバイスに示すことによる）。例えば、タッチ感知面（例えば、タッチパッド又はタッチスクリーン）上で押圧入力が検出されている間の、対応のボタンの上のフォーカスセレクタ（例えば、カーソル、接触、又は選択ボックス）の位置は、その対応のボタンを（そのデバイスのディスプレイ上に示される他のユーザインタフェース要素ではなく）アクティブ化することをユーザが意図していることを示すものである。
As used herein, the term "focus selector" refers to an input element that indicates the current portion of the user interface with which the user is interacting. In some implementations that include a cursor or other location marker, the cursor acts as a "focus selector," so that the cursor is positioned over a particular user interface element (e.g., button, window, slider, or other user interface element). When an input (e.g., a press input) is detected on a touch-sensitive surface (e.g.,
本明細書及び特許請求の範囲で使用される、接触の「特性強度」という用語は、接触の１つ以上の強度に基づく、その接触の特性を指す。いくつかの実施形態では、特性強度は複数の強度サンプルに基づく。特性強度は、任意選択的に、既定の数の強度サンプル、すなわち、既定のイベント（例えば、接触を検出した後、接触のリフトオフを検出する前、接触の移動の開始を検出する前若しくは後、接触の終了を検出する前、接触の強度の増大を検出する前若しくは後、及び／又は、接触の強度の減少を検出する前若しくは後の）に関連する既定の期間（例えば、０．０５、０．１、０．２、０．５、１、２、５、１０秒）の間に収集された強度サンプルのセットに基づく。接触の特性強度は、任意選択的に、接触の強度の最大値、接触の強度の平均（mean）値、接触の強度の平均（average）値、接触の強度の上位１０パーセンタイル値、接触の強度の最大の２分の１の値、接触の強度の最大の９０パーセントの値などのうちの１つ以上に基づいている。いくつかの実施形態では、特性強度を判定する際に（例えば、特性強度が経時的な接触の強度の平均であるときに）、接触の持続期間が使用される。いくつかの実施形態では、特性強度は、ユーザによって動作が実行されたかどうかを判定するために、１つ以上の強度閾値のセットと比較される。例えば、１組の１つ以上の強度閾値は、任意選択的に、第１の強度閾値及び第２の強度閾値を含む。この例では、第１の閾値を超過しない特性強度を有する接触は、第１の動作をもたらし、第１の強度閾値を超過するが第２の強度閾値を超過しない特性強度を有する接触は、第２の動作をもたらし、第２の閾値を超過する特性強度を有する接触は、第３の動作をもたらす。いくつかの実施形態では、特性強度と１つ以上の閾値との間の比較は、第１の動作を実行するべきか、それとも第２の動作を実行するべきかを判定するために使用されるのではなく、１つ以上の動作を実行するべきか否か（例えば、それぞれの動作を実行するべきか、それともそれぞれの動作を実行するのを取り止めるべきか）を判定するために使用される。 As used herein and in the claims, the term "characteristic strength" of contact refers to the properties of that contact based on one or more strengths of the contact. In some embodiments, the characteristic intensity is based on multiple intensity samples. The characteristic intensity is optionally a predefined number of intensity samples, i.e., a predefined event (e.g., after detecting a contact, before detecting lift-off of the contact, before or after detecting the start of movement of the contact, a predetermined time period (e.g., 0.05, 0.1, 0.2, 0.5, 1, 2, 5, 10 seconds). The characteristic strength of contact is optionally maximum strength of contact, mean strength of contact, average strength of contact, top 10 percentile strength of contact, strength of contact , a maximum 90 percent value of the intensity of contact, and so on. In some embodiments, the duration of contact is used in determining the characteristic strength (eg, when the characteristic strength is the average strength of the contact over time). In some embodiments, the characteristic strength is compared to a set of one or more strength thresholds to determine whether an action has been performed by the user. For example, the set of one or more intensity thresholds optionally includes a first intensity threshold and a second intensity threshold. In this example, a contact with a characteristic strength that does not exceed a first threshold results in a first action, and a contact with a characteristic strength that exceeds the first strength threshold but does not exceed a second strength threshold results in a second A contact that results in a motion of 2 and has a characteristic intensity exceeding a second threshold results in a third motion. In some embodiments, a comparison between the characteristic strength and one or more thresholds is used to determine whether to perform the first action or the second action. Instead, it is used to determine whether to perform one or more actions (e.g., whether to perform each action or not to perform each action).
図５Ｃは、複数の強度センサ５２４Ａ～５２４Ｄによってタッチ感知ディスプレイスクリーン５０４上で複数の接触５５２Ａ～５５２Ｅを検出することを示す。図５Ｃは、追加として、強度単位に対する強度センサ５２４Ａ～５２４Ｄの現在の強度測定値を示す強度ダイアグラムを含む。この例では、強度センサ５２４Ａ及び５２４Ｄの強度測定値はそれぞれ９強度単位であり、強度センサ５２４Ｂ及び５２４Ｃの強度測定値はそれぞれ７強度単位である。いくつかの実装形態では、集約強度は、複数の強度センサ５２４Ａ～５２４Ｄの強度測定値の和であり、この例では３２強度単位である。いくつかの実施形態では、各接触に、集約強度の一部分であるそれぞれの強度が割り当てられる。図５Ｄは、力の中心５５４からの距離に基づいて、集約強度を接触５５２Ａ～５５２Ｅに割り当てることを示す。この例では、接触５５２Ａ、５５２Ｂ、及び５５２Ｅのそれぞれに、集約強度の８強度単位の接触の強度が割り当てられ、接触５５２Ｃ及び５５２Ｄのそれぞれに、集約強度の４強度単位の接触の強度が割り当てられる。より一般的には、いくつかの実装例では、各接触ｊは、所定の数学関数Ｉｊ＝Ａ・（Ｄｊ／ΣＤｉ）に従って、合計の強度Ａの一部分である、それぞれの強度Ｉｊが割り当てられ、ここで、Ｄｊは、力の中心からそれぞれの接触ｊまでの距離であり、ΣＤｉは、力の中心から全てのそれぞれ接触（例えば、ｉ＝１から最後まで）までの距離の和である。図５Ｃ～図５Ｄを参照して説明した動作は、デバイス１００、３００又は５００と類似若しくは同一の電子デバイスを使用して行うことができる。いくつかの実施形態では、接触の特性強度は、接触の１つ以上の強度に基づいている。いくつかの実施形態では、強度センサは、単一の特性強度（例えば、単一の接触の単一の特性強度）を判定するために使用される。強度ダイアグラムは、表示ユーザインタフェースの一部ではなく、読み手の助けになるように図５Ｃ～図５Ｄに含まれていることに留意されたい。
FIG. 5C illustrates detecting
いくつかの実施形態では、特性強度を判定する目的のために、ジェスチャの一部分が特定される。例えば、タッチ感知面は、任意選択的に、開始場所から遷移して終了場所に到達する連続するスワイプ接触を受信し、その時点で接触の強度が増大する。この例では、終了場所での接触の特性強度は、任意選択的に、スワイプ接触全体ではなく、連続するスワイプ接触の一部分のみ（例えば、スワイプ接触のうち終了場所の部分のみ）に基づいている。いくつかの実施形態では、任意選択的に、接触の特性強度を判定する前に、平滑化アルゴリズムがスワイプ接触の強度に適用される。例えば、平滑化アルゴリズムは、任意選択的に、非加重移動平均平滑化アルゴリズム、三角平滑化アルゴリズム、中央値フィルタ平滑化アルゴリズム、及び／又は指数平滑化アルゴリズムのうちの１つ以上を含む。いくつかの状況では、これらの平滑化アルゴリズムは、特性強度を判定する目的のために、スワイプ接触の強度の小幅な上昇又は降下を排除する。 In some embodiments, a portion of the gesture is identified for purposes of determining characteristic strength. For example, the touch-sensitive surface optionally receives successive swipe contacts transitioning from a starting location to reaching an ending location, at which point the contact increases in strength. In this example, the characteristic strength of the contact at the end location is optionally based on only a portion of the continuous swipe contact (eg, only the portion of the swipe contact at the end location) rather than the entire swipe contact. In some embodiments, a smoothing algorithm is optionally applied to the strength of the swipe contact prior to determining the characteristic strength of the contact. For example, the smoothing algorithm optionally includes one or more of an unweighted moving average smoothing algorithm, a triangular smoothing algorithm, a median filter smoothing algorithm, and/or an exponential smoothing algorithm. In some situations, these smoothing algorithms eliminate small increases or decreases in strength of swipe contacts for purposes of determining characteristic strength.
タッチ感知面上の接触の強度は、任意選択的に、接触検出強度閾値、軽い押下の強度閾値、深い押下の強度閾値、及び／又は１つ以上の他の強度閾値などの１つ以上の強度閾値に対して特徴付けられる。いくつかの実施形態では、軽い押圧強度閾値は、通常、物理マウスのボタン又はトラックパッドをクリックすることに関連付けられた動作をデバイスが実行する強度に相当する。いくつかの実施形態では、深い押圧強度閾値は、通常、物理マウスのボタン又はトラックパッドをクリックすることに関連付けられた動作とは異なる動作をデバイスが実行する強度に相当する。いくつかの実施形態では、軽い押圧強度閾値を下回る（例えば、それを下回ると接触が検出されなくなる公称接触検出強度閾値を上回る）特性強度を有する接触が検出されたとき、デバイスは、軽い押圧強度閾値又は深い押圧強度閾値に関連付けられた動作を実行することなく、タッチ感知面上の接触の移動に従ってフォーカスセレクタを動かす。一般に、特に明記しない限り、これらの強度閾値は、ユーザインタフェース図の様々なセットの間で一貫している。 The intensity of contact on the touch-sensitive surface is optionally one or more intensities, such as a touch detection intensity threshold, a light press intensity threshold, a deep press intensity threshold, and/or one or more other intensity thresholds. Characterized against a threshold. In some embodiments, the light pressure intensity threshold corresponds to the intensity at which the device performs actions typically associated with clicking a physical mouse button or trackpad. In some embodiments, the deep press intensity threshold corresponds to an intensity at which the device performs a different action than is typically associated with clicking a physical mouse button or trackpad. In some embodiments, when a touch is detected with a characteristic strength below a light pressure intensity threshold (e.g., above a nominal touch detection intensity threshold below which no contact is detected), the device detects the light pressure intensity Moving the focus selector according to the movement of the contact on the touch-sensitive surface without performing the actions associated with the threshold or the deep pressure intensity threshold. In general, unless otherwise stated, these intensity thresholds are consistent between different sets of user interface diagrams.
軽い押圧強度閾値を下回る強度から、軽い押圧強度閾値と深い押圧強度閾値との間の強度への、接触の特性強度の増大は、「軽い押圧」の入力と呼ばれることがある。深い押圧強度閾値を下回る強度から、深い押圧強度閾値を上回る強度への、接触の特性強度の増大は、「深い押圧」の入力と呼ばれることがある。接触検出強度閾値を下回る強度から、接触検出強度閾値と軽い押圧強度閾値との間の強度への、接触の特性強度の増大は、タッチ面上の接触の検出と呼ばれることがある。接触検出強度閾値を上回る強度から、接触検出強度閾値を下回る強度への、接触の特性強度の減少は、タッチ面からの接触のリフトオフの検出と呼ばれることがある。いくつかの実施形態では、接触検出強度閾値はゼロである。いくつかの実施形態では、接触検出強度閾値は、ゼロより大きい。 An increase in the characteristic strength of a contact from an intensity below the light pressure threshold to an intensity between the light pressure threshold and the deep pressure threshold is sometimes referred to as a "light pressure" input. An increase in the characteristic strength of a contact from an intensity below the deep pressure threshold to an intensity above the deep pressure threshold is sometimes referred to as a "deep pressure" input. An increase in the characteristic strength of a touch from an intensity below the touch detection intensity threshold to an intensity between the touch detection intensity threshold and the light pressure intensity threshold is sometimes referred to as detecting contact on the touch surface. A decrease in the characteristic strength of the contact from an intensity above the contact detection intensity threshold to an intensity below the contact detection intensity threshold is sometimes referred to as detecting lift-off of the contact from the touch surface. In some embodiments, the contact detection strength threshold is zero. In some embodiments, the contact detection strength threshold is greater than zero.
本明細書に記載する一部の実施形態では、それぞれの押圧入力を含むジェスチャを検出したことに応じて、又はそれぞれの接触（若しくは複数の接触）によって実行されたそれぞれの押圧入力を検出したことに応じて、１つ以上の動作が実行され、それぞれの押圧入力は、押圧入力強度閾値を上回る接触（又は複数の接触）の強度の増大を検出したことに少なくとも部分的に基づいて検出される。いくつかの実施形態では、それぞれの動作は、押圧入力強度閾値を上回るそれぞれの接触の強度の増大（例えば、それぞれの押圧入力の「ダウンストローク」）を検出したことに応じて実行される。いくつかの実施形態では、押圧入力は、押圧入力強度閾値を上回るそれぞれの接触の強度の増大、及びそれに続く押圧入力強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、それに続く押圧入力閾値を下回るそれぞれの接触の強度の減少（例えば、それぞれの押圧入力の「アップストローク」）を検出したことに応じて実行される。 In some embodiments described herein, in response to detecting a gesture comprising a respective pressure input or having detected a respective pressure input performed by a respective contact (or multiple contacts). One or more actions are performed in response to and each pressure input is detected based at least in part on detecting an increase in the intensity of the contact (or contacts) above the pressure input intensity threshold. . In some embodiments, the respective action is performed in response to detecting an increase in the strength of the respective contact above a pressure input strength threshold (eg, a "downstroke" of the respective pressure input). In some embodiments, the pressure input includes increasing the strength of each contact above the pressure input strength threshold followed by decreasing the strength of the contact below the pressure input strength threshold, and each action comprises a subsequent pressure Execution is in response to detecting a decrease in the intensity of the respective touch below the input threshold (eg, an "upstroke" of the respective pressure input).
図５Ｅ～５Ｈは、図５Ｅの軽い押圧の強度閾値（例えば、「ＩＴＬ」）を下回る強度から、図５Ｈの深い押圧の強度閾値（例えば、「ＩＴＤ」）を上回る強度への、接触５６２の強度の増大に対応する押圧入力を含むジェスチャの検出を示す。接触５６２によって実行されるジェスチャは、タッチ感知面５６０上で検出され、既定領域５７４内に表示されたアプリケーションアイコン５７２Ａ～５７２Ｄを含む表示ユーザインタフェース５７０上では、アプリ２に対応するアプリケーションアイコン５７２Ｂの上にカーソル５７６が表示される。いくつかの実施形態では、ジェスチャは、タッチ感知ディスプレイ５０４上に検出される。強度センサは、タッチ感知面５６０上の接触の強度を検出する。デバイスは、接触５６２の強度が深い押圧の強度閾値（例えば、「ＩＴＤ」）を上回ってピークに達したと判定する。接触５６２は、タッチ感知面５６０上で維持される。ジェスチャの検出に応答して、ジェスチャ中に深い押圧の強度閾値（例えば、「ＩＴＤ」）を上回る強度を有する接触５６２に従って、図５Ｆ～５Ｈに示すように、アプリ２に対して最近開いた文書の縮尺が低減された表現５７８Ａ～５７８Ｃ（例えば、サムネイル）が表示される。いくつかの実施形態では、１つ以上の強度閾値と比較される強度は、接触の特性強度である。接触５６２に対する強度ダイアグラムは、表示ユーザインタフェースの一部ではなく、読み手の助けになるように図５Ｅ～５Ｈに含まれていることに留意されたい。
FIGS. 5E-5H illustrate a contact from an intensity below the light press intensity threshold (eg, “IT L ”) in FIG. 5E to an intensity above the deep press intensity threshold (eg, “IT D ”) in FIG. 5H. 562 shows the detection of a gesture involving press input corresponding to an increase in strength. A gesture performed by
いくつかの実施形態では、表現５７８Ａ～５７８Ｃの表示は、アニメーションを含む。例えば、図５Ｆに示すように、表現５７８Ａが、アプリケーションアイコン５７２Ｂに近接して最初に表示される。アニメーションが進むにつれて、図５Ｇに示すように、表現５７８Ａは上方へ動き、表現５７８Ｂが、アプリケーションアイコン５７２Ｂに近接して表示される。次いで、図５Ｈに示すように、表現５７８Ａが上方へ動き、表現５７８Ｂが表現５７８Ａに向かって上方へ動き、表現５７８Ｃが、アプリケーションアイコン５７２Ｂに近接して表示される。表現５７８Ａ～５７８Ｃは、アイコン５７２Ｂの上にアレイを形成する。いくつかの実施形態では、アニメーションは、図５Ｆ～５Ｇに示すように、接触５６２の強度に従って進行し、接触５６２の強度が深い押圧の強度閾値（例えば、「ＩＴＤ」）に向かって増大するにつれて、表現５７８Ａ～５７８Ｃが現れ、上方へ動く。いくつかの実施形態では、アニメーションの進行が基づいている強度は、接触の特性強度である。図５Ｅ～５Ｈを参照して説明する動作は、デバイス１００、３００、又は５００に類似又は同一の電子デバイスを使用して実行することができる。
In some embodiments, the display of
一部の実施形態では、デバイスは、「ジッタ」と呼ばれる場合がある偶発的な入力を回避するために強度ヒステリシスを採用し、デバイスは、押圧入力強度閾値との所定の関係を有するヒステリシス強度閾値を定義又は選択する（例えば、ヒステリシス強度閾値は、押圧入力強度閾値よりも低いＸ強度単位であり、又はヒステリシス強度閾値は、押圧入力強度閾値の７５％、９０％、若しくは何らかの妥当な割合である）。したがって、一部の実施形態では、押圧入力は、押圧入力強度閾値を上回るそれぞれの接触の強度の増大、及びそれに続く押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、それに続くヒステリシス強度閾値を下回るそれぞれの接触の強度の減少（例えば、それぞれの押圧入力の「アップストローク」）を検出したことに応答して実行される。類似して、一部の実施形態では、押圧入力は、デバイスが、ヒステリシス強度閾値以下の強度から押圧入力強度閾値以上の強度への接触の強度の増大、及び任意選択的に、その後のヒステリシス強度以下の強度への接触の強度の減少を検出するときにのみ検出され、それぞれの動作は、押圧入力（例えば、状況に依存して、接触の強度の増大又は接触の強度の減少）を検出したことに応答して実行される。 In some embodiments, the device employs intensity hysteresis to avoid inadvertent inputs, sometimes referred to as "jitter," wherein the device has a hysteresis intensity threshold that has a predetermined relationship to the pressing input intensity threshold. (e.g., the hysteresis intensity threshold is X intensity units less than the pressure input intensity threshold, or the hysteresis intensity threshold is 75%, 90%, or some reasonable percentage of the pressure input intensity threshold ). Thus, in some embodiments, the pressure input includes an increase in strength of each contact above a pressure input strength threshold followed by a decrease in strength of the contact below a hysteresis strength threshold corresponding to the pressure input strength threshold, Each action is performed in response to detecting a subsequent decrease in the strength of the respective contact below the hysteresis strength threshold (eg, the "upstroke" of the respective pressure input). Analogously, in some embodiments, a pressure input causes the device to increase the intensity of the contact from an intensity below the hysteresis intensity threshold to an intensity above the pressure input intensity threshold, and optionally a subsequent hysteresis intensity. Detected only when detecting a decrease in the strength of contact to a strength less than or equal to each detected pressing input (e.g., increasing the strength of the contact or decreasing the strength of the contact, depending on the situation) is executed in response to
説明を容易にするために、押圧入力強度閾値に関連付けられた押圧入力、又は押圧入力を含むジェスチャに応答して実行される動作の説明は、任意選択的に、押圧入力強度閾値を上回る接触の強度の増大、ヒステリシス強度閾値を下回る強度から押圧入力強度閾値を上回る強度への接触の強度の増大、押圧入力強度閾値を下回る接触の強度の減少、及び／又は押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少のいずれかを検出したことに応答してトリガされる。更に、押圧入力強度閾値を下回る接触の強度の減少を検出したことに応答して実行されるように動作が記載される例では、動作は、任意選択的に、押圧入力強度閾値に対応し、かつそれよりも低いヒステリシス強度閾値を下回る接触の強度の減少を検出したことに応答して実行される。 For ease of explanation, descriptions of actions performed in response to a press input associated with, or a gesture including, a press input associated with a pressure input intensity threshold optionally include the an increase in intensity, an increase in intensity of the contact from an intensity below the hysteresis intensity threshold to an intensity above the pressure input intensity threshold, a decrease in intensity of the contact below the pressure input intensity threshold, and/or a hysteresis intensity corresponding to the pressure input intensity threshold. Triggered in response to detecting any decrease in the intensity of the touch below the threshold. Further, in examples in which actions are described as being performed in response to detecting a decrease in the intensity of contact below a pressure input intensity threshold, the actions optionally correspond to the pressure input intensity threshold, and in response to detecting a decrease in the intensity of the touch below a lower hysteresis intensity threshold.
図５Ｉは、例示的な電子デバイス５８０を示す。デバイス５８０は、本体５８０Ａを含む。いくつかの実施形態では、デバイス５８０は、デバイス１００、３００、及び５００（例えば、図１Ａ～５Ｂ）に関して説明する特徴のうちのいくつか又は全てを含むことができる。いくつかの実施形態では、デバイス５８０は、１つ以上のスピーカ５８０Ｂ（本体５８０Ａに隠す）、１つ以上のマイクロフォン５８０Ｃ、１つ以上のタッチ感知面５８０Ｄ、及び１つ以上のディスプレイ５８０Ｅを有する。代替の場合、又はディスプレイ及びタッチ感知面５８０Ｄに加えて、デバイスは、タッチ感知ディスプレイ（タッチスクリーンとも呼ばれる）を有する。デバイス１００、３００、及び５００と同様に、いくつかの実施形態では、タッチ感知面５８０Ｄ（又はタッチスクリーン）は、任意選択的に、加えられている接触（例えば、タッチ）の強度を検出するための１つ以上の強度センサを含む。タッチ感知面５８０Ｄ（又はタッチスクリーン）の１つ以上の強度センサによって、タッチの強度を表す出力データが提供され得る。デバイス５８０のユーザインタフェースは、タッチの強度に基づいてタッチに応答することができ、これは、異なる強度のタッチが、デバイス５８０上で異なるユーザインタフェース動作を呼び出すことができることを意味する。いくつかの実施形態では、１つ以上のディスプレイ５８０Ｅは、１つ以上の発光ダイオード（ＬＥＤ）である。例えば、ディスプレイは、単一のＬＥＤ、ＬＥＤクラスタ（例えば、赤色、緑色、及び青色ＬＥＤ）、複数の分離ＬＥＤ、複数の分離ＬＥＤクラスタ、又は１つ以上のＬＥＤの他の配置であり得る。例えば、ディスプレイ５８０Ｅは、円形状（例えば、リング）に配置された９個の分離ＬＥＤクラスタのアレイであってもよい。いくつかの実施例では、１つ以上のディスプレイは、別のタイプの発光要素のうちの任意の１つ以上から構成される。
FIG. 5I shows an exemplary
図５Ｊは、例示的なパーソナル電子デバイス５８０を図示する。いくつかの実施形態では、デバイス５８０は、図１Ａ、図１Ｂ、図３、及び図５Ａ～５Ｂに関して説明した構成要素のうちのいくつか又は全てを含むことができる。デバイス５８０は、Ｉ／Ｏセクション５９４を１つ以上のコンピュータプロセッサ５９６及びメモリ５９８に動作可能に結合するバス５９２を有する。Ｉ／Ｏセクション５９４は、ディスプレイ５８２に接続することができ、ディスプレイは、タッチ感知式構成要素５８４と、任意選択的に強度センサ５８５（例えば、接触強度センサ）とを有することができる。いくつかの実施形態では、タッチ感知式構成要素５８４は、ディスプレイ５８２とは別個の構成要素である。加えて、Ｉ／Ｏセクション５９４は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、近距離通信（ＮＦＣ）、セルラー、及び／又は他の無線通信技術を使用してアプリケーション及びオペレーティングシステムデータを受信するための通信ユニット５９０に接続することができる。デバイス５８０は、入力メカニズム５８８を含むことができる。いくつかの例では、入力メカニズム５８８は、任意選択的にボタンである。いくつかの例では、入力メカニズム５８８は、任意選択的にマイクロフォンである。入力メカニズム５８８は任意選択的に、複数のマイクロフォン（例えば、マイクロフォンアレイ）である。
FIG. 5J illustrates an exemplary personal
電子デバイス５８０は、音声を出力するスピーカ５８６を含む。デバイス５８０は、音声データを受信し、音声データを電気信号に変換し、電気信号をスピーカ５８６に送信するオーディオ回路（例えば、Ｉ／Ｏセクション５９４内）を含むことができる。スピーカ５８６は、電気信号を人間の可聴音波に変換する。オーディオ回路（例えば、Ｉ／Ｏセクション５９４内）はまた、マイクロフォン（例えば、入力メカニズム５８８）によって音波から変換された電気信号を受信する。オーディオ回路（例えば、Ｉ／Ｏセクション５９４内）は、電気信号を音声データに変換する。音声データは、任意選択的に、Ｉ／Ｏセクション５９４によって、（例えば、通信ユニット５９０の）メモリ５９８及び／又はＲＦ回路５９０から取得され、並びに／若しくはメモリ１０２及び／又はＲＦ回路１０８に送信される。
パーソナル電子デバイス５８０のメモリ５９８は、コンピュータ実行可能命令を記憶するための１つ以上の非一時的コンピュータ可読記憶媒体を含み得、それらの命令は、１つ以上のコンピュータプロセッサ５９６によって実行されると、例えば、コンピュータプロセッサに、プロセス８００（図８Ａ～８Ｂ）、プロセス１０００（図１０）、プロセス１２００（図１２）、プロセス１４００（図１４）、及びプロセス１６００（図１６）を含めた、以下に説明する技術を実行させることができる。コンピュータ可読記憶媒体は、命令実行システム、装置、又はデバイスによって使用するための、又は命令実行システム、装置、又はデバイスに接続されているコンピュータ実行可能命令を、有形に含み又は記憶することができる任意の媒体とすることができる。いくつかの実施例では、記憶媒体は、一時的コンピュータ可読記憶媒体である。いくつかの実施例では、記憶媒体は、非一時的コンピュータ可読記憶媒体である。非一時的コンピュータ可読記憶媒体は、それだけに限定されるものではないが、磁気、光学、及び／又は半導体記憶装置を含むことができる。そのような記憶装置の例としては、磁気ディスク、ＣＤ、ＤＶＤ、又はＢｌｕ－ｒａｙ技術に基づく光学ディスク、並びにフラッシュ、ソリッドステートドライブなどの常駐ソリッドステートメモリなどが挙げられる。パーソナル電子デバイス５８０は、図５Ｊの構成要素及び構成に限定されるものではなく、他の又は追加の構成要素を複数の構成で含むことができる。
次に、ポータブル多機能デバイス１００、デバイス３００、又はデバイス５００などの電子デバイス上で実装されるユーザインタフェース（「ＵＩ」）及び関連付けるプロセスの実施形態に注意を向ける。
Attention is now directed to embodiments of user interfaces (“UIs”) and associated processes implemented on an electronic device such as
図６は、いくつかの実施形態に係る物理的構造及び例示的なデバイスの１組を示す、図６００を含む。図６は、図８Ａ～８Ｂ、図１０及び図１２のプロセスを含む、以下に説明するプロセスを例示するために使用される。 FIG. 6 includes a diagram 600 showing a set of physical structures and exemplary devices according to some embodiments. FIG. 6 is used to illustrate the processes described below, including the processes of FIGS. 8A-8B, 10 and 12. FIG.
図６００は、ホーム６０２及び１組のデバイス（例えば、デバイス６４６、デバイス６０４など）を含む。ホーム６０２は、キッチン６０２ａ、ダイニングルーム６０２ｂ、寝室６０２ｃ、リビングルーム６０２ｄ、及びサンルーム６０２ｅなどの、複数の部屋を含む。キッチン６０２ａはホーム６０２の左上部分にあり、ダイニングルーム６０２ｂはキッチン６０２ａと寝室６０２ｃの間にあり、ここで寝室６０２ｃはダイニングルーム６０２ｂの右にある。キッチン６０２ａ及びダイニングルーム６０２ｂは、それらの間に壁を有していないが、ダイニングルーム６０２ｂと寝室６０２ｃの間は壁を有している。リビングルーム６０２ｄは、ホーム６０２の左下部分にあり、サンルーム６０２ｅは、ホーム６０２の右下部分にある。いくつかの実施形態では、ホーム６０２は、図６に図示される部屋以外の部屋を含み、及び／又は図６に図示される部屋を除外する。図６００はホームを図示しているが、これは単に一例であり、本明細書に記載される技術は、オフィスビル、ホテル、アパートなどの他のタイプの物理的構造体で機能することができることを認識されたい。
Diagram 600 includes
図６に示すように、ホーム６０２の各部屋は、少なくとも１つのデバイスを有する。しかしながら、いくつかの実施形態では、ホーム６０２の部屋は、デバイスを有さない。
As shown in FIG. 6, each room of
図６に示すように、ジョンの電話６０４は、ストーブとヒケの間のカウンター上に位置するキッチン６０２ａにある。ダイニングルーム６０２ｂでは、ダイニングルームスピーカ６１６は、ダイニングルームテーブル上に位置している。寝室６０２ｃでは、ベッド上にパーソナルタブレット６３４が位置しており、寝室スピーカ６３６がベッドに隣接するナイトスタンド上に位置しており、寝室光６３２はベッドの反対側に配置される。リビングルーム６０２ｄでは、リビングルームスピーカ６４６及びリビングルームスピーカ６４８は、テレビの反対側にあり、リビングルームランプ６４２はテレビスクリーンの前に位置付けられる。サンルーム６０２ｅでは、サンルームスピーカ６５６及びサンルームスピーカ６５８は、部屋の両側に配置されている。
As shown in FIG. 6, John's
図６に示すように、コンピュータデバイス６７４及びジェーンの電話６８４は、ホーム６０２の外側にある。コンピュータデバイス６７４は、ホーム６０２から距離６７０である自動車のダッシュボード内の位置であり、ジェーンの電話６８４は、ホーム６０２から離れた距離６８０であり、現在、ジェーンの手元にある。いくつかの実施形態では、コンピュータデバイス６７４は、携帯電話（例えば、ジョンの電話６０４及び／又はジェーンの電話６８４に類似したパーソナルフォン）などの電子デバイスに接続され、電子デバイスは、コンピュータデバイス６７４にビジュアルコンテンツを表示させる命令をコンピュータデバイス６７４に提供する。距離６７０及び距離６８０は、ホームから離れた（例えば、１、５、１０メートル）閾値距離を超えているため、コンピュータデバイス６７４及びジェーンの電話６８４は、ホーム６０２に対応する場所にあるとは見なされない（例えば、ホーム６０２のジオフェンス内にないか、又はホーム６０２に関連付けられた（例えば、内に設定された）無線ネットワークに接続されていない）。
As shown in FIG. 6,
この例では、図６に示すスピーカ（例えば、ダイニングルームスピーカ６１６、寝室スピーカ６３６、リビングルームスピーカ６４６、リビングルームスピーカ６４８、サンルームスピーカ６５６、及びサンルームスピーカ６５８）、光（例えば、寝室光６３２及びリビングルームランプ６４２）、及びパーソナルデバイス（例えば、ジョンの電話６０４、タブレット６３４、コンピュータデバイス６７４、及びジェーンの電話６８４）は、（例えば、ジョンのユーザアカウント又はジェーンのユーザアカウントなどのホーム６０２に関連付けられたユーザアカウントによって）ホーム６０２に（例えば、対応するグループに）指定される（例えば、プログラムでマッピングされる）。
In this example, the speakers shown in FIG. and living room lamps 642), and personal devices (e.g., John's
加えて、それぞれ個々のスピーカ及び光はまた、それが配置された部屋に指定される（例えば、対応するグループにマッピングされる）。例えば、ダイニングルームスピーカ６１６には、ダイニングルーム６０２ｂに（例えば、対応するグループにプログラムでマッピングされる）指定される。寝室スピーカ６３６及び寝室光６３２は、寝室６０２ｃに指定される。リビングルームランプ６４２、リビングルームスピーカ６４６、及びリビングルームスピーカ６４８は、リビングルーム６０２ｄに指定され、サンルームスピーカ６５６及びサンルームスピーカ６５８はサンルーム６０２ｅに指定される。いくつかの実施形態では、各部屋に対応する各グループもまた、ホーム６０２に指定される。したがって、ホーム６０２の部屋にマッピングされるデバイスもまた、ホーム６０２に同時にマッピングされる。
Additionally, each individual speaker and light is also assigned to the room in which it is located (eg, mapped to a corresponding group). For example,
外部デバイスは、異なる部屋に対応する２つの異なるデバイスグループに指定され得ない。例えば、ダイニングルームスピーカ６１６は、キッチン６０２ａ（例えば、キッチン６０２ａに対応するグループ）及びダイニングルーム６０２ｂに同時に指定され得ない。しかしながら、それぞれの部屋にそれぞれ指定された２つのグループのデバイスは、（同じ）ゾーンにマッピングすることができる。この例では、娯楽ゾーン６６０は、図６のリビングルーム６０２ｄ及び図６のサンルーム６０２ｅに指定される。この例では、娯楽ゾーン６６０は、ホーム６０２ｃの物理的部屋ではない。しかしながら、娯楽ゾーンは、サンルームリビングルーム６０２ｄ及びサンルーム６０２ｅに指定されるものとしてプログラムで定義される。いくつかの実施形態では、２つの異なるゾーンは、デバイスのグループを共有する（例えば、いくつかの重畳するデバイスを含み、それぞれがいくつかの非重畳デバイスを含む）。例えば、サンルーム６０２ｅに指定されたデバイスのグループは、娯楽ゾーン６６０及び摂食ゾーンにマッピングすることができる（例えば、摂食ゾーンは、ダイニングルーム６０２ｂ及びサンルーム６０２ｅに指定されたデバイスのグループに指定される）。
An external device cannot be assigned to two different device groups corresponding to different rooms. For example,
この例では、パーソナルデバイス（例えば、ジョンの電話６０４、タブレット６３４、及びジェーンの電話６８４）は、部屋に対応するグループにプログラムマッピングされず、ホームに対応するグループにのみマッピングされる。
In this example, personal devices (eg, John's
いくつかの実施形態では、図６に示すスピーカ、光、及びパーソナルデバイス（例えば、ジョンの電話６０４、タブレット６３４、ジェーンの電話６８４）は、１つ以上のネットワーク（例えば、無線ネットワーク（例えば、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ、Ｗｉ－Ｆｉ、４Ｇなど））を介して互いに直接的に接続された、又は間接的に接続されたスマートデバイスである。いくつかの実施形態では、スマートアプライアンス、スマートサーモスタット、スマートプラグアウトレットなどの他のスマートデバイスは、１つ以上のネットワークに接続される。いくつかの実施形態では、１つ以上のパーソナルデバイスはまた、スマートウォッチ、ラップトップコンピュータ、デスクトップなどの他のタイプのパーソナルデバイスを含むことができる。
In some embodiments, the speakers, lights, and personal devices (eg, John's
図７Ａ～７ＡＨは、いくつかの実施形態に係る、音声メッセージを送信するための例示的な電子デバイス及びユーザインタフェースを示す。これらの図におけるユーザインタフェースは、図８Ａ～８Ｂにおけるプロセスを含む、以下で説明するプロセスを例示するために使用される。 7A-7AH illustrate exemplary electronic devices and user interfaces for sending voice messages, according to some embodiments. The user interfaces in these figures are used to illustrate the processes described below, including the processes in Figures 8A-8B.
図７Ａは、ユーザインタフェース７０２を表示する電子デバイス７００を示す。図７Ａでは、電子デバイス７００は、ポータブル多機能デバイスであり、デバイス１００、２００、３００、及び５００のうちの任意の１つ以上に関して上述した１つ以上の構成要素を有する。以下の図に関して、いくつかの実施形態では、デバイス７００は、ホーム６０２から離れた所定の距離未満の場所で動作している。しかしながら、他の実施形態では、デバイス７００は、ホーム６０２から離れた所定の距離よりも遠い場所で動作している。いくつかの実施形態では、デバイス７００は、ホーム６０２に関連付けられたネットワーク（例えば、無線ネットワーク）に接続され、そのため、デバイス７００は、ホーム６０２に位置する少なくとも１つのデバイス（例えば、スピーカ、光）が接続される同じ無線ネットワークに接続される。いくつかの実施形態では、２つ以上の無線ネットワークは、ホーム６０２に関連付けられる。いくつかの実施形態では、デバイス７００は、それらのネットワークのうちの少なくとも１つに接続される。いくつかの実施形態では、デバイス７００は、ホーム６０２に関連付けられた１つ以上のネットワークに接続されない。したがって、デバイス７００は、デバイス７００がホーム６０２又はデバイス７００が接続されているネットワークからの距離に関わりなく、音声マルチキャストメッセージを送信し、ホーム６０２内のデバイスと通信することができる。
FIG. 7A shows
この説明は多くの場合、マルチキャストメッセージ（又は音声マルチキャストメッセージ）としてメッセージを指すが、このようなメッセージは任意選択的に、（１）マルチキャスト通信、（２）ブロードキャスト通信、（３）ユニキャスト通信、（４）又はこれらの任意の組み合わせを使用して送信される（例えば、（１）第１のデバイス（例えば、コントローラ）は、ユニキャスト通信を第２のデバイス（例えば、ホームのハブ）に送信し、（２）第２のデバイスは、（例えば、ユニキャスト通信からのコンテンツを含む）マルチキャスト又はブロードキャスト通信のいずれかを１つ以上の第３のデバイス（例えば、ホーム及び／又は１つ以上のパーソナルデバイス内の１つ以上のアクセサリデバイス）に送信する）。いくつかの実施形態では、マルチキャスト通信は、複数の受信者に送信される通信である。いくつかの実施形態では、ブロードキャスト通信は、チャネル又はネットワーク上のデバイスに送信される通信である。いくつかの実施形態では、ブロードキャスト通信は、チャネル又はネットワーク上の全てのデバイスに送信される通信である。いくつかの実施形態では、ユニキャスト通信は、単一の受信者に送信される通信である。そのような実施形態では、コンテンツが複数のデバイスに送信される必要がある場合、複数のユニキャスト通信が送信される。 Although this description often refers to messages as multicast messages (or audio multicast messages), such messages optionally include (1) multicast communications, (2) broadcast communications, (3) unicast communications, (4) sent using or any combination thereof (e.g., (1) a first device (e.g., controller) sends a unicast communication to a second device (e.g., home hub) and (2) the second device transmits either multicast or broadcast communications (eg, including content from unicast communications) to one or more tertiary devices (eg, home and/or one or more to one or more accessory devices within a personal device). In some embodiments, a multicast communication is a communication sent to multiple recipients. In some embodiments, broadcast communications are communications sent to devices on a channel or network. In some embodiments, broadcast communications are communications sent to all devices on a channel or network. In some embodiments, unicast communications are communications sent to a single recipient. In such embodiments, multiple unicast communications are sent if the content needs to be sent to multiple devices.
いくつかの実施形態では、ブロードキャスト通信は、チャネル又はネットワーク上の全てのデバイスに送信される通信である。そのような実施形態では、コンテンツが複数のデバイスに送信される必要がある場合、複数のユニキャスト通信が送信される。 In some embodiments, broadcast communications are communications sent to all devices on a channel or network. In such embodiments, multiple unicast communications are sent if the content needs to be sent to multiple devices.
図７Ａに示すように、ユーザインタフェース７０２は、ホームアプリケーションアイコン７０４ａなどのアプリケーションアイコン７０４を含む。アプリケーションアイコン７０４のそれぞれは、アプリケーションアイコンが選択されると、デバイス７００にそれぞれのアプリケーションのユーザインタフェースを表示させるように、アプリケーションに対応する。例えば、ホームアプリケーションアイコン７０４ａは、ホームアプリケーションに対応する。図７Ａでは、デバイス７００は、ホームアプリケーションアイコン７０４ａに対応する場所でタップジェスチャ７５０ａ（例えば、選択）を検出する。
As shown in FIG. 7A,
図７Ｂに示すように、タップジェスチャ７５０ａの検出に応答して、デバイス７００は、ホームアプリケーションのユーザインタフェース７１０を表示する。ユーザインタフェース７１０は、ホーム６０２に指定された複数の外部デバイスを制御するためのユーザインタフェースである。ユーザインタフェース７１０は、ホーム場所識別子７１２、状態情報７１４、マクロ制御７１６、外部デバイス制御７１８、ナビゲーション制御７２２、ホームマルチキャスト命令７２４、及びホームマルチキャストアフォーダンス７２６（例えば、選択可能なユーザインタフェースオブジェクト対象）を含む。
As shown in FIG. 7B, in response to detecting
ホーム場所識別子７１２は、ホーム６０２に対応する名前である。この例では、場所識別子は、ホーム６０２のアドレス（例えば、「メインストリート１２３番地」）の一部である。いくつかの実施形態では、場所識別子は、ホームに指定されたエイリアスなどのエイリアスである。いくつかの実施形態では、エイリアスは、システム作成エイリアスである。いくつかの実施形態では、エイリアスは、ユーザ作成エイリアスである。いくつかの実施形態では、場所識別子は、デバイス７００のユーザ又は外部デバイスによって設定される。いくつかの実施形態では、場所識別子は、画像などのグラフィカルユーザインタフェースオブジェクト対象である。
状態情報７１４は、ホーム６０２に指定されたデバイスの一部の現在の状態に関する情報を含む。ここで、状態情報７１４は、少なくとも１つの光がホーム６０２にあることを示す。いくつかの実施形態では、状態情報７１４は、複数のデバイス（例えば、「寝室ファンオン」）の状態に関する情報を含む。
図７Ｂに示すように、ホーム場所識別子７１２及び状態情報７１４の下に２行のマクロ制御７１６が存在する。マクロ制御７１６は、それぞれのマクロを開始するためのアフォーダンス（例えば、選択可能なユーザインタフェースオブジェクト対象）である。いくつかの実施形態では、それぞれのマクロは、１つ以上の外部デバイスにアクションを実行させる。例えば、「おやすみ」マクロ制御は、選択されると、１つ以上の光をオフにさせる、１つ以上のスピーカに再生メディアを停止させる、及び／又は１つ以上のデッドボルトロックをロックさせる。
As shown in FIG. 7B, below the
更に、図７Ｂでは、ユーザインタフェース７１０は、マクロ制御７１６の下の外部デバイス制御７１８のための行を含む。図７Ｂでは、外部デバイス制御７１８の２つの行は３列にわたって延在するため、合計６つの表示がある（例えば、３つのデバイス制御がそれぞれの対応する行上にある場合）。いくつかの実施形態では、ユーザは、より少ない外部デバイス制御７１８を必要とする制御のために、より少ない外部デバイスを有することができる。他の実施形態では、ユーザは、より多くの外部デバイス制御７１８を必要とする制御のために、より多くの外部デバイスを有することができる。いくつかの実施形態では、利用可能なスクリーンスペースよりも外部デバイス制御７１８が表示されると、スクリーンは、全ての外部デバイス制御を表示するために、スクロールする（例えば、上下又は左及び右）。外部デバイス制御７１８は、ダイニングルームスピーカ制御７１８ａ、リビングルームランプ制御７１８ｂ、リビングルームスピーカ制御７１８ｃ、サンルームスピーカ制御７１８ｄ、寝室スピーカ制御７１８ｅ、及び寝室光制御７１８ｆを含む。更に、外部デバイス制御７１８のそれぞれは、それぞれ対応する外部デバイスの現在の状態を表す状態情報を含む。例えば、ダイニングルームスピーカ制御７１８ａの状態情報は、ダイニングルームスピーカ６１６がメディアを現在再生中であり（この例では状態情報７１４によって表されていない）、リビングルームランプ制御７１８ｂの状態情報は、リビングルームランプ６４２が現在オフであることを示す（この例では状態情報７１４によって表される）。
Additionally, in FIG. 7B,
外部デバイス制御７１８のそれぞれは、選択されたときに、ホーム６０２に指定された少なくとも１つのデバイスを制御する。例えば、ダイニングルームスピーカ制御７１８ａを選択すると、ダイニングルームスピーカ６１６に音楽を再生又は休止させる。いくつかの実施形態では、ダイニングルームスピーカ制御７１８ａが選択されると、ダイニングルームスピーカ制御７１８ａの状態情報は変化して、ダイニングルームスピーカ６１６がメディアの再生を休止したこと（例えば、寝室スピーカ制御７１８ｅによって示すように）、又はメディアの再生を停止していることを示す。外部デバイス制御７１８のいくつかは、選択されたときに複数のデバイスを制御する。例えば、サンルームスピーカ制御７１８ｄは、選択されると、サンルームスピーカ６５６及び６５８にメディアの再生を再生又は休止させ、サンルームスピーカ制御７１８ｄ上に表示される状態情報はそれに応じて変化する。外部デバイス制御７１８のいくつかは、スピーカデバイス制御ではない。例えば、外部デバイス制御７１８は、リビングルームランプ制御７１８ｂを含み、選択されると、リビングルームランプ制御７１８ｂに、リビングルームランプ６４２をオン／オフにさせ、リビングルームランプ制御７１８ｂ上に表示される状態情報はそれに応じて変化する。
Each of the external device controls 718 controls at least one device designated
いくつかの実施形態では、外部デバイス制御７１８は、ホーム６０２にも指定された他の外部制御のグループから選択される。例えば、図７Ｂに示す６つの制御は、ホーム６０２にも指定された１０、２０、又は５０（又は６よりも多い任意の他の数）の外部制御から選択することができる。いくつかの実施形態では、外部デバイス制御７１８は、これらの外部デバイス制御のそれぞれがお気に入りの制御であるという判定に基づいて選択される。いくつかの実施形態では、外部デバイスがお気に入りの制御であるかどうかの判定は、外部デバイス制御（又は外部デバイス）が直近に使用された、最も頻繁に使用された、新しく追加された、お気に入りの重要な外部デバイス制御として指定された（例えば、１つ以上の入力の検出を介して）、など、又はこれらの任意の組み合わせに基づいている。
In some embodiments,
ユーザインタフェース７１０の下部は、ナビゲーション制御７２２である。ナビゲーション制御７２２は、ホームナビゲーション制御７２２ａ、部屋ナビゲーション制御７２２ｂ、及び自動化ナビゲーション制御７２２ｃを含む。ナビゲーション制御７２２のそれぞれは、選択されると、デバイス７００に、ホームアプリケーションのための異なるユーザインタフェースを表示させる。
At the bottom of
図７Ｂに示すように、ユーザインタフェース７１０は、ホームマルチキャストアフォーダンス７２６に隣接するホームマルチキャスト命令７２４を含む。図７Ｂでは、ホームマルチキャスト命令７２４は、ホーム６０２に指定された１つ以上のデバイスにマルチキャストされる音声メッセージを送信するために、ホームマルチキャストアフォーダンス７２６をユーザが選択（例えば、「タップ」）する必要があることを示す。図７Ｂでは、デバイス７００は、ホームマルチキャストアフォーダンス７２６に対応する場所でタップジェスチャ７５０ｂを検出する。
As shown in FIG. 7B,
タップジェスチャ７５０ｂの検出に応答して、デバイス７００は、音声マルチキャストメッセージをホーム６０２に指定された１つ以上のデバイスに送信するためのプロセスを開始する。いくつかの実施形態では、プロセスは、以下で説明するように、図７Ｃ、図７Ｄ、及び図７Ｅに図示されるユーザインタフェースを表示することを含む。いくつかの実施形態では、プロセスは、以下で説明するように、図７Ｃ１に図示されるユーザインタフェースを表示することを含む。
In response to detecting
図７Ｃに示すように、タップジェスチャ７５０ｂの検出に応答して、ユーザインタフェース７３０は、ホーム宛先識別子７３２、終了アフォーダンス７３４、及びマルチキャスト記録アフォーダンス７３６を含む。ホーム宛先識別子７３２は、音声マルチキャストメッセージが、ホーム６０２に指定されたデバイスのグループに向けられたことを示す（例えば、音声マルチキャストメッセージを受信する）。終了アフォーダンス７３４は、ユーザインタフェース７３０から出るためのアフォーダンスである。いくつかの実施形態では、終了アフォーダンス７３４が選択されると、デバイス７００は、図７Ｂに図示すように、ユーザインタフェース７３０の表示を中止し、ユーザインタフェース７１０を再表示する。図７Ｃでは、デバイス７００は、マルチキャスト記録アフォーダンス７３６に対応する場所でタップジェスチャ７５０ｃを検出する。
In response to detecting
図７Ｄに示すように、タップジェスチャ７５０ｃの検出に応答して、デバイス７００はユーザインタフェース７４０を表示する。ユーザインタフェース７４０は、ユーザインタフェース７３０にも含まれていた、ホーム宛先識別子７３２と終了アフォーダンス７３４を含む。加えて、ユーザインタフェース７４０はまた、音声状態バー７４２及び音声波７４４ａを含む。
In response to detecting
更に、図７Ｄでは、デバイス７００はまた、タップジェスチャ７５０ｃの検出に応答して、音声マルチキャストメッセージの記録を開始する。音声マルチキャストメッセージの音声は、デバイス７００の１つ以上のマイクロフォンを介して検出される。音声マルチキャストメッセージの音声は、１つ以上の外部ソース（例えば、ユーザ音声など）から検出される。ここで、記録された音声は音声波７４４ａによって表され、それは、デバイス７００によってより多くのオーディオ入力が受信されると、時間のある期間にわたって音声状態バー７４２を充填する。
Further, in FIG. 7D,
図７Ｄに示すように、タップジェスチャ７５０ｃの検出に応答して、デバイス７００は、マルチキャスト記録アフォーダンス７３６が以前に図７Ｃに表示された位置で、マルチキャスト記録停止アフォーダンス７４６を表示する。図７Ｄでは、デバイス７００は、マルチキャスト記録停止アフォーダンス７４６に対応する場所でタップジェスチャ７５０ｄを検出する。
As shown in FIG. 7D, in response to detecting
図７Ｅに示すように、タップジェスチャ７５０ｄの検出に応答して、デバイス７００はユーザインタフェース７５０を表示する。図７Ｅでは、タップジェスチャ７５０ｄの検出に応答して、デバイス７００は、１つ以上の外部ソースからの音声の記録又はキャプチャを中止している。したがって、ユーザインタフェース７５０は、記録された音声マルチキャストメッセージの少なくとも一部を表す、音声波７４４ａによってほとんど充填された音声状態バー７４２を含む。図７Ｅに示すように、ユーザインタフェース７５０は、音声マルチキャストメッセージ再生アフォーダンス７５２及び音声マルチキャストメッセージ削除アフォーダンス７５４を含む（例えば、ホーム宛先識別子７３２、終了アフォーダンス７３４、音声状態バー７４２、音声波７４４ａを含むことに加えて）。いくつかの実施形態では、音声マルチキャストメッセージ再生アフォーダンス７５２の選択の検出に応答して、デバイス７００は、音声マルチキャストメッセージの再生を開始する。いくつかの実施形態では、音声マルチキャストメッセージ削除アフォーダンス７５４の選択の検出に応答して、デバイス７００は、音声マルチキャストメッセージを削除する。いくつかの実施形態では、音声マルチキャストメッセージ削除アフォーダンス７５４の選択の検出に応じて、デバイス７００は、ユーザインタフェース７１０、７３０、及び／又は７４０を再表示する。
In response to detecting
図７Ｅに示すように、タップジェスチャ７５０ｄの検出に応答して、デバイス７００は、マルチキャスト記録停止アフォーダンス７４６が図７Ｄに以前に表示された位置（図７Ｃではマルチキャスト記録アフォーダンス７３６が表示された位置）で、マルチキャスト送信アフォーダンス７５６を表示する。
As shown in FIG. 7E, in response to detecting
図７Ｃ、図７Ｄ、及び図７Ｅに記載されたフローの代替の場合、デバイス７００は、図７Ｂでのタップジェスチャ７５０ｂの検出に応答して、図７Ｃ１に示すユーザインタフェースを表示することができる。図７Ｃ１に示すように、タップジェスチャ７５０ｂの検出に応答して、デバイス７００は、ユーザインタフェース７４１を表示し、（例えば、タップジェスチャ７５０ｃなどの任意の更なるジェスチャを検出することなく）音声マルチキャストメッセージの記録を自動的に開始する。図７Ｃ１に示すように、ユーザインタフェース７４１は、図７Ｃ、図７Ｄ、及び図７Ｅに関連して上述したものと類似の技術を使用してデバイス７００が表示する、ホーム宛先識別子７３２、終了アフォーダンス７３４、音声波７４４ａ、マルチキャスト送信アフォーダンス７４７を含む。例えば、図７Ｃ１では、音声波７４４ａは動的であり、音声が記録されている時間の長さにわたって現在記録されている音声の１つ以上の特性（例えば、レベル、ピッチ、階調）に関して経時的に変化する。いくつかの実施形態では、音声が記録されている時間の長さにわたって音声が記録されている際、音声波７４４ａは左に移動する。
7C, 7D, and 7E,
いくつかの実施形態では、音声は、７Ｃ、７Ｄ、及び７Ｅに記載されたフローを通して、及び／又は図７Ｃに記載されたフローを通す代わりに、図７Ｂのユーザインタフェース７１０又は図７Ｃ１のユーザインタフェース７４１を使用して記録される。例えば、ホームマルチキャストアフォーダンス７２６上での保持ジェスチャの検出に応答して、デバイス７００は、音声マルチキャストメッセージの記録を開始する。そのような例では、記録は、保持ジェスチャが終了する（例えば、解放される）ときに停止され、ホームマルチキャストアフォーダンス７２６を送信アフォーダンス（例えば、マルチキャスト送信アフォーダンス７５６と類似）で置き換えることが発生する。いくつかの実施形態では、保持ジェスチャが終了すると、音声はマルチキャストメッセージとして自動的に送信される。いくつかの実施形態では、保持ジェスチャが終了すると、ホームマルチキャスト命令７２４は、音声を再生するためのアフォーダンス（例えば、音声状態バー７４２と類似）及び音声を削除するためのアフォーダンス（例えば、音声マルチキャストメッセージ削除アフォーダンス７５４と類似）に置き換えられる。別の例では、ホームマルチキャストアフォーダンス７２６上でのタップジェスチャの検出に応答して、ホームマルチキャストアフォーダンス７２６は、マルチキャスト記録アフォーダンス７３６と類似に動作する（例えば、（マルチキャスト記録停止アフォーダンス７４６と類似の）停止アフォーダンスと置き換えられる）。そのような例では、停止アフォーダンス上でのタップジェスチャの検出に応答して、（１）停止アフォーダンスは、（例えば、マルチキャスト送信アフォーダンス７５６と類似の）送信アフォーダンスと置き換えられ、（２）ホームマルチキャスト命令７２４は、音声を再生するための（例えば、音声状態バー７４２と類似の）アフォーダンス及び（例えば、音声マルチキャストメッセージ削除アフォーダンス７５４と類似の）音声を削除するためのアフォーダンスと置き換えられる。図７Ｅで、デバイス７００は、マルチキャスト送信アフォーダンス７５６に対応する場所でタップジェスチャ７５０ｅを検出し、又は図７Ｃ１でデバイス７００、デバイスは、マルチキャスト送信アフォーダンス７４７に対応する場所でタップジェスチャ７５０ｃ１を検出する。
In some embodiments, instead of passing audio through the flows described in 7C, 7D, and 7E and/or through the flow described in FIG. Recorded using G.741. For example, in response to detecting a hold gesture on
図７Ｆに示すように、タップジェスチャ７５０ｅ又はタップジェスチャ７５０ｃ１（又は、先の段落で説明したような送信アフォーダンス上のタップジェスチャ）の検出に応答して、デバイス７００は、音声マルチキャストメッセージを、ホーム６０２に指定された１組の外部デバイスにマルチキャスト（送信）させる。そのような送信は任意選択的に、（１）音声マルチキャストメッセージを含むメッセージを別のデバイス（例えば、ホーム内に配置されたデバイス）に送信すること、及び（２）他のデバイスが、音声マルチキャストメッセージを１組の外部デバイスに送信すること（いくつかの実施形態では、他のデバイスは、デバイス７００の代わりに、外部デバイスの１組を識別する）を含む。表７０６は、音声マルチキャストメッセージが向けられた外部デバイスを示すために提供される。例えば、「受信した音声マルチキャストメッセージ」列のチェックマークは、音声マルチキャストメッセージがチェックマークのそれぞれの行上の外部デバイスに向けられ（例えば、送信され）たことを示し、「受信した音声マルチキャストメッセージ」列のダッシュは、音声マルチキャストメッセージがダッシュのそれぞれの列上の外部デバイスに向けられなかった（例えば、送信されていない）ことを示す。
As shown in FIG. 7F, in response to detecting
図７Ｆでは、表７０６は、音声マルチキャストメッセージが各スピーカ（例えば、ダイニングルームスピーカ６１６、寝室スピーカ６３６、リビングルームスピーカ６４６、リビングルームスピーカ６４８、サンルームスピーカ６５６、及びサンルームスピーカ６５８）に向けられた（及び受信された）ことを示す。特に、音声マルチキャストメッセージはまた、パーソナルデバイス（例えば、ジョンの電話６０４、タブレット６３４、及びジェーンの電話６８４）にも向けられた。いくつかの実施形態では、音声マルチキャストメッセージは、パーソナルデバイスがホームに対応する場所にあったかどうか関係なく（例えば、距離６７０及び６８０が閾値距離を超えるかどうかに関係なく）パーソナルデバイスに向けられる。例えば、音声マルチキャストメッセージは、図６では、ホーム６０２の内側に位置するジョンの電話６０４及びタブレット６３４に向けられた。加えて、音声マルチキャストメッセージはまた、ホーム６０２の外側にある、コンピュータデバイス６７４及びジェーンの電話６８４（それぞれ、ホーム６０２から距離６７０及び距離６８０離れている）に向けられた。いくつかの実施形態では、音声マルチキャストメッセージは、パーソナルデバイスがホームのネットワークに含まれているかどうかに依存するパーソナルデバイスに向けられる（例えば、パーソナルデバイスがホームのネットワークに含まれている場合には、音声マルチキャストメッセージはパーソナルデバイスに向けられる）。
In FIG. 7F, table 706 shows that audio multicast messages are directed to each speaker (eg,
図７Ｆの表７０６はまた、音声マルチキャストメッセージが、いくつかの外部デバイスに向けられていなかった（したがって、音声マルチキャストメッセージを受信しなかった）ことを示すが、それらはホーム６０２に指定されている。例えば、表７０６は、音声マルチキャストメッセージが寝室光６３２及びリビングルームランプ６４２に向けられていないことを示す。いくつかの実施形態では、音声マルチキャストメッセージは、音声マルチキャストメッセージが送信されているデバイスのグループに指定されているかどうかにかかわらず、音声マルチキャストメッセージは、いくつかのタイプの外部デバイスに向けられない。いくつかの実施形態では、これらのタイプの外部デバイスは、１つ以上のオーディオ入力デバイス（例えば、マイクロフォン）及び／又は１つ以上のオーディオ出力機器（例えば、スピーカ）を有さないデバイスを含む。いくつかの実施形態では、これらのタイプの外部デバイスは、音声メッセージが送信される時間（又は時間の前）に、非アクティブであるか、給電されていない、又は機能しないデバイスを含む。
Table 706 of FIG. 7F also shows that the audio multicast message was not directed to some external devices (and therefore did not receive the audio multicast message), but they are designated home 602. . For example, table 706 shows that audio multicast messages are not directed to
図７Ｆに示すように、タップジェスチャ７５０ｅ又はタップジェスチャ７５０ｃ１（又は上述のように、送信アフォーダンス上のタップジェスチャ）を検出した後のある時点で、デバイス７００は、ユーザインタフェース７１０を再表示する。いくつかの実施形態では、ユーザインタフェース７１０は、デバイス７００がタップジェスチャ７５０ｅ又はタップジェスチャ７５０ｃ１を検出した後に任意の追加入力を検出することなく（例えば、タップジェスチャ７５０ｅ又はタップジェスチャ７５０ｃ１（又は、送信アフォーダンス上のタップジェスチャ）を検出した後の所定の時間の期間後に）（上述のように、（例えば、タップジェスチャを検出した後の所定の時間の期間後に））表示される。いくつかの実施形態では、ユーザインタフェース７１０は、図７Ｅの終了アフォーダンス７３４上で検出されるタップジェスチャ入力などの、１つ以上の追加入力が検出されると、ユーザインタフェース７１０が表示される。
As shown in FIG. 7F, at some point after detecting
いくつかの実施形態では、リビングルームランプ制御７１８ｂに対応する場所でのタップジェスチャ７５０ｆ１の検出に応答して、デバイス７００は、リビングルームランプ６４２をオン（又は現在の状態がオンであった場合はオフ）にする命令を送信する。いくつかの実施形態では、リビングルームスピーカ制御７１８ｃに対応する場所でのタップジェスチャ７５０ｆ２の検出に応答して、デバイス７００は、リビングルームスピーカ６４６及び６４８（又はそれらのうちの少なくとも１つ）に、メディアの再生を開始させる（例えば、又は現在の状態が再生している場合にメディアの再生を休止させる）命令を送信する。図７Ｆで、デバイス７００は、部屋ナビゲーションアフォーダンス７２２ｂに対応する場所でタップジェスチャ７５０ｆ３を検出する。
In some embodiments, in response to detecting tap gesture 750f1 at a location corresponding to living
図７Ｇに示すように、タップジェスチャ７５０ｆ３の検出に応答して、デバイス７００は、ホームアプリケーションのユーザインタフェース７６０を表示し、ホームナビゲーション制御７２２ａ（例えば、図７Ｇでは太字ではない）の代わりに、ホームナビゲーション制御７２２ｂ（例えば、図７Ｇでは太字）が選択されていることを示す。ユーザインタフェース７６０は、リビングルーム場所識別子７６２によって示されるように、リビングルーム６０２ｄに指定された複数の外部デバイスを制御するためのユーザインタフェースである。ユーザインタフェース７１０は、マクロ制御７６６、外部デバイス制御７６８、ナビゲーション制御７２２、リビングルームマルチキャスト命令７７４、及びリビングルームマルチキャストアフォーダンス７７６を含む。ユーザインタフェース７６０のこれらの要素は、ホーム全体のデバイスの制御であるユーザインタフェース７１０の要素とは対照的に、リビングルームのデバイスのための特定の制御である。いくつかの実施形態では、ユーザインタフェース７６０のこれらの要素のうちの任意の１つ以上は、上述した（例えば、図７Ｂの）ユーザインタフェース７１０の要素のうちの任意の１つ以上に類似の目的又は機能性を有する。いくつかの実施形態では、ユーザインタフェース７６０は、リビングルーム６０２ｄに指定されたデバイスの現在の状態を含む状態情報を含む。いくつかの実施形態では、デバイス７００は、ユーザインタフェース７１０上でスワイプジェスチャを受信した後に、ホームアプリケーションのユーザインタフェース７６０を表示する。
As shown in FIG. 7G, in response to detection of tap gesture 750f3,
特に、ホームアプリケーションのユーザインタフェース（例えば、ユーザインタフェース７１０及び７６０）は、階層にレイアウトされる。例えば、ユーザインタフェース７１０は、階層の上位ノードであり、ホーム６０２に指定された外部デバイスのグループのための制御を含む。ユーザインタフェース７１０を表示している間、デバイス７００にユーザインタフェース７６０を表示させる入力（例えば、単一の入力（例えば、タップジェスチャ７５０ｆ））を検出することができ、それは、階層の下位ノードであり、ホーム６０２のそれぞれの部屋（例えば、リビングルーム６０２ｄ）（及び他の部屋ではない）に指定された、外部デバイスのグループのための制御を含む。
In particular, the home application's user interfaces (eg,
図７Ｇに示すように、外部デバイス制御７６８は、リビングルームスピーカ制御７６８ａ、リビングルームランプ制御７６８ｂ、リビングルームスイッチ（例えば、光スイッチ）制御７６８ｃ、及びリビングテレビ制御７６８ｄを含む。図７Ｇでは、リビングルームスピーカ制御７６８ａ及びリビングルームランプ制御７６８ｂは、選択されると、リビングルームランプデバイス制御７１８ｂ及びリビングルームスピーカデバイス制御７１８ｃが、それらのそれぞれの外部デバイスに（例えば、図７Ｂで）実行させるアクションではなく、対応する外部デバイスのそれぞれに、同じアクションを実行させる。したがって、この例では、リビングルームスピーカ制御７６８ａ及びリビングルームランプ制御７６８ｂは、リビングルームスピーカデバイス制御７１８ｃ及びリビングルームランプデバイス制御７１８ｂと効果的に同じ制御であるが、それらはそれらに対応する部品のそれぞれとは視覚的に外観が異なる。いくつかの実施形態では、リビングルームスピーカ制御７６８ａ及びリビングルームランプ制御７６８ｂは、リビングルームスピーカデバイス制御７１８ｃ及びリビングルームランプデバイス制御７１８ｂと視覚的に外観が異なって見えない。
As shown in FIG. 7G, external device controls 768 include living
図７Ｂに表示された外部デバイス制御７１８と比較すると、外部デバイス制御７６８は、図７Ｂの外部デバイス制御７１８の一部として表示された少なくとも１つの外部デバイス制御（例えば、リビングルームスピーカ制御７６８ａ及びリビングルームランプ制御７６８ｂ）、及び表示されていない少なくとも１つの外部デバイス制御（例えば、リビングルームスイッチ制御７６８ｃ及びリビングルームテレビ制御７６８ｄ）を含む。換言すれば、少なくとも１つの外部デバイス（例えば、リビングルームスピーカ６４６及び６４８）は、ユーザインタフェース７１０及び７６０から制御することができ、少なくとも１つの外部デバイス（例えば、寝室スピーカ６３６及びユーザインタフェース７６０のリビングルームテレビ）は、ユーザインタフェース７１０及びユーザインタフェース７６０のうちの１つのみからのみ制御することができる。いくつかの実施形態では、リビングルームランプ制御７６８ｂに対応する場所でのタップジェスチャ７５０ｇ１の検出に応答して、デバイス７００は、リビングルームランプ６４２をオン（又は現在の状態がオンであった場合はオフ）にする命令を送信する。いくつかの実施形態では、リビングルームスピーカ制御７６８ａに対応する場所でのタップジェスチャ７５０ｇ２の検出に応答して、デバイス７００は、リビングルームスピーカ６４６及び６４８（又はそれらのうちの少なくとも１つ）に、メディアの再生を開始させる（例えば、又は現在の状態が再生している場合にメディアの再生を休止させる）命令を送信する。
As compared to the external device controls 718 displayed in FIG. 7B, the external device controls 768 include at least one external device control displayed as part of the external device controls 718 in FIG.
加えて、外部デバイス制御７１８は、図７Ｂのホーム６０２のお気に入りの制御の１組であると指定されているが、外部デバイス制御７６８は、図７Ｇのリビングルーム６０２ｄに指定された全ての制御の１組である。図７Ｂでは、ユーザインタフェース７６０は、リビングルーム６０２ｄに指定されていない外部デバイスを全く含まない。例えば、ダイニングルームスピーカ制御７１８ａ、サンルームスピーカデバイス制御７１８ｄ、寝室スピーカデバイス制御７１８ｅ、及び寝室光デバイス制御７１８ｆは、ユーザインタフェース７６０上に表示されない。いくつかの実施形態では、タップジェスチャ７５０ｆ３の検出に応答して、別の部屋（例えば、寝室、サンルーム、キッチンなど）のための複数の外部デバイスを制御するためのユーザインタフェースが表示される。いくつかの実施形態では、別の部屋のための複数の外部デバイスを制御するためのユーザは、図７Ｇで検出される１つ以上の入力（例えば、スワイプ入力）に応答して表示される。
Additionally, external device controls 718 are designated as one set of favorite controls for
図７Ｇに示すように、ユーザインタフェース７６０は、リビングルームマルチキャストアフォーダンス７７６に隣接するリビングルームマルチキャスト命令７７４を含む。図７Ｇでは、リビングルームマルチキャスト命令７７４は、ユーザがリビングルーム６０２ｄに指定された１つ以上のデバイスにマルチキャストされる音声マルチキャストメッセージを送信するために、リビングルームマルチキャストアフォーダンス７７６を選択（例えば、「タップ」）する必要があることを示す。ここで、リビングルームマルチキャストアフォーダンス７７６は、（例えば、図７Ｂの）ホームマルチキャストアフォーダンス７２６とは視覚的に外観が異なって見えず、ホームマルチキャストアフォーダンス７２６が図７Ｂで表示されたデバイス７００上の同じ位置に表示される。いくつかの実施形態では、リビングルームマルチキャストアフォーダンス７７６は、ホームマルチキャストアフォーダンス７２６と視覚的に外観が異なるように見える。図７Ｇでは、デバイス７００は、リビングルームマルチキャストアフォーダンス７７６に対応する場所でタップジェスチャ７５０ｇ３を検出する。
As shown in FIG. 7G,
タップジェスチャ７５０ｇ３の検出に応答して、デバイス７００は、音声マルチキャストメッセージをリビングルーム６０２ｄに指定された１つ以上のデバイスに送信するためのプロセスを開始する。いくつかの実施形態では、プロセスは、図７Ｈに図示するような、ユーザインタフェース７８０ａを表示することを含む。いくつかの実施形態では、プロセスは、デバイス７００がタップジェスチャ７５０ｇ３の検出に応答して表示される、図７Ｃ１のユーザインタフェース７４１と類似のユーザインタフェースを表示することを含む。いくつかの実施形態では、プロセスは、デバイス７００が図７Ｃ１のユーザインタフェース７４１と類似のユーザインタフェースを表示して、リビングルーム６０２ｄに指定されたデバイスのグループに送信する音声マルチキャストメッセージを記録することを含む。いくつかの実施形態では、プロセスは、図７Ｈ～７Ｊに後述するように、デバイス７００がユーザインタフェースを表示することを含み、ここで音声が記録され、リビングルーム６０２ｄに指定されたデバイスのグループに送信される。
In response to detecting tap gesture 750g3,
図７Ｈに示すように、タップジェスチャ７５０ｇ３の検出に応答して、ユーザインタフェース７８０ａは、ユーザインタフェース７８０ａが終了アフォーダンス７３４及びマルチキャスト記録アフォーダンス７３６も含むように、図７Ｃのユーザインタフェース７３０と類似である。しかしながら、ユーザインタフェース７８０ａは、ホーム宛先識別子７３２の代わりに、リビングルーム宛先識別子７８２を含む。リビングルーム宛先識別子７８２は、リビングルーム６０２ｄに指定されたデバイスのグループが、ユーザインタフェース７８０ａを介して送信されたマルチキャストメッセージを受信することを示す。いくつかの実施形態では、ユーザインタフェース７８０ａは、グループの一部であるデバイスの個々の名前／識別子をリスト表示しない。いくつかの実施形態では、ユーザインタフェース７３０に関して上述した１つ以上の技術をユーザインタフェース７８０ａに適用することができる。
As shown in FIG. 7H, in response to detection of tap gesture 750g3,
図７Ｋを参照すると、いくつかの実施形態では、ユーザインタフェース７８０ｂは、タップジェスチャ７５０ｇ３の検出に応答して、リビングルーム６０２ｄに指定された１つ以上の（又は全ての）外部デバイス（例えば、スピーカ）が利用できない（例えば、非アクティブ又はオフである）という判定に従って表示される。図７Ｋに示されるように、ユーザインタフェース７８０ｂは、リビングルーム６０２ｄに指定された外部デバイスのうちの任意の１つ以上が利用不可能であり（又は、全てで全て未満が利用不可能である場合ではない）、マルチキャスト記録アフォーダンス７３６が、グレー表示又はグレーアウトとして表示されることを示すための利用不可能な示唆７８８を含む。図７Ｋでは、タップジェスチャ７５０ｋの検出に応答して、デバイス７００は、マルチキャスト記録アフォーダンス７３６が無効化されるため、ユーザインタフェース７８０ｂの表示を継続する（例えば、リビングルーム６０２ｄに指定された１つ以上の外部デバイスが利用可能になるまで）。いくつかの実施形態では、図７Ｃでデバイス７００がタップジェスチャ７５０ｃを検出したことに応答して、ユーザインタフェース７８０ｂと類似のユーザインタフェースが表示される。
7K, in some embodiments,
図７Ｈに戻ると、デバイス７００は、マルチキャスト記録アフォーダンス７３６に対応する場所でタップジェスチャ７５０ｈを受信する。
Returning to FIG. 7H,
図７Ｉに示すように、タップジェスチャ７５０ｈの受信に応答して、デバイス７００は、１つ以上の外部ソースから（例えば、デバイス７００のマイクロフォンを使用して）音声の記録を開始し、図７Ｄのユーザインタフェース７４０と類似のユーザインタフェース７８４を表示する。ユーザインタフェース７４０のように、ユーザインタフェース７８４は、終了アフォーダンス７３４、音声状態バー７４２、及びマルチキャスト記録停止アフォーダンス７４６を含む。しかしながら、ユーザインタフェース７８４は、音声波７４４ａによって表される図７Ｄに記録された音声から記録されている、異なる音声を表す音声波７４４ｂを含む。ユーザインタフェース７８４はまた、ホーム宛先識別子７３２の代わりに、リビングルーム宛先識別子７８２を含む。いくつかの実施形態では、ユーザインタフェース７４０に関して上述した１つ以上の技術をユーザインタフェース７８４に適用することができる。図７Ｉでは、デバイス７００は、マルチキャスト記録停止アフォーダンス７４６に対応する場所でタップジェスチャ７５０ｉを検出する。
In response to receiving
図７Ｊに示すように、タップジェスチャ７５０ｉの検出に応答して、デバイス７００は、ユーザインタフェース７８６を表示し、１つ以上の外部ソースからの音声の記録又はキャプチャを停止する。ユーザインタフェース７８６は、（音声波７４４ａの代わりに）表示されている音声波７４４ｂ、及び（ホーム宛先識別子７３２の代わりに）表示されているリビングルーム宛先識別子７８２を除いて、ユーザインタフェース７５０と類似している。いくつかの実施形態では、ユーザインタフェース７５０に関して上述した１つ以上の技術をユーザインタフェース７８６に適用することができる。図７Ｊでは、デバイス７００は、マルチキャスト送信アフォーダンス７５６に対応する場所でタップジェスチャ７５０ｊ（又は、上述したように、図７Ｃ１のユーザインタフェース７４１と類似したユーザインタフェース上でのタップジェスチャ（例えば、タップジェスチャ７５０ｃ１と類似））を検出する。
As shown in FIG. 7J, in response to detecting
いくつかの実施形態では、デバイス７００は、図７Ｌに示すように、タップジェスチャ７５０ｊ（又は、上述したように、図７Ｃ１のユーザインタフェース７４１と類似のユーザインタフェース上でのタップジェスチャ（例えば、タップジェスチャ７５０ｃ１と類似）の検出に応答して、ユーザインタフェース７９０を表示する。デバイス７００は、音声マルチキャストメッセージがリビングルーム６０２ｄに指定された外部デバイスの１つ以上（又は全て）に伝送することができないとの判定のとき、ユーザインタフェース７９０を表示する。ユーザインタフェース７９０は、音声マルチキャストメッセージが目標化された外部デバイスに伝送されなかったことを示すために、示唆７９１を伝送しない。いくつかの実施形態では、デバイス７００が図７Ｅのタップジェスチャ７５０ｅ又は図７Ｃ１のタップジェスチャ７５０ｃ１を検出したことに応答して、ユーザインタフェース７９０と類似のユーザインタフェースが表示される。
In some embodiments, the
いくつかの実施形態では、ユーザインタフェース７３０、７４０、７５０、７８０ａ、７８０ｂ、７８４、７８６、及び７９０のうちの任意の１つ以上は、記録された音声マルチキャストメッセージの意図された目標をスワップするためのアフォーダンスを含む（例えば、宛先識別子を変更する）。例えば、音声マルチキャストメッセージを第１のグループのデバイス（例えば、ホーム６０２に指定されたデバイス）に送信するためのプロセスの開始後（図７Ｊを示す間、及び上述のような図７Ｃ１のユーザインタフェース７４１に類似のユーザインタフェース上の入力７５０ｊ又は（例えば、タップジェスチャ７５０ｃ１と類似の）タップジェスチャを受信する前などの）、デバイス７００は、記録された音声マルチキャストメッセージの意図された目標（例えば、又は意図された目標をスワップするための複数のアフォーダンス）を第１のグループのデバイスから第２のグループのデバイス（例えば、ダイニングルーム６０２ｂに指定されたデバイス）へとスワップするためのアフォーダンスの選択を検出することができる。
In some embodiments, any one or more of
いくつかの実施形態では、音声は、タップジェスチャ７５０ｇの検出に応答して表示される、図７Ｃ１のユーザインタフェース７４１と類似のユーザインタフェースから記録され、送信される。いくつかの実施形態では、音声は、図７Ｈ～７Ｊに記載されたフローの代わりに、図７Ｇのユーザインタフェース７６０から記録される。例えば、リビングルームマルチキャストアフォーダンス７７６上での保持ジェスチャの検出に応答して、デバイス７００は、音声マルチキャストメッセージの記録を開始する。そのような例では、記録は、保持ジェスチャが終了する（例えば、解放される）ときに停止され、リビングルームマルチキャストアフォーダンス７７６を送信アフォーダンス（例えば、マルチキャスト送信アフォーダンス７５６と類似）で置き換えることが発生する。そのような例では、リビングルームマルチキャスト命令７７４は、音声を再生するためのアフォーダンス（例えば、音声状態バー７４２と類似）及び音声を削除するためのアフォーダンス（例えば、音声マルチキャストメッセージ削除アフォーダンス７５４と類似）に置き換えられる。別の例では、リビングルームマルチキャストアフォーダンス７７６上でのタップジェスチャの検出に応答して、リビングルームマルチキャストアフォーダンス７７６は、マルチキャスト記録アフォーダンス７３６と類似に動作する（例えば、（マルチキャスト記録停止アフォーダンス７４６と類似の）停止アフォーダンスと置き換えられる）。そのような例では、停止アフォーダンス上でのタップジェスチャの検出に応答して、停止アフォーダンスは、（例えば、マルチキャスト送信アフォーダンス７５６と類似の）送信アフォーダンスと置き換えられ、リビングルームマルチキャスト命令７７４は、音声を再生するための（例えば、音声状態バー７４２と類似の）アフォーダンス及び（例えば、音声マルチキャストメッセージ削除アフォーダンス７５４と類似の）音声を削除するためのアフォーダンスと置き換えられる。
In some embodiments, audio is recorded and transmitted from a user interface similar to
図７Ｍの表７０６に示すように、タップジェスチャ７５０ｊ（若しくは、先の段落で説明したような、送信アフォーダンス上のタップジェスチャ又は上述のように図７Ｃ１のユーザインタフェース７４１と類似のユーザインタフェース上のタップジェスチャ（例えば、タップジェスチャ７５０ｃ１と類似））の検出に応答して、デバイス７００は、音声マルチキャストメッセージを、リビングルーム６０２ｄに指定された１組の外部デバイスにマルチキャスト（送信又は方向付け）させる。そのような送信は任意選択的に、（１）音声マルチキャストメッセージを含むメッセージを別のデバイス（例えば、リビングルームに配置されたデバイス）に送信すること、及び（２）他のデバイスが、音声マルチキャストメッセージを１組の外部デバイスに送信すること（いくつかの実施形態では、他のデバイスは、デバイス７００の代わりに、外部デバイスの１組を識別する）を含む。表７０６に示すように、音声マルチキャストメッセージは、音声マルチキャストメッセージを受信する、リビングルームスピーカ６４６及び６４８のみに向けられる。特に、音声マルチキャストメッセージは、パーソナルデバイス（例えば、ジョンの電話６０４、タブレット６３４、及びジェーンの電話６８４）に向けられていない、その理由は、パーソナルデバイスが部屋に対応するグループに指定されていない（例えば、パーソナルデバイスは、リビングルーム６０２ｄに対応するグループに指定されていない）ためである。更に、音声マルチキャストメッセージは、リビングルームランプ６４２に向けられない、その理由は、リビングルームランプ６４２が、上述した（例えば、図７Ｆの）類似の理由のために音声マルチキャストメッセージを受信することができる外部デバイスのタイプではないためである。
As shown in table 706 of FIG. 7M, a
図７Ｍでは、デバイス７００は、フレーズ「ヘイ、アシスタント、マルチキャストこんにちは」を含む音声入力７９２ａを検出する。音声入力７９２ａの一部を検出した後しばらくして、デバイス７００はユーザインタフェース７９４に示唆７９４ａ（例えば、ユーザインタフェース７９４の左側）を表示する。ここで、示唆７９４ａは、音声入力７９２ａの一部の応答である。示唆７９４ａは、「ご用件は何でしょうか？」と書いてある文字である。いくつかの実施形態では、デバイス７００は、示唆７９４ａの可聴バージョンを含むメディアを出力する。
In FIG. 7M,
図７Ｎでは、図７Ｍのユーザインタフェース７９４を表示した後、デバイス７００は、ユーザインタフェース７９４の右側に示唆７９４ｂを表示する。加えて、デバイス７００は、ユーザインタフェース７９４の左側及び示唆７９４ｂの下に示唆７９４ｃを表示する。示唆７９４ｂは、音声入力７９２ａに含まれる可聴フレーズに対応する文字である「ヘイ、アシスタント、マルチキャストこんにちは」と書いてある文字である。加えて、示唆７９４ｃは、「ＯＫ、あなたのマルチキャストをメインストリート１２３番地に送りました」と書いてある文字である。特に、メインストリート１２３番地は、ホーム６０２の識別子（例えば、図７Ｂのホーム場所識別子７１２）である。いくつかの実施形態では、デバイス７００は、応答７９４ｃの可聴バージョンを含むメディアを出力する。
7N, after displaying
図７Ｎの表７０６に示すように、音声入力７９２ａを検出した後、図７Ｆに関連して上述したように、デバイス７００は、音声マルチキャストメッセージをホーム６０２に指定された１つ以上のデバイスに向ける（例えば、送信する）。表７０６は、（上述のように）デバイスがホームに対応する場所にあるかどうかにかかわらず、及び／又はデバイスがホームに関連付けられたネットワークに接続されているかどうかにかかわらず、音声マルチキャストメッセージ（例えば、「こんにちは」）がホームの各スピーカ（例えば、ダイニングルームスピーカ６１６、寝室スピーカ６３６、リビングルームスピーカ６４６、リビングルームスピーカ６４８、サンルームスピーカ６５６、及びサンルームスピーカ６５８）に向けられ、音声マルチキャストメッセージ（例えば、「こんにちは」）が、ホームのパーソナルデバイス（例えば、ジョンの電話６０４、タブレット６３４、ジェーンの電話６８４）に向けられたことを示す。
As shown in table 706 of FIG. 7N, after detecting
図７Ｏに示すように、図７Ｎでユーザインタフェース７９４を表示した後しばらくして、デバイス７００は、ユーザインタフェース７１０を表示する。ユーザインタフェース７１０を表示している間に、デバイス７００は、図７Ｏで寝室スピーカ制御７１８ｅに対応する場所で、ジェスチャ７５０ｏ（例えば、長押しジェスチャ）を検出する。
As shown in FIG. 7O, some time after displaying
図７Ｐに示すように、ジェスチャ７５０ｏの検出に応答して、デバイス７００は、寝室スピーカ６３６を制御するための複数の設定アフォーダンスを含むユーザインタフェース７９６を表示する（例えば、部屋設定（例えば、寝室スピーカ６３６が寝室６０２ｃに指定されていることを示すために寝室が図７Ｐで選択されている場合）、お気に入りの設定（例えば、お気に入りに含まれる場所が図７Ｐで選択され、これにより、寝室スピーカ制御７１８ｅをユーザインタフェース７１０上に表示させることができる））。図７Ｐに示すように、設定アフォーダンスのうちの１つはマルチキャスト設定アフォーダンス７９６ａであり、これは、寝室スピーカ６３６がマルチキャストメッセージを受信するように構成されているという示唆を含む。図７Ｐでは、デバイス７００は、マルチキャスト設定アフォーダンス７９６ａに対応する場所でタップジェスチャ７５０ｐを検出する。
As shown in FIG. 7P, in response to detecting gesture 750o,
図７Ｑに示すように、タップジェスチャ７５０ｐの検出に応答して、デバイス７００は、マルチキャスト設定トグル７９８ａを含む、ユーザインタフェース７９８を表示する。図７Ｑでは、マルチキャスト設定トグル７９８ａは、寝室スピーカ６３６がマルチキャストメッセージ（例えば、設定トグルの右側に表示された円）を受信するように構成されていることを示す。図７Ｑでは、デバイス７００は、マルチキャスト設定アフォーダンス７９８ａに対応する場所でタップジェスチャ７５０ｑを検出する。
As shown in FIG. 7Q, in response to detecting
図７Ｒに示すように、タップジェスチャ７５０ｑ、デバイス７００の検出に応答して、マルチキャストトグル７９８ａの状態を変更し（例えば、設定トグルの左側に円を移動させる）、寝室スピーカ６３６がマルチキャストメッセージを受信するように構成されていないことを示す。いくつかの実施形態では、図７Ｐのマルチキャスト設定アフォーダンス７９６ａは、異なるユーザインタフェース（例えば、ユーザインタフェース７９８）にナビゲートすることなく、オンからオフへの設定を変更するように選択可能である。
As shown in FIG. 7R, tap
図７Ｓでは、デバイス７００は、フレーズ「ヘイ、アシスタント、サンルームへのマルチキャスト、こんにちは」を含む音声入力７９２ｂを検出する。音声入力７９２ｂの一部を検出した後しばらくして、デバイス７００はユーザインタフェース７９４に示唆７９４ｄ（例えば、ユーザインタフェース７９４の左側）を表示する。ここで、示唆７９４ｄは、音声入力７９２ｂの一部の応答である。示唆７９４ｄは、「ご用件は何でしょうか？」と書いてある文字である。いくつかの実施形態では、デバイス７００は、示唆７９４ｄの可聴バージョンを含むメディアを出力する。
In FIG. 7S,
図７Ｔでは、図７Ｓでユーザインタフェース７９４を表示した後、デバイス７００は、ユーザインタフェース７９４の右側に示唆７９４ｅを表示し、ユーザインタフェース７９４の左側（及び示唆７９４ｅの下）に示唆７９４ｆを表示する。示唆７９４ｅは、音声入力７９２ｂに含まれる可聴フレーズに対応する文字である「ヘイ、アシスタント、サンルームへのマルチキャスト、こんにちは」と書いてある文字である。加えて、示唆７９４ｆは、「ＯＫ、あなたのマルチキャストをサンルームに送りました」と書いてある文字である。特に、「サンルーム」は、図６のサンルーム６０２ｅに指定されるデバイスのグループの識別子である。
In FIG. 7T, after displaying
図７Ｔの表７０６に示すように、音声入力７９２ｂを検出した後、デバイス７００は、音声マルチキャストメッセージをサンルーム６０２ｅに指定された１つ以上のデバイスに向ける（例えば、送信する）。表７０６は、音声マルチキャストメッセージ（例えば、「こんにちは」）が、サンルームスピーカ６５６及びサンルームスピーカ６５８に向けられ、音声マルチキャストメッセージ（例えば、「こんにちは」）が他のデバイスに向けられていないことを示す。特に、音声入力７９２ｂは、識別子（例えば、「サンルーム」）を含んでいるが、音声７９２ａは識別子を含んでいなかった。したがって、いくつかの実施形態では、音声入力が識別子なしで検出されると、デバイス７００は、音声マルチキャストメッセージを既定のグループに指定されたデバイスのグループに送信する。いくつかの実施形態では、既定のグループは、図７Ｎに関連して上述したように、ホームに対応するグループ（例えば、ホーム６０２を有するなど）である。
As shown in table 706 of FIG. 7T, after detecting
図７Ｕでは、デバイス７００は、フレーズ「ヘイ、アシスタント、娯楽ゾーンへのマルチキャスト、こんにちは」を含む音声入力７９２ｃを検出する。音声入力７９２ｃの一部を検出した後しばらくして、デバイス７００はユーザインタフェース７９４に示唆７９４ｇ（例えば、ユーザインタフェース７９４の左側）を表示する。ここで、示唆７９４ｇは、音声入力７９２ｃの一部の応答である。示唆７９４ｇは、「ご用件は何でしょうか？」と書いてある文字である。いくつかの実施形態では、デバイス７００は、示唆７９４ｇの可聴バージョンを含むメディアを出力する。
In FIG. 7U,
図７Ｖでは、図７Ｕのユーザインタフェース７９４を表示した後しばらくして、デバイス７００は、ユーザインタフェース７９４の左側（及び示唆７９４ｈの下）に示唆７９４ｉを表示する。示唆７９４ｉは、「ＯＫ、あなたのマルチキャストを娯楽ゾーンに送りました」と書いてある文字である。ゾーンは、複数のデバイスのグループの識別子である。ここで、娯楽ゾーン６６０は、図６のサンルーム６０２ｅに対応するデバイスのグループ、及び図６のリビングルーム６０２ｄに対応するデバイスのグループに指定される。
In FIG. 7V, some time after displaying
図７Ｖの表７０６に示すように、音声入力７９２ｃを検出した後、デバイス７００は、音声マルチキャストメッセージを娯楽ゾーンに指定された１つ以上のデバイスに向ける（例えば、送信する）。表７０６は、音声マルチキャストメッセージ（例えば、「こんにちは」）が、リビングルームスピーカ６４６、リビングルームスピーカ６４８、サンルームスピーカ６５６、及びサンルームスピーカ６５８に向けられ、音声マルチキャストメッセージ（例えば、「こんにちは」）が他のデバイスに向けられていないことを示す。
As shown in table 706 of FIG. 7V, after detecting
図７Ｖに示すように、デバイス７００はまた、新しい音声マルチキャストメッセージが、サンルーム６０２ｅに指定されたデバイスのグループから受信されたことを示す、マルチキャスト通知７０８ａも表示する。新しい音声マルチキャストメッセージは、図７Ｔで送信された音声マルチキャストメッセージへの返信である。
As shown in FIG. 7V, the
図７Ｗでは、デバイス７００は、フレーズ「ヘイ、アシスタント、マルチキャスト、もうすぐ立ち去るつもりである」を含む音声入力７９２ｄを検出する。
In FIG. 7W,
図７Ｘでは、音声入力７９２ｄを検出した後しばらくして、デバイス７００は、ユーザインタフェース７９４の左側及び示唆７９４ｉの下に示唆７９４ｊを表示する。示唆７９４ｊは、「ヘイ、アシスタント、マルチキャスト、もうすぐ立ち去るつもりである」と書いてある文字である。この文字は、音声入力７９２ｄに含まれる可聴フレーズに対応する。ここで、音声入力７９２ｄは、識別子を含まない。加えて、図７Ｘでは、デバイス７００はまた、ユーザインタフェース７９４の右側及び示唆７９４ｊの下に表示７９４ｋを表示する。示唆７９４ｋは、「ＯＫ、あなたのマルチキャストをサンルームに送りました」と書いてある文字である。
In FIG. 7X, some time after detecting
図７Ｘの表７０６に示すように、音声入力７９２ｄを検出した後、デバイス７００は、音声マルチキャストメッセージをサンルームに指定されたデバイスのグループに送信するためのプロセス（例えば、「もうすぐ立ち去るつもりである」）を開始する。具体的には、デバイス７００は、サンルームの識別子を含む音声入力７９２ｄなしに、音声マルチキャストメッセージをサンルーム６０２ｅに指定された１つ以上のデバイスに向ける（例えば、送信する）。したがって、マルチキャスト通知７０８ａを受信した後の所定の時間の期間内に音声入力７９２ｄが検出されたため、デバイス７００は、既定のグループ（ホーム６０２に対応するグループ）の代わりに、次の検出された音声マルチキャストメッセージをサンルームにインテリジェントに向ける。いくつかの実施形態では、デバイス７００は、前のマルチキャストメッセージがサンルームに送信されたときから所定の時間内に音声入力７０２ｄが受信されたため、次に検出された音声マルチキャストメッセージを、既定のグループの代わりに、サンルームにインテリジェントに送信する。いくつかの実施形態では、２つの異なるゾーンは、少なくとも１つのデバイスのグループ（例えば、特定の部屋に指定された同じグループのデバイス）を共有することができる。
As shown in table 706 of FIG. 7X, after detecting
図７Ｘに示すように、デバイス７００はまた、音声マルチキャストメッセージが、サンルーム６０２ｅに指定されたデバイスのグループから受信されたことを示す、マルチキャスト通知７０８ｂも表示する。ここで、デバイス７００は、１０：１９にこのメッセージを受信する。
As shown in FIG. 7X,
図７Ｙでは、デバイス７００は、フレーズ「ヘイ、アシスタント、マルチキャスト、ディナーに行きましょう」を含む音声入力７９２ｅを検出し、示唆７９４ｌを有するユーザインタフェース７９４を表示する。示唆７９４ｌは、「ご用件は何でしょうか？」と書いてある。図７Ｙでは、時間は現在、１０：３０である（例えば、図７Ｘのユーザインタフェースが表示されてから１１分が経過した）。
In FIG. 7Y,
図７Ｚでは、図７Ｙでユーザインタフェース７９４を表示した後、デバイス７００は、ユーザインタフェース７９４の右側に示唆７９４ｍを表示し、ユーザインタフェース７９４の左側（及び示唆７９４ｍの下）に示唆７９４ｎを表示する。示唆７９４ｍは、音声入力７９２ｅに含まれる音声フレーズに対応する文字である「ヘイ、アシスタント、マルチキャスト、ディナーに行きましょう」と書いてある文字である。加えて、示唆７９４ｎは、「ＯＫ、あなたのマルチキャストをメインストリート１２３番地に送りました」と書いてある文字である。
In FIG. 7Z, after displaying
図７Ｚの表７０６に示すように、音声入力７９２ｅを検出した後、デバイス７００は、音声マルチキャストメッセージ（例えば、「ディナーに行きましょう」）をホーム６０２に指定された１つ以上のデバイスに向ける（例えば、送信する）が、ホーム６０２の識別子を含む音声入力７９２ｅはない。ここで、マルチキャスト通知７０８ｂが受信されてから所定の時間の期間よりも長い時間が経過したため、デバイス７００は、次の検出された音声マルチキャストメッセージを、サンルーム６０２ｅの代わりに、既定のグループ（ホーム６０２に対応するグループ）にインテリジェントに送信する。いくつかの実施形態では、デバイス７００は、前のマルチキャストメッセージがサンルーム６０２ｅに送信されたときから所定の時間内に音声入力７０２ｅが受信されなかったため、検出された音声マルチキャストメッセージを、既定のグループにインテリジェントに送信する。
After detecting
更に、図７Ｚの表７０６に示すように、（図７Ｎとは対照的に）図７Ｚのマルチキャストメッセージは、図７Ｑのタップジェスチャ７５０ｑの検出に応答して、寝室スピーカ６３６のマルチキャスト設定がオフされたため、寝室スピーカ６３６には向けられなかった。
Further, as shown in table 706 of FIG. 7Z, the multicast message of FIG. 7Z (as opposed to FIG. 7N) indicates that the multicast setting of
図７Ｚでユーザインタフェース７９４を表示した後しばらくして、デバイス７００は図７ＡＡに示すようにユーザインタフェース７１０を表示する。図７ＡＡでは、デバイス７００は、図７ＡＡのホーム場所識別子７１２の上方にある、ホーム設定アフォーダンス９２８に対応する場所でタップジェスチャ７５０ａａを検出する。
Some time after displaying
図７ＡＢに示すように、タップジェスチャ７５０ａａの検出に応答して、デバイス７００はユーザインタフェース７９７を表示する。ユーザインタフェース７９７は、ホームアプリケーションに指定された１つ以上のパーソナルデバイスを有する人々７９７ａのグループ（例えば、ホーム６０２ａに対応するグループ）を含む。ユーザインタフェース７９７はまた、マルチキャスト許可アフォーダンス７９７ｂを含む。図７ＡＢでは、デバイス７００は、マルチキャスト許可アフォーダンス７９７ｂに対応する場所でタップジェスチャ７５０ａｂを検出する。
In response to detecting tap gesture 750aa,
図７ＡＣに示すように、タップジェスチャ７５０ａｂの検出に応答して、デバイス７００は、音声マルチキャストメッセージがパーソナルデバイスに送信されることを可能にすべきタイミングの複数のオプションを含む、ユーザインタフェース７９９を表示する。図７ＡＣでは、オプションはネバーオプション７７９ａ、アットホームオプション７７９ｂ、及び任意の時間オプション７９９ｃを含む。図７ＡＣでは、任意の時間オプション７９９ｃが選択される。したがって、いくつかの実施形態では、デバイス７００は、デバイス７００の場所に関わりなく、任意の時間にマルチキャストメッセージを受信するように構成される。いくつかの実施形態では、ネバーオプション７７９ａに対応する場所でのタップジェスチャ７５０ｃ１の検出に応答して、デバイス７００は、デバイス７００の場所に関わりなく、マルチキャストメッセージを決して受信しないように構成される。いくつかの実施形態では、アットホームオプション７９９ｂに対応する場所でのタップジェスチャ７５０ｃ２の検出に応答して、デバイス７００は、デバイス７００がホーム６０２に対応する又はホーム６０２内の場所にある間に、マルチキャストメッセージのみを受信するように構成されている（例えば、ホームの閾値距離内、又はデバイスがホーム６０２に関連付けられた１つ以上のネットワークに接続されているかどうかに関する）。いくつかの実施形態では、デバイス７００が距離６７０及び距離６８０、ホームから離れているとき、コンピュータデバイス６７４及びジェーンの電話６８４などのデバイス７００は、それらの距離が閾値距離よりも長い場合には、ホームオプション７９９ｂで選択されたときに、音声マルチキャストメッセージを受信しない。いくつかの実施形態では、デバイスがホームから離れている間に、メッセージのみを受信するオプションなどの１つ以上のオプションが選択可能であり、表示される。いくつかの実施形態では、デバイス７００がホーム６０２に関連付けられた１つ以上のネットワークに接続される（例えば、ホームＷｉ－Ｆｉネットワークに接続される）と、デバイス７００は、アットホームオプション７９９ｂが選択されたときに、音声マルチキャストメッセージを受信し、デバイス７００がホーム６０２に関連付けられた１つ以上のネットワークに接続されていない（例えば、ホームＷｉ－Ｆｉネットワークに接続されていない）と、デバイス７００は、アットホームオプション７９９ｂが選択されたときにも（例えば、デバイスの場所に関わりなく）、音声マルチキャストメッセージを受信しない。
As shown in FIG. 7AC, in response to detecting the tap gesture 750ab, the
図７ＡＤ～７ＡＥは、タブレット６３４などのデバイス７００よりも大きなスクリーンを有するデバイス上で上述したユーザインタフェースを表示するための例示的なユーザインタフェースを示す。図７ＡＤのユーザインタフェース７１１は、上述のユーザインタフェース７１０に対応する。加えて、図７ＡＥのユーザインタフェース７３１は、上述のユーザインタフェース７３０に対応する。しかしながら、上述したユーザインタフェースのいずれかは、図７Ａ～７ＡＣのために上述したものと１つ以上の類似の技術を使用して、タブレット６３４上で表示及び遷移することができる。
7AD-7AE show exemplary user interfaces for displaying the user interfaces described above on a device having a screen larger than
図７ＡＦ～７ＡＨは、スマートウォッチ７０１などのデバイス７００よりも小さいスクリーンを有するデバイス上に上述のユーザインタフェースを表示するための例示的なユーザインタフェースを示す。図７ＡＦのユーザインタフェース７１３は、上述のユーザインタフェース７１０に対応する。その上、図７ＡＧのユーザインタフェース７４１は、上述のユーザインタフェース７４０に対応する。更に、図７ＡＨのユーザインタフェース７５１は、上述のユーザインタフェース７５０に対応する。しかしながら、上述したユーザインタフェースのいずれかは、図７Ａ～７ＡＣのために上述したものと１つ以上の類似の技術を使用して、スマートウォッチ７０１上で表示及び遷移することができる。
7AF-7AH show exemplary user interfaces for displaying the user interfaces described above on a device having a smaller screen than
図８Ａ～８Ｂは、いくつかの実施形態に係る、音声メッセージを送信するための方法を示すフロー図である。方法８００は、ディスプレイ生成構成要素（例えば、タッチ感知ディスプレイ）と通信するコンピュータシステム（例えば、１００、３００、５００、６３４、６７４、７００、７０１、８５０）で実行される。方法８００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
8A-8B are flow diagrams illustrating methods for sending voice messages, according to some embodiments.
後述するように、方法８００は、いくつかの実施形態に係る、音声メッセージを送信するための直観的方法を提供する。本方法は、音声メッセージを送信するユーザの認識的負担を軽減し、それにより、より効率的なヒューマン－マシンインタフェースを作成する。バッテリ動作式のコンピューティングデバイスの場合には、ユーザが音声メッセージをより高速かつより効率的に送信することを有効化することにより、電力が節約され、バッテリ充電の間隔が増す。
As discussed below,
コンピュータシステムは（８０２）、ディスプレイ生成構成要素を介して、第１のユーザインタフェース（例えば、７３０）（例えば、１組の外部デバイスを制御するためのユーザインタフェース）を表示する。第１のユーザインタフェースは、第１の選択可能なユーザインタフェースオブジェクト対象（例えば、７２６）を含み（例えば、ディスプレイを含む）、第１の選択可能なユーザインタフェースオブジェクト対象の選択は、第１の音声メッセージを１組の外部デバイス（例えば、図７Ｆの７０６）（例えば、１組の外部デバイスの各外部デバイス）に記録（例えば、マイクロフォンを介してコンピュータシステムで）し、送信するためのプロセス（例えば、ユーザインタフェース７３０、７４０、及び７５０）を開始し、１組の外部デバイスは、１つ以上の外部デバイスの第１の１組（例えば、６１６）と、１つ以上の外部デバイスの第２の１組（例えば、６４６、６４８）とを含む。いくつかの実施形態では、第１の選択可能なユーザインタフェースオブジェクト対象を表示している間に、コンピュータシステムは、第１の選択可能なユーザインタフェースオブジェクト対象の選択に対応する入力を受信し、第１の選択可能なユーザインタフェースオブジェクト対象の選択に対応する入力の受信に応答して、コンピュータシステムは、１つ以上のデバイスの第１の１組及び１つ以上のデバイスの第２の１組（例えば、外部デバイスの１組）に音声メッセージを記録し、送信するためのユーザインタフェースを表示する。いくつかの実施形態では、１つ以上のデバイスの第１の１組は、１つ以上のデバイスの第２の１組とは異なる。いくつかの実施形態では、１組の外部デバイスを制御するためのユーザインタフェースは、１つ以上のデバイスの第１の１組及び１つ以上のデバイスの第２の１組に対応する複数の表現及び／又はアクセサリ制御ユーザインタフェースオブジェクト対象を表示することを含む。いくつかの実施形態では、複数のアクセサリ制御ユーザインタフェースオブジェクト対象は、１つ以上のデバイスの第１の１組に対応し、１つ以上のデバイスの第２の１組は１つ以上の選択可能なユーザインタフェースオブジェクト対象の１組である。いくつかの実施形態では、複数のアクセサリ制御ユーザインタフェースオブジェクト対象のそれぞれは、選択されると、１組の外部デバイスのそれぞれのアクセサリデバイスに、１つ以上の機能を実行させる、及び／又はそれぞれのアクセサリデバイスの状態を変更させる。いくつかの実施形態では、１組の外部デバイスは、１つ以上のデバイス（例えば、スマートスピーカ）の第１の１組又は１つ以上のデバイス（例えば、スマートスピーカ）の第２の１組にないタイプの外部電子デバイス（例えば、セルラー電話、タブレットコンピュータ）を含む。いくつかの実施形態では、外部デバイスの１組は、トップレベルの場所（又は宛先）（例えば、第１のタイプの場所）（例えば、ホーム場所、ビジネス、オフィス（トップレベルの場所にある場所（例えば、１つ以上の場所を定義する場所（例えば、サブ場所）及び／又はトップレベルの場所の場所によって定義されるエリア及び／又は周辺部内にある１つ以上の領域（又はゾーン）、場所の階層のトップレベルにある場所、１つ以上の場所（例えば、サブ位置）に（例えば、プログラムで）リンクされた場所及び／又は１つ以上の領域（又はゾーン）））に関連付けられている。いくつかの実施形態では、外部デバイスの１組は、デバイスの第１のグループ（例えば、デバイスのサブグループ）及びデバイスの第２のグループ（例えば、デバイスのサブグループ）を含む。いくつかの実施形態では、デバイスのサブグループは、トップレベルの場所のサブ場所（例えば、トップレベルの場所の境界、領域、若しくは周辺に、及び／又はトップレベルの場所に定義され、特定され、及び／又はリンクされ（例えば、プログラムでリンクされ）（例えば、ユーザによって）配置された部屋）及び／又はトップレベルの場所内（例えば、トップレベルの場所の境界、エリア、又は周辺部内及び／又は（例えば、ユーザによって）定義され、特定され、及び／又はリンクされた）のゾーン（例えば、２つ以上のサブ場所によって定義される場所）（トップレベルの場所内で（例えば、トップレベルの場所内にリビングルーム及びダイニングルームを含む娯楽ゾーン、トップレベルの場所内に２つ以上の寝室、リビングルーム、バスルームを含むパーソナルゾーン）に関連付けられる。いくつかの実施形態では、目標グループは、デバイスのサブグループに関連付けられ、デバイスのトップレベルグループではない。
The computer system (802) displays, via a display generation component, a first user interface (eg, 730) (eg, a user interface for controlling a set of external devices). The first user interface includes a first selectable user interface object target (e.g., 726) (e.g., includes a display), and selection of the first selectable user interface object target comprises a first voice. A process for recording (e.g., via a microphone in a computer system) and transmitting (e.g., ,
第１のユーザインタフェースは、第１の外部アクセサリデバイスに対応する第１のアクセサリ制御ユーザインタフェースオブジェクト対象（例えば、７１８の１つ）（例えば、選択可能なユーザインタフェースオブジェクト対象）を含み、第１のアクセサリ制御ユーザインタフェースオブジェクト対象の選択（例えば、７５０ｆ１、７５０ｆ２）は、第１の外部アクセサリデバイスの状態を変更する（例えば、ドアをロック又はロック解除させ、光をオン又はオフにする）ための命令を送信するプロセス（例えば、選択によって命令の送信を引き起こす）を開始する。いくつかの実施形態では、入力の受信に応答して、コンピュータシステムは、第１の外部アクセサリデバイスの状態を変更するための命令を送信するプロセス（例えば、選択によって命令の送信を引き起こす）を開始し、第１のアクセサリ制御ユーザインタフェースオブジェクト対象の視覚的見掛けを第１の視覚的見掛けから、第１の視覚的見掛けとは異なる第２の視覚的見掛けに変更する（例えば、押圧した押された状態（又はその逆）、第１の色から第２の色に、１つ以上の差分文字（例えば、「オンからオフ」（又はその逆）））。 The first user interface includes a first accessory control user interface object target (eg, one of 718) corresponding to the first external accessory device (eg, a selectable user interface object target); Accessory control user interface object target selection (e.g., 750f1, 750f2) commands to change the state of the first external accessory device (e.g., lock or unlock doors, turn lights on or off). (e.g. selection triggers the transmission of an instruction). In some embodiments, in response to receiving the input, the computer system initiates a process (e.g., selection causes transmission of the command) to send the command to change the state of the first external accessory device. and change the visual appearance of the first accessory control user interface object target from the first visual appearance to a second visual appearance that is different from the first visual appearance (e.g., pressed pressed state (or vice versa), from a first color to a second color, one or more difference characters (eg, "on to off" (or vice versa)).
コンピュータシステムは、第１のユーザインタフェース（例えば、第１のユーザインタフェース）を表示している間に、第２のユーザインタフェース（例えば、７６０）を表示する要求に対応する入力（例えば、７５０ｆ３）（例えば、単一のユーザ入力（例えば、１つ以上の外部デバイスの第２の１組を制御するためのユーザインタフェースにナビゲーションする選択可能なユーザインタフェースオブジェクト対象又はアイコン上のタップ入力）又は第１の選択可能なユーザインタフェースオブジェクト対象が表示されている間に受信される複数のユーザ入力）を受信する（８０４）（例えば、１つ以上の外部デバイスの第２の１組を制御するためのユーザインタフェース（例えば、１つ以上の外部デバイスの第１の１組を制御することなく））。いくつかの実施形態では、コンピュータシステムは、コンピュータシステムが第２のユーザインタフェースを表示するための選択可能なユーザインタフェースオブジェクト対象の選択を受信すると、第２のユーザインタフェースを表示する要求を受信する。 The computer system, while displaying a first user interface (e.g., first user interface), receives an input (e.g., 750f3) corresponding to a request to display a second user interface (e.g., 760) ( For example, a single user input (e.g., a tap input on a selectable user interface object object or icon that navigates to a user interface for controlling a second set of one or more external devices) or a first Receive 804 a plurality of user inputs received while selectable user interface objects are displayed (e.g., a user interface for controlling a second set of one or more external devices). (eg, without controlling a first set of one or more external devices). In some embodiments, the computer system receives a request to display the second user interface when the computer system receives a selection of selectable user interface object targets for displaying the second user interface.
第２のユーザインタフェースを表示する要求の受信に応答して、コンピュータシステムは、第２のユーザインタフェース（例えば、７６０）を表示する（８０６）。第２のユーザインタフェースは、第２の選択可能なユーザインタフェースオブジェクト対象（８１２）（例えば、７７６）を含み（例えば、表示することを含む）、第２の選択可能なユーザインタフェースオブジェクト対象の選択は、第２の音声メッセージを１つ以上の外部デバイスの第１の１組（例えば、図７Ｍの７０６）に送信することなく、第２の音声メッセージを１つ以上の外部デバイスの第２の１組（例えば、６４６、６４８）に記録し、送信するためのプロセス（例えば、ユーザインタフェース７８０ａ、７８４、及び７８６ａ）を開始する。第２のユーザインタフェースは、（例えば、１つ以上のデバイスの第１の１組に対応せずに）第２の外部アクセサリデバイス（例えば、６４２、６４６、６４８）に対応する第２のアクセサリ制御ユーザインタフェースオブジェクト対象（８１４）（例えば、７６８のうちの１つ）（例えば、選択可能なユーザインタフェースオブジェクト対象）を含み、第２のアクセサリ制御ユーザインタフェースオブジェクト対象の選択（例えば、７５０ｇ１、７５０ｇ２）は、第２の外部アクセサリデバイスの状態を変更するための命令（例えば、選択によって命令の送信を引き起こす）を送信するプロセスを開始する。いくつかの実施形態では、入力の受信に応答して、コンピュータシステムは、第２の外部アクセサリデバイスの状態を変更するための命令を送信するプロセス（例えば、選択によって命令の送信を引き起こす）を開始し、第２のアクセサリ制御ユーザインタフェースオブジェクト対象の視覚的見掛けを第１の視覚的見掛けから、第１の視覚的見掛けとは異なる第２の視覚的見掛けに変更する（例えば、押圧した押された状態（又はその逆）、第１の色から第２の色に、１つ以上の差分文字（例えば、「オンからオフ」（又はその逆）））。いくつかの実施形態では、第２のユーザインタフェースを表示する要求の受信に応答して、コンピュータシステムは、第１のユーザインタフェース及び第１のユーザインタフェースオブジェクト対象の表示を中止する。いくつかの実施形態では、第２の選択可能なユーザインタフェースオブジェクト対象は、第１の選択可能なユーザインタフェースオブジェクト対象に置き換わる。いくつかの実施形態では、第２の選択可能なユーザインタフェースオブジェクト対象は、第１の選択可能なユーザインタフェースオブジェクト対象が以前に表示された場所と同じ場所で表示される。いくつかの実施形態では、第２のユーザインタフェースは、第１のユーザインタフェースの表示に置き換わる。いくつかの実施形態では、コンピュータシステムは、第２のユーザインタフェースからの１つ以上の外部デバイスの第１の１組（例えば、アクセサリ制御ユーザインタフェースオブジェクト対象は、表示されない、１つ以上のデバイスの第１の１組のうちの１つに対応する）を制御することができない（例えば、外部デバイスを状態変更させることができない）。いくつかの実施形態では、第１のユーザインタフェースは、１つ以上の外部デバイスの第１の１組に対応する１つ以上の表現及び／又はアクセサリ制御ユーザインタフェースオブジェクト対象の１組を（１つ以上の外部デバイスの第２の１組に対応する１つ以上の表現の１組を表示することなく）表示することを含む。いくつかの実施形態では、アクセサリ制御ユーザインタフェースオブジェクト対象のそれぞれは、選択されると、それぞれのデバイスに１つ以上の機能を実行させるか、又はそれぞれのデバイスの状態を変更させる。いくつかの実施形態では、第２の選択可能なユーザインタフェースオブジェクト対象を表示している間に、コンピュータシステムは、第２の選択可能なユーザインタフェースオブジェクト対象の選択に対応する入力を受信し、第２の選択可能なユーザインタフェースオブジェクト対象の選択に対応する入力の受信に応答して、コンピュータシステムは、音声メッセージを１つ以上の外部デバイスの第１の１組に送信することなく、１つ以上の外部デバイスの第２の１組に音声メッセージを記録し、送信するためのユーザインタフェースを表示する。いくつかの実施形態では、第２の選択可能なユーザインタフェースオブジェクト対象を表示している間に、コンピュータシステムは、選択可能なユーザインタフェースオブジェクト対象を表示することを含む１つ以上の外部デバイスの第１の１組を（例えば、１つ以上の外部デバイスの第２の１組を制御することなく）制御するためのユーザインタフェースを表示する要求に対応するユーザ入力（例えば、スワイプ入力）を受信し、それは、選択されると、音声メッセージを１つ以上の外部デバイスの第２の１組に送信することなく、音声メッセージを１つ以上の外部デバイスの第１の１組に記録し、送信するためのプロセスを開始する。いくつかの実施形態では、音声メッセージは、コンピュータシステムで記録される音声を含む。いくつかの実施形態では、音声メッセージを外部デバイスに記録し、送信するプロセスは、コンピュータシステムを使用して（例えば、コンピュータシステムと通信するマイクロフォンを使用して）音声メッセージを記録することを含む。いくつかの実施形態では、音声メッセージは、コンピュータシステムのユーザの声の音声を含む。制御の１組を制御する階層的ユーザインタフェースを提供することで、各ユーザインタフェースがそれぞれの階層のノードに対応することが、デバイスの別のそれぞれの１組を制御するための別のユーザインタフェースにユーザがどのように直感的にナビゲーションすることができるかに関する視覚的フィードバックと共に、それぞれのユーザインタフェースを介して制御することができる、制御の階層のデバイスの１組に関する視覚的フィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ－シスインタフェースをより効率的にし、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを有効化することによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
In response to receiving the request to display the second user interface, the computer system displays (806) the second user interface (eg, 760). The second user interface includes (e.g., including displaying) a second selectable user interface object target (812) (e.g., 776), wherein selection of the second selectable user interface object target is , sending the second voice message to the second one of the one or more external devices without sending the second voice message to the first set of one or more external devices (eg, 706 in FIG. 7M). Initiate a process (eg,
いくつかの実施形態では、第１の外部アクセサリデバイス（例えば、７１８ｂ）は、第２の外部アクセサリデバイス（例えば、７６８ｃ）とは異なる。いくつかの実施形態では、第１の外部アクセサリデバイスは、「ホーム」グループの下にグループ化されるが、「ダイニングルーム」カテゴリ（例えば、寝室に位置する光）の一部ではなく、第２の外部アクセサリデバイスは、「ホーム」グループ、「ダイニングルーム」カテゴリ（例えば、ダイニングルームに位置する光）の両方の下にグループ化される外部デバイスである。対照的に、いくつかの実施形態では、第１の外部アクセサリデバイスは、第２の外部アクセサリデバイスと同じデバイスである（例えば、それらは、ダイニングルームに配置された同じ光であるか、又はそれらは、ダイニングルームに配置された同じスマートスピーカである）。 In some embodiments, the first external accessory device (eg, 718b) is different than the second external accessory device (eg, 768c). In some embodiments, the first external accessory device is grouped under the "Home" group, but is not part of the "Dining Room" category (e.g., a light located in the bedroom), but is the second external accessory device. are external devices that are grouped under both the "Home" group, the "Dining Room" category (eg, a light located in the dining room). In contrast, in some embodiments, the first external accessory device is the same device as the second external accessory device (eg, they are the same lights placed in the dining room, or they are is the same smart speaker placed in the dining room).
いくつかの実施形態では、第１の選択可能なユーザインタフェースオブジェクト対象（例えば、７２６）（例えば、第１のユーザインタフェースの一部として表示されている間）は、ディスプレイ生成構成要素を介して（例えば、ディスプレイ生成構成要素上に）、第１の場所（例えば、７２６及び７７６の場所）で表示され、第２の選択可能なユーザインタフェースオブジェクト対象（例えば７７６）（例えば、第２のユーザインタフェースの一部として表示されている間）は、ディスプレイ生成構成要素を介して（例えば、ディスプレイ生成構成要素上に）、第１の場所（例えば、７２６及び７７６の場所）で表示される。いくつかの実施形態では、第１のユーザインタフェースを表示している間に受信された入力は、第２の選択可能なユーザインタフェースオブジェクト対象で第１の選択可能なユーザインタフェースオブジェクト対象の表示を置き換えさせる。予め定められた条件が満たされたときに、第１の選択可能なユーザインタフェース又は第２の選択可能なユーザインタフェースオブジェクト対象を同じ場所で提供することにより、ユーザは、選択可能なユーザインタフェースオブジェクト対象の任意の異なる動作特性（例えば、デバイスのどの特定の１組が選択可能、特定の選択可能なユーザインタフェースオブジェクト対象が記録の音声メッセージを送信する）を識別することを必要とせずに、マルチキャストのための選択可能なユーザインタフェースオブジェクト対象を素早くに突き止めることができる。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ－システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用することを有効化することによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
In some embodiments, the first selectable user interface object target (eg, 726) (eg, while displayed as part of the first user interface) is via a display generation component ( on a display generating component), displayed at a first location (e.g.,
いくつかの実施形態では、第１の外部アクセサリデバイス（例えば、６４６、６４８）（例えば、スマートスピーカであって、第１のアクセサリ制御ユーザインタフェースオブジェクト対象を使用して音楽の再生が構成することができるもの）が１組の外部デバイスに含まれる（例えば、第１の外部アクセサリデバイスは第１のユーザインタフェースから構成可能で、音声（コンピュータシステムで記録された）は第１の選択可能なユーザインタフェースオブジェクト対象を使用して第１の外部アクセサリデバイスに送信される）。いくつかの実施形態では、第１のユーザインタフェースは、第３の外部アクセサリデバイス（例えば、６４２）に対応する第３のアクセサリ制御ユーザインタフェースオブジェクト対象（例えば、７１８ｂ）（例えば、選択可能なユーザインタフェースオブジェクト対象）を含む。いくつかの実施形態では、第３のアクセサリ制御ユーザインタフェースオブジェクト対象の選択は、第３の外部アクセサリデバイスの状態を変更する（例えば、ドアをロック又はロック解除させ、光をオン又はオフにする）命令を送信する（例えば、選択によって命令の送信を引き起こす）プロセスを開始する。いくつかの実施形態では、第３の外部アクセサリデバイス（例えば、６４２）は、１組の外部デバイスに含まれず、第１の選択可能なユーザインタフェースオブジェクト対象（例えば、７７６）の選択は、第１の音声メッセージを第３の外部アクセサリデバイス（例えば、７Ｆの７０６）に送信する（及び／又は記録する）ためのプロセスを開始しない。いくつかの実施形態では、第１のユーザインタフェースは、制御され得る（例えば、オン／オフにされる）が、第１の音声メッセージが送信されない（例えば、外部アクセサリデバイスが、音声メッセージを再生するためのスピーカを有さないため）いくつかの外部アクセサリデバイスのアクセサリ制御ユーザインタフェースオブジェクト対象を含み、及び第１のユーザインタフェースは、制御され得る（例えば、オン／オフにされる）、かつ第１の音声メッセージが送信される（例えば、外部アクセサリデバイスが音声メッセージの再生のためのスピーカを有するため）いくつかの外部アクセサリデバイスのアクセサリ制御ユーザインタフェースオブジェクト対象を含む。いくつかの実施形態では、第２のユーザインタフェースは、制御され得る（例えば、オン／オフにされる）が、第２の音声メッセージが送信されない（例えば、外部アクセサリデバイスが、音声メッセージを再生するためのスピーカを有さないため）いくつかの外部アクセサリデバイスのアクセサリ制御ユーザインタフェースオブジェクト対象を含み、及び第２のユーザインタフェースは、制御され得る（例えば、オン／オフにされる）、かつ第２の音声メッセージが送信される（例えば、外部アクセサリデバイスが音声メッセージの再生のためのスピーカを有するため）いくつかの外部アクセサリデバイスのアクセサリ制御ユーザインタフェースオブジェクト対象を含む。いくつかの実施形態では、１つ以上の外部デバイスの第１の１組（例えば、音声メッセージが送信される寝室グループのデバイス）は、第１の外部アクセサリデバイス（例えば、音声メッセージが送信されない寝室グループの光）を含まず、及び外部デバイスの第２の１組（例えば、音声メッセージが送信されるダイニングルームのデバイス）は、第２の外部アクセサリデバイス（例えば、音声メッセージが送信されないダイニングルームグループの光）を含まない。したがって、いくつかの実施形態では、音声メッセージは、アクセサリ制御ユーザインタフェースオブジェクト対象を使用して制御することができる全てのデバイスに必ずしも送信されず、それは、選択されると、それぞれのアクセサリデバイスに１つ以上の機能を実行させる、及び／又はそれぞれのアクセサリデバイスの状態を変更させる。いくつかの実施形態では、それぞれのアクセサリ制御ユーザインタフェースオブジェクト対象を使用して（１つ以上の機能を実行するため、及び／又はそれぞれのアクセサリデバイスの状態を変更するために）制御することができる外部デバイスは、１組の外部デバイス（例えば、外部デバイスの第１又は第２の１組）に含まれ、したがって、音声メッセージをその外部デバイスに送信することができ、外部デバイスを別個に制御することができる。 In some embodiments, a first external accessory device (e.g., 646, 648) (e.g., a smart speaker) may be configured to play music using the first accessory control user interface object target. can be included in a set of external devices (e.g., a first external accessory device can be configured from a first user interface, audio (recorded by a computer system) can be a first selectable user interface transmitted to the first external accessory device using the object target). In some embodiments, the first user interface is a third accessory control user interface object target (eg, 718b) corresponding to a third external accessory device (eg, 642) (eg, a selectable user interface object). In some embodiments, selection of the third accessory control user interface object target changes the state of the third external accessory device (e.g., locks or unlocks doors, turns lights on or off). Initiate the process of sending an order (eg, selection triggering the sending of an order). In some embodiments, the third external accessory device (eg, 642) is not included in the set of external devices and selection of the first selectable user interface object target (eg, 776) is to a third external accessory device (eg, 706 at 7F). In some embodiments, the first user interface can be controlled (eg, turned on/off) but the first voice message is not sent (eg, an external accessory device plays the voice message). includes an accessory control user interface object object for some external accessory device (because it does not have a speaker for the device), and the first user interface can be controlled (e.g., turned on/off) and the first voice messages are sent (eg, because the external accessory device has a speaker for playback of the voice message). In some embodiments, the second user interface can be controlled (eg, turned on/off), but the second voice message is not sent (eg, an external accessory device plays the voice message). includes an accessory control user interface object target for some external accessory devices (because they do not have speakers for the device), and a second user interface can be controlled (e.g., turned on/off) and a second voice messages are sent (eg, because the external accessory device has a speaker for playback of the voice message). In some embodiments, a first set of one or more external devices (e.g., bedroom group devices to which voice messages are sent) are connected to a first external accessory device (e.g., bedroom group devices to which voice messages are not sent). group lights), and a second set of external devices (e.g., dining room devices to which voice messages are sent) includes a second external accessory device (e.g., dining room group lights to which voice messages are not sent). light). Therefore, in some embodiments, the voice message is not necessarily sent to all devices that can be controlled using the accessory control user interface object object; it is sent to each accessory device once it is selected. Cause one or more functions to be performed and/or change the state of the respective accessory device. In some embodiments, each accessory control user interface object target can be used to control (to perform one or more functions and/or change the state of the respective accessory device) The external device is included in a set of external devices (e.g., a first or second set of external devices), so that voice messages can be sent to the external device and separately control the external device be able to.
いくつかの実施形態では、第１のユーザインタフェースは、トップレベルの場所（例えば、６０２）（例えば、構造、ホーム）に対応し、第２のユーザインタフェースは、第１のタイプ（例えば、６０２ａ～６０２ｅ）（例えば、構造の部屋、家のダイニングルーム）の第１のサブ場所（例えば、６０２ｄ）に対応する。いくつかの実施形態では、１つ以上の外部デバイスの第２の１組（例えば、６４６、６４８）は、第１のサブ場所（例えば、６０２ｄ）に対応する（例えば、１つ以上の外部デバイスの第２の１組は、第１のタイプのサブ場所に指定されている）。いくつかの実施形態では、（例えば、任意の）１つ以上の外部デバイスの第２の１組（例えば、６４６、６４８）は、第１のサブ場所に対応する１つ以上の外部デバイス（例えば、６０２ａ～６０２ｅ）の第２の１組に基づいて、第１のタイプ（例えば、構造の任意の他の部屋）の第２のサブ場所（例えば、６０２ａ、６０２ｂ、６０２ｃ、又は６０２ｅ）（例えば、第１のサブ場所以外の任意のサブ場所）に対応するように作ることができない。いくつかの実施形態では、第１のユーザインタフェースは、トップレベルの場所に対応し、第２のユーザインタフェースは、トップレベルの場所のサブ場所（例えば、ホームの部屋）に対応する。いくつかの実施形態では、第１の部屋及び第２の部屋は、ゾーン（例えば、一緒にグループ化された部屋の集合）の一部である。いくつかの実施形態では、１つ以上の外部デバイスの第２の１組は、第２のユーザインタフェースが対応する部屋に位置する（例えば、ユーザによって）識別されるデバイスである。 In some embodiments, a first user interface corresponds to a top level location (eg, 602) (eg, structure, home) and a second user interface corresponds to a first type (eg, 602a-602a). 602e) (eg, structure room, home dining room) corresponds to the first sub-location (eg, 602d). In some embodiments, the second set of one or more external devices (eg, 646, 648) corresponds to the first sub-location (eg, 602d) (eg, one or more external devices are designated as sub-locations of the first type). In some embodiments, the second set (eg, 646, 648) of one or more external devices (eg, any) is one or more external devices (eg, , 602a-602e), a second sub-location (eg, 602a, 602b, 602c, or 602e) of the first type (eg, any other room of the structure) (eg, , any sub-location other than the first sub-location). In some embodiments, the first user interface corresponds to a top level place and the second user interface corresponds to a sub-place (eg, a room in a home) of the top level place. In some embodiments, the first room and the second room are part of a zone (eg, a collection of rooms grouped together). In some embodiments, the second set of one or more external devices are devices identified (eg, by the user) located in the room to which the second user interface corresponds.
いくつかの実施形態では、第１のユーザインタフェースは、トップレベルの場所（例えば、構造、ホーム）に対応し、第２のユーザインタフェースは、第１のタイプ（例えば、６０２ａ～６０２ｅ）（例えば、複数の部屋）の複数（例えば、６０２ａ～６０２ｅ）のサブ場所に対応する第２のタイプ（娯楽ゾーン（例えば、６０２ｄ及び６０２ｅ））（例えば、第１のゾーン、メインフロア）の第３のサブ場所に対応する。いくつかの実施形態では、１つ以上の外部デバイスの第２の１組は、第１のタイプの複数のサブ場所（例えば、６０２ａ～６０２ｅ）に含まれる１つ以上の外部デバイスの第２の１組に基づいて、第３のサブ場所に対応する（例えば、第１の部屋（例えば、ホームのダイニングルーム）及び第２の部屋（例えば、ホームの寝室）を含む、構造体の複数の部屋）。いくつかの実施形態では、第１のユーザインタフェースは、トップレベルの場所に対応し、第２のユーザインタフェースは、トップレベルの場所のサブ場所（例えば、ホームの複数の部屋）に対応する。いくつかの実施形態では、１つ以上の外部デバイスの第２の１組は、第１の部屋に指定された少なくとも１つのデバイスと第２の部屋に指定された少なくとも１つのデバイスとを含む。いくつかの実施形態では、トップレベルの場所は、第３のサブ場所が対応しない少なくとも１つのデバイスに対応する（例えば、ホームは、第３のサブ場所内に含まれないいくつかのデバイスを含む）。 In some embodiments, the first user interface corresponds to a top-level location (eg, structure, home) and the second user interface corresponds to a first type (eg, 602a-602e) (eg, A third sub-location of a second type (entertainment zones (eg, 602d and 602e)) (eg, first zone, main floor) corresponding to multiple (eg, 602a-602e) sub-locations (eg, multiple rooms). correspond to the location. In some embodiments, the second set of one or more external devices is a second set of one or more external devices included in the plurality of sub-locations (eg, 602a-602e) of the first type. Based on the set, multiple rooms of the structure corresponding to a third sub-location (e.g., including a first room (e.g., dining room of the home) and a second room (e.g., bedroom of the home) ). In some embodiments, the first user interface corresponds to a top-level place and the second user interface corresponds to sub-places (eg, multiple rooms of a home) of the top-level place. In some embodiments, the second set of one or more external devices includes at least one device designated for the first room and at least one device designated for the second room. In some embodiments, the top-level location corresponds to at least one device that the third sub-location does not correspond to (e.g., Home includes some devices not contained within the third sub-location ).
いくつかの実施形態では、第２の外部アクセサリデバイスは、第２のタイプの第３のサブ場所（例えば、娯楽ゾーン（例えば、６０２ｄ及び６０２ｅ））（例えば、第１のゾーン）に関連付けられる（例えば、対応する）。いくつかの実施形態では、第２の外部アクセサリデバイス（例えば、６４６、６４８）はまた、第３のサブ場所とは異なる第２のタイプ（例えば、娯楽ゾーン（例えば、６０２ｄ及び６０２ｅ））の第４のサブ場所（例えば、第２のゾーン）に関連付けられる（例えば、対応する）。いくつかの実施形態では、第２のゾーンは、サブ場所（例えば、ホームの複数の部屋）である。いくつかの実施形態では、第２のゾーンは、第１のゾーンに関連付けられていない外部アクセサリデバイスと関連付けられる。いくつかの実施形態では、コンピュータシステムは、様々なゾーンにメッセージを記録し、送信するためのプロセスを開始することができる。第１のゾーン及び第２のゾーンは、デバイスの異なる１組に対応することができ、そのうちのいくつかは第１のゾーン及び第２のゾーンの両方に対応し、そのうちのいくつかは、第１のゾーン又は第２のゾーンのうちの１つのみに対応する。 In some embodiments, the second external accessory device is associated with a third sub-location of the second type (eg, entertainment zones (eg, 602d and 602e)) (eg, the first zone) ( corresponding). In some embodiments, the second external accessory device (e.g., 646, 648) is also a third sub-location of a second type (e.g., entertainment zones (e.g., 602d and 602e)) that is different than the third sub-location. 4 sub-locations (eg, second zone). In some embodiments, the second zone is a sub-location (eg, multiple rooms of a home). In some embodiments, the second zone is associated with an external accessory device not associated with the first zone. In some embodiments, the computer system can initiate processes for recording and sending messages to various zones. The first zone and the second zone can correspond to different sets of devices, some of which correspond to both the first zone and the second zone, some of which correspond to the first It corresponds to only one of the 1 zone or the 2nd zone.
いくつかの実施形態では、１つ以上の外部デバイスの第２の１組（例えば、６４６、６４８）は、第１の場所（例えば、６０２ｄ）（例えば、部屋、サブ場所、ゾーン）に関連付けられたものであって、第２の音声メッセージを１つ以上の外部デバイスの第１の１組に送信することなく、第２の音声メッセージを１つ以上の外部デバイスの第２の１組に記録し、送信するためのプロセスは、第１の場所（例えば、７８２）（例えば、音声メッセージが送信される部屋又はゾーンの名前を指定する文字）の示唆（例えば、文字示唆、グラフィカル示唆）を表示することを含む。いくつかの実施形態では、音声メッセージを記録し、送信するためのプロセスは、それぞれの音声メッセージが送信される外部デバイスに対応する場所の示唆を表示することを含む。いくつかの実施形態では、第１のユーザインタフェースは、トップレベルの場所（例えば、ホームなどの構造）に対応し、第２のユーザインタフェースは、トップレベルの場所のサブ場所（例えば、ホームの部屋、ホームのゾーン）に対応する。いくつかの実施形態では、第２のユーザインタフェースを表示すると、コンピュータシステムは、第２の選択可能なユーザインタフェースオブジェクト対象の選択（例えば、タップオン、押圧、及び保持）を検出する。いくつかの実施形態では、第２の選択可能なユーザインタフェースオブジェクト対象の選択の検出に応答して、コンピュータシステムは、記録ユーザインタフェースオブジェクト対象（例えば、選択可能な記録ボタン）であって、記録ユーザインタフェースの選択（例えば、タップ、押圧、及び保持）が、コンピュータシステムによって検出された音声を記録することによって、音声メッセージの記録を生じさせるもの、及びサブ場所（例えば、音声メッセージが送信される部屋又はゾーンの名前を指定する文字）の示唆（例えば、文字示唆、グラフィカル示唆）を同時に含む記録ユーザインタフェースを（例えば、第２のユーザインタフェースの全て又は一部を置き換えることによって）表示する。いくつかの実施形態では、第２のユーザインタフェースは、サブ場所の示唆を含む。音声メッセージがマルチキャストされることが意図されているデバイスのグループに関連付けられた場所の示唆を表示することにより、ユーザに、音声メッセージを記録し、送信するためのプロセスの状態に関する視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ－システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用することを有効化することによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。 In some embodiments, a second set of one or more external devices (eg, 646, 648) is associated with the first location (eg, 602d) (eg, room, sublocation, zone). recording the second voice message to the second set of one or more external devices without transmitting the second voice message to the first set of one or more external devices and the process for sending displays an indication (e.g., textual indication, graphical indication) of the first location (e.g., 782) (e.g., characters designating the name of the room or zone in which the voice message is to be sent) including doing In some embodiments, the process for recording and sending voice messages includes displaying a corresponding location indication to the external device to which each voice message is to be sent. In some embodiments, the first user interface corresponds to a top-level place (e.g., a structure such as Home) and the second user interface corresponds to a sub-place of the top-level place (e.g., a room in Home). , home zone). In some embodiments, upon displaying the second user interface, the computer system detects selection (eg, tapping on, pressing and holding) of a second selectable user interface object target. In some embodiments, in response to detecting selection of a second selectable user interface object target, the computer system selects a recording user interface object target (e.g., a selectable recording button) and a recording user Interface selection (e.g., tapping, pressing, and holding) causes recording of voice messages by recording sounds detected by the computer system, and sub-locations (e.g., rooms in which voice messages are sent). (eg, by replacing all or part of the second user interface) simultaneously with suggestions (eg, textual suggestions, graphical suggestions). In some embodiments, the second user interface includes sub-location suggestions. Provides users with visual feedback on the status of the process for recording and transmitting voice messages by displaying location suggestions associated with groups of devices to which voice messages are intended to be multicast. do. improve the usability of computer systems by providing users with improved visual feedback (e.g., assisting users in providing appropriate input when operating/interacting with devices; reduce power usage by making the user-system interface more efficient (by reducing user error) as well as enabling users to use the computer system more quickly and efficiently; Improve computer system battery life.
いくつかの実施形態では、音声メッセージを外部デバイスに記録し、送信するためのプロセスを開始することの一部として、コンピュータシステムは、自動的に（例えば、音声の記録を開始する要求に対応するユーザ入力を介在させることなく）、新しい音声メッセージの記録を行い、記録されている音声の動的示唆（例えば、７４４ａ）を含む記録ユーザインタフェース（例えば、７４１）を表示する。 In some embodiments, as part of initiating the process for recording and transmitting a voice message to an external device, the computer system automatically responds to requests to initiate voice recording (e.g., Record a new voice message (without intervening user input) and display a recording user interface (eg, 741) that includes dynamic suggestions (eg, 744a) of the voice being recorded.
いくつかの実施形態では、コンピュータシステムは、記録ユーザインタフェースオブジェクト対象の選択（例えば、タップ、押圧、及び保持）を検出する。記録ユーザインタフェースオブジェクト対象の選択の検出に応答して、コンピュータシステムは、音声メッセージを記録する。音声メッセージを記録した後（及び音声メッセージを送信する前に）、コンピュータシステムは、メッセージが送信される外部デバイスを変更するオプションを提供する。いくつかの実施形態では、コンピュータシステムは、ドロップダウンアフォーダンスのアクティブ化を受信し、それに応じて、１つ以上のサブ場所（それぞれは、それぞれの外部デバイスの１組に対応する）を表示する。コンピュータシステムは、１つ以上のサブ場所のうちの１つの選択及び音声メッセージを送信する確認を受信する。それに応じて、コンピュータシステムは、第２のユーザインタフェースに対応する１つ以上の外部デバイスの第２の１組ではなく、選択されたサブ場所に対応する外部デバイスのそれぞれの１組に音声メッセージを送信する。 In some embodiments, the computer system detects selections (eg, taps, presses, and holds) of recorded user interface object targets. In response to detecting selection of the record user interface object subject, the computer system records the voice message. After recording the voice message (and before sending the voice message), the computer system offers the option of changing the external device to which the message is sent. In some embodiments, the computer system receives activation of a dropdown affordance and, in response, displays one or more sub-locations (each corresponding to a respective set of external devices). A computer system receives a selection of one of the one or more sublocations and a confirmation to send the voice message. In response, the computer system sends the voice message to each one of the one or more external devices corresponding to the selected sub-location rather than to the second set of one or more external devices corresponding to the second user interface. Send.
いくつかの実施形態では、１組の外部デバイスは、パーソナルモバイル電子装置（例えば、６０４、６３４、６８４）（例えば、スマートフォン、携帯電話、携帯時計）を含む。いくつかの実施形態では、パーソナルモバイル電子装置は、１つ以上のデバイスの第１の１組に含まれず、１つ以上の外部デバイスの第２の１組に含まれない。いくつかの実施形態では、パーソナルモバイル電子装置は、トップレベルの場所の任意のサブ場所に全く指定されないが、トップレベルの場所のメンバーである。したがって、いくつかの実施形態では、第１の選択可能なユーザインタフェースオブジェクト対象を選択することにより、パーソナルモバイル電子装置（及び、トップレベルの場所のメンバーである任意の他のパーソナルモバイル電子装置）を含む、１組の外部デバイスに音声メッセージを記録し、送信するプロセスが開始される。 In some embodiments, the set of external devices includes personal mobile electronic devices (eg, 604, 634, 684) (eg, smart phones, cell phones, pocket watches). In some embodiments, personal mobile electronic devices are not included in the first set of one or more devices and are not included in the second set of one or more external devices. In some embodiments, the personal mobile electronic device is never assigned to any sub-location of the top-level location, but is a member of the top-level location. Thus, in some embodiments, selecting the first selectable user interface object target will cause the personal mobile electronic device (and any other personal mobile electronic device that is a member of the top-level place) to A process is initiated to record and send a voice message to a set of external devices, including:
いくつかの実施形態では、１つ以上の外部デバイスの第２の１組は、パーソナルモバイル電子装置（例えば、６０４、６３４、６８４）（例えば、スマートフォン、携帯電話、携帯時計）を含まない。いくつかの実施形態では、パーソナルモバイル電子装置は、１つ以上のデバイスの第１の１組に含まれず、１つ以上のデバイスの第２の１組に含まれない。いくつかの実施形態では、１組の外部デバイスは、パーソナルモバイル電子装置を含み、したがって、第１のユーザインタフェースから送信された音声メッセージは、パーソナルモバイル電子装置（及び、任意選択的に、ホームの一部である他のモバイル機器）に送信される。いくつかの実施形態では、第２のユーザインタフェース（又はサブ場所に対応する任意のユーザインタフェース）から送信された音声メッセージは、パーソナルモバイル電子装置に送信されない（及び、任意選択的に、ホームの一部である他のモバイル機器にも送信されない）。いくつかの実施形態では、コンピュータシステムは、パーソナルモバイル電子装置をトップレベルの場所の任意のサブ場所に指定することを拒否するが、パーソナルモバイル電子装置をトップレベルの場所に指定することを可能にする。したがって、いくつかの実施形態では、第２の選択可能なユーザインタフェースオブジェクト対象を選択することにより、パーソナルモバイル電子装置（又は、トップレベルの場所のメンバーである任意の他のパーソナルモバイル電子装置）を含まない、１つ以上のデバイスの第２の１組に音声メッセージを記録し、送信するプロセスが開始される。 In some embodiments, the second set of one or more external devices does not include a personal mobile electronic device (eg, 604, 634, 684) (eg, smart phone, cell phone, watch). In some embodiments, personal mobile electronic devices are not included in the first set of one or more devices and are not included in the second set of one or more devices. In some embodiments, the set of external devices includes a personal mobile electronic device, so voice messages sent from the first user interface are sent to the personal mobile electronic device (and optionally the home other mobile devices that it is part of). In some embodiments, voice messages sent from the second user interface (or any user interface corresponding to a sub-location) are not sent to the personal mobile electronic device (and optionally the home one). is not sent to other mobile devices that are part of it). In some embodiments, the computer system denies assigning a personal mobile electronic device to any sub-location of a top-level location, but allows a personal mobile electronic device to be assigned to a top-level location. do. Thus, in some embodiments, selecting the second selectable user interface object target will cause the personal mobile electronic device (or any other personal mobile electronic device that is a member of the top-level place) to A process of recording and transmitting a voice message to a second set of one or more devices, which is not included, is initiated.
いくつかの実施形態では、コンピュータシステムは、第２のユーザインタフェースを表示した後に、入力（例えば、７５０ｑ）（例えば、ユーザ入力、設定ユーザインタフェース上の入力）を受信し、１つ以上の外部デバイスの第２の１組（例えば、６３８）に音声メッセージを送信することを無効にする。いくつかの実施形態では、音声メッセージを１つ以上の外部デバイスの第２の１組に送信することを無効にするための入力の受信に応答して、コンピュータシステムは、第１の選択可能なユーザインタフェースオブジェクト対象（例えば、７２６）の選択を介し（例えば、第１の選択可能なユーザインタフェースオブジェクト対象の選択を介して、１つ以上の外部デバイスの第１の１組への音声メッセージの送信を無効にすることなく）、及び第２の選択可能なユーザインタフェースオブジェクト対象（例えば、７７６）の選択を介して１つ以上の外部デバイスの第２の１組に音声メッセージを送信することを無効にする（例えば、７６８ａ）。いくつかの実施形態では、１つ以上の外部デバイスの第２の１組への音声メッセージの送信を無効にした後、第１のユーザインタフェースへナビゲートし、第１の選択可能なユーザインタフェースオブジェクト対象の選択を受信することにより、音声メッセージを１つ以上の外部デバイスの第２の１組に送信することなく、１つ以上の外部デバイスの第１の１組に音声メッセージを記録し、送信するプロセスが開始される。いくつかの実施形態では、１つ以上の外部デバイスの第２の１組に音声メッセージを送信することを無効にするための入力の受信に応答して、コンピュータシステムは、１つ以上の外部デバイスの第２の１組を外部デバイスの１組から除去する。いくつかの実施形態では、１つ以上の外部デバイスの第２の１組への音声メッセージの送信を無効にした後に、第２のユーザインタフェースへナビゲートし、第２の選択可能なユーザインタフェースオブジェクト対象の選択を受信することで、音声メッセージを任意のデバイスに記録し、送信するプロセスは開始されない。いくつかの実施形態では、１つ以上の外部デバイスの第２の１組への音声メッセージの送信を無効にした後、第２のユーザインタフェースは、第２の選択可能なユーザインタフェースオブジェクト対象を含まない（又は、ユーザインタフェースオブジェクト対象の非選択可能／無効化バージョンを含む）、それにより、音声メッセージを１つ以上の外部デバイスの第２の１組に記録し、送信するプロセスを開始することができない。 In some embodiments, after displaying the second user interface, the computer system receives input (e.g., 750q) (e.g., user input, input on the settings user interface) and one or more external devices. disables sending voice messages to the second set (eg, 638) of . In some embodiments, in response to receiving input to disable sending voice messages to a second set of one or more external devices, the computer system selects a first selectable Sending a voice message to a first set of one or more external devices via selection of a user interface object target (e.g., 726) (e.g., via selection of a first selectable user interface object target) ), and sending voice messages to a second set of one or more external devices via selection of a second selectable user interface object target (e.g., 776). (eg 768a). In some embodiments, after disabling the transmission of voice messages to the second set of one or more external devices, navigating to the first user interface and selecting the first selectable user interface object Recording and transmitting a voice message to a first set of one or more external devices without transmitting the voice message to a second set of one or more external devices by receiving a selection of targets process is started. In some embodiments, in response to receiving input to disable sending voice messages to a second set of one or more external devices, the computer system causes the one or more external devices to from the set of external devices. In some embodiments, after disabling transmission of voice messages to a second set of one or more external devices, navigating to a second user interface and selecting a second selectable user interface object Receiving the subject selection does not initiate the process of recording and sending a voice message to any device. In some embodiments, after disabling transmission of voice messages to the second set of one or more external devices, the second user interface includes a second selectable user interface object target. (or including a non-selectable/disabled version of the user interface object object), thereby initiating the process of recording and transmitting voice messages to a second set of one or more external devices. Can not.
いくつかの実施形態では、第１のユーザインタフェースは、トップレベルの場所（例えば、６０２）（例えば、ホームなどの構造）に対応し、第２のユーザインタフェースは、トップレベルの場所（例えば、６０２）のサブ場所（例えば、６０２ａ～６０２ｄ）（例えば、ホームの部屋、ホームのゾーン）に対応する。いくつかの実施形態では、コンピュータシステムは、（例えば、第１のユーザインタフェースを表示しておらず、第２のユーザインタフェースを表示していない間）、コンピュータシステム（例えば、コンピュータシステムのマイクロフォン）と通信するマイクロフォンで、デジタルアシスタントの自然言語要求を含むオーディオ入力（例えば、７９２ａ～７９２ｅ）を受信し（８０８）、オーディオ入力は、音声メッセージ（例えば、「マルチキャスト」という用語を含む）、場所識別子（例えば、トップレベルの場所、サブ場所）、及び音声メッセージ（例えば、音声メッセージを送信するプロセスを開始するための命令の後に受信される、及び／又は場所の識別子の後に受信される）を含む。いくつかの実施形態では、場所識別子がトップレベルの場所（例えば、７８２ａ）に対応するとの判定に従って、コンピュータシステムは、双方向音声通信チャネルを確立することなく（全二重音声通信チャネルを確立することなく）、音声メッセージを、１つ以上の外部デバイスの第１の１組及び１つ以上の外部デバイスの第２の１組を含む、外部デバイスの１組での再生のため、外部デバイスの１組の任意のデバイスに送信する（８１０）（例えば、マルチキャスト）。いくつかの実施形態では、場所識別子がサブ場所（例えば、７９２ｂ、７９２ｃ）に対応するとの判定に従って、コンピュータシステムは、１つ以上の外部デバイスの第２の１組で再生し、１つ以上の外部デバイスの第１の１組で再生しないために、外部デバイスの１組の任意のデバイスとの全二重音声通信チャネルを確立することなく、音声メッセージを送信する（８１２）（例えば、マルチキャスト）。いくつかの実施形態では、コンピュータシステムは、リモート装置（例えば、サービス、外部デバイスの１組の外部デバイス）が、それぞれの外部デバイスに対応する外部デバイスに音声メッセージを分配することができるように、音声メッセージと共に場所識別子を送信する。 In some embodiments, the first user interface corresponds to a top-level place (eg, 602) (eg, a structure such as Home) and the second user interface corresponds to the top-level place (eg, 602 ) (eg, 602a-602d) (eg, Home Room, Home Zone). In some embodiments, the computer system (e.g., while not displaying the first user interface and not displaying the second user interface) communicates with the computer system (e.g., the computer system's microphone). At the communicating microphone, audio input (e.g., 792a-792e) including natural language requests of the digital assistant is received (808), where the audio input includes voice messages (e.g., including the term "multicast"), location identifiers (e.g., top-level location, sub-location), and voice messages (eg, received after an instruction to initiate the process of sending a voice message and/or received after a location identifier). In some embodiments, upon determining that the location identifier corresponds to a top-level location (eg, 782a), the computer system establishes a full-duplex voice communication channel without establishing a two-way voice communication channel (e.g., 782a). external devices for playback on a set of external devices, including a first set of one or more external devices and a second set of one or more external devices. Send 810 to a set of arbitrary devices (eg, multicast). In some embodiments, upon determining that the location identifier corresponds to a sub-location (eg, 792b, 792c), the computer system plays on a second set of one or more external devices, Transmit 812 a voice message (eg, multicast) without establishing a full-duplex voice communication channel with any device in the set of external devices in order not to play it back on the first set of external devices. . In some embodiments, the computer system enables a remote device (e.g., a service, a set of external devices) to distribute voice messages to external devices corresponding to each external device. Send the location identifier with the voice message.
いくつかの実施形態では、外部デバイスに音声メッセージを記録し、送信するためのプロセスを開始することの一部が含まれるときに、コンピュータは、記録ユーザインタフェースオブジェクト対象（例えば、７３６）（例えば、選択可能な記録ボタン）であって、記録ユーザインタフェースオブジェクト対象の選択（例えば、７５０ｃ）（例えば、タップしてから、音声メッセージが完了したら端部を押圧する、音声メッセージを発声している間に押圧して保持する、タップして、コンピュータシステムが音声メッセージの端部を識別することを可能にする）が、コンピュータシステムによって検出された音声を記録することによって、音声メッセージの記録を生じさせるもの、及び送信ユーザインタフェースオブジェクト対象（例えば、７５６）（例えば、選択可能な送信ボタン）であって、第２のユーザインタフェースオブジェクト対象の選択（例えば、７５０ｅ）（例えば、タップ）が、コンピュータシステムに、外部デバイスに音声メッセージを送信させるものを同時に含む、記録ユーザインタフェース（例えば、７３０、７４０、７５０）を（例えば、第２のユーザインタフェースの全て又は一部を置き換えることによって）表示する。いくつかの実施形態では、記録ユーザインタフェースはまた、音声メッセージが送信される外部デバイスに対応する、場所（例えば、トップレベルの場所、サブ場所、音声メッセージが送信される部屋又はゾーンの名前を指定する文字）の示唆（例えば、文字示唆、グラフィカル示唆）を同時に含む。 In some embodiments, when part of initiating a process for recording and transmitting a voice message to an external device is included, the computer directs the recording user interface object target (eg, 736) (eg, selectable record button) to select a recording user interface object target (e.g., 750c) (e.g., tap and then press the end when the voice message is complete; while speaking the voice message); (press and hold, tap to allow the computer system to identify the end of the voice message) causes recording of the voice message by recording the sound detected by the computer system , and a send user interface object target (e.g., 756) (e.g., selectable send button), wherein selection of a second user interface object target (e.g., 750e) (e.g., tap) causes the computer system to Display (eg, by replacing all or part of the second user interface) a recording user interface (eg, 730, 740, 750) that also includes one that causes an external device to send a voice message. In some embodiments, the recording user interface also specifies the name of the location (e.g., top-level location, sub-location, room or zone where the voice message is sent) corresponding to the external device to which the voice message is sent. (e.g., textual suggestion, graphical suggestion) at the same time.
いくつかの実施形態では、コンピュータシステムは、マイクロフォンを含む１つ以上の入力デバイスと通信する。いくつかの実施形態では、第１の音声メッセージを１組の外部デバイスに記録し、送信するためのプロセス（例えば、ユーザインタフェース７３０、７４０、７５０）の一部として、コンピュータシステムは、マイクロフォンを介して、第２のオーディオ入力を受信する。いくつかの実施形態では、コンピュータシステムは、第１の音声メッセージを１組の外部デバイスに送信するものであって、第１の音声メッセージは、第２のオーディオ入力（例えば、の記録を含む）に基づく。
In some embodiments, the computer system communicates with one or more input devices including microphones. In some embodiments, as part of the process (e.g.,
方法８００（例えば、図８Ａ～８Ｂ）に関して上述したプロセスの詳細は、後述する方法にも同様に当てはまることに留意されたい。例えば、方法８００は、任意選択的に、方法１０００及び１２００に関して後述する様々な方法の特性のうちの任意の１つ以上を含む。例えば、コンピュータシステムは、同じシステムであってもよい。別の例では、方法８００で送信された音声メッセージは、１０００で受信したメディアとすることができる。別の例では、方法１２００で送信された音声入力は、方法１０００で受信したメディアと同じであり得る。簡潔にするために、これらの詳細は、以下で繰り返さない。
Note that the process details described above with respect to method 800 (eg, FIGS. 8A-8B) apply equally to the methods described below. For example,
図９Ａ～９Ｘは、いくつかの実施形態に係る、通知を表示するための例示的なデバイス及び例示的なユーザインタフェースを示す。これらの図のユーザインタフェースは、図１０のプロセスを含む後述のプロセスを例示するために使用される。 9A-9X illustrate exemplary devices and exemplary user interfaces for displaying notifications, according to some embodiments. The user interfaces of these figures are used to illustrate the processes described below, including the process of FIG.
「マルチキャストメッセージ」及び／又は「音声マルチキャストメッセージ」というフレーズは、図７Ａ～７ＡＨ、図８Ａ～８Ｂ、図１１Ａ～１１Ｆ、及び図１２に記載されているのと類似の技術を使用して、デバイスから送信されるマルチキャストメッセージを指すために、本明細書では、図９Ａ～９Ｘに関して概して使用される。しかしながら、本明細書で使用するとき、マルチキャストメッセージ及び／又は音声マルチキャストメッセージは、必ずしもデバイス７００の他の特徴を使用して送信されるマルチキャスト通信を含むことを意図するものではない。
The phrases "multicast message" and/or "audio multicast message" are used to describe a device, using techniques similar to those described in FIGS. is generally used herein with respect to FIGS. 9A-9X to refer to multicast messages sent from. However, as used herein, multicast messages and/or audio multicast messages are not necessarily intended to include multicast communications sent using other features of
図９Ａは、ユーザインタフェース９００を表示する電子デバイス７００を示す。図９Ａでは、電子デバイス７００は、ポータブル多機能デバイスであり、デバイス１００、２００、３００、及び５００のうちの任意の１つ以上に関して上述した１つ以上の構成要素を有する。以下に説明する図に関して、いくつかの実施形態では、デバイス７００は、ホーム６０２から離れた閾値距離未満の場所で動作している。しかしながら、他の実施形態では、デバイス７００は、ホーム６０２から離れた閾値距離よりも遠い場所で動作している。
FIG. 9A shows
図９Ａに示すように、ユーザインタフェース９００は、上述のように（例えば、図６及び図７Ａ～７ＡＨ）、ホームアプリケーションに対応する設定ユーザインタフェースである。ここで、設定ユーザインタフェースは、デバイス７００に登録されている人物（例えば、ユーザ）、及びホームアプリケーション（例えば、図７ＡＢの人々７９７ａのグループ）によって認識されている人物（例えば、ユーザ）である、カムアップルシードの設定ページである。図９Ａに示すように、デバイス７００は、図９Ａで有効化されているマルチキャストオプション９００ａによって示される、マルチキャスト通知を受信するように構成されている。マルチキャストオプション９００ａが有効化されるため、マルチキャスト通知は、図９Ｂ～９Ｘに示されるようにデバイス７００によって受信される。いくつかの実施形態では、デバイス７００は、マルチキャストオプション９００ａに対応する場所でタップジェスチャ９５０ａを検出する。いくつかの実施形態では、タップジェスチャ９５０ａ（又は１つ以上の後続のタップジェスチャ）の検出に応答して、デバイス７００は、マルチキャストオプション９００ａを有効化から無効化に変更し、デバイス７００は、本明細書に記載されるフローに基づいて送信されるマルチキャストメッセージを受信するように構成されていない。したがって、いくつかの実施形態では、マルチキャストオプション９００ａが無効化されると、デバイス７００はマルチキャストメッセージを受信しない。
As shown in FIG. 9A,
図９Ｂ～９Ｈは、ある時間の期間にわたって表示されているマルチキャスト通知及び非マルチキャスト通知を示し、同時にマルチキャストオプション９００ａが有効化されている。具体的には、図９Ｂ～９Ｈは、デバイスの特定の目標グループにも向けられる新しいマルチキャスト通知が、所定の時間の期間内に受信されない限り、表示の消滅又は中止（例えば、所定の時間の期間後）のデバイスの特定の目標グループに向けられる（例えば、それに対応する）そのマルチキャスト通知（例えば、本明細書に記載の方法を使用して送信されるマルチキャストメッセージ）を示す。いくつかの実施形態では、デバイスの特定の目標グループは、ホーム（例えば、図６のホーム６０２）、部屋（例えば、図６のダイニングルーム６０２ｂ、寝室６０２ｃ）、又はゾーン（例えば、例えば図７Ｕに関連して説明されるような「娯楽ゾーン」）に指定されたデバイスのグループである。
Figures 9B-9H show multicast and non-multicast notifications displayed over a period of time while
例えば、図９Ｂでは、１０：００ ＡＭで、デバイス７００は、更新されたコンテンツがニュースアプリケーションによって公開されたことを示すデータを受信する。
For example, in FIG. 9B, at 10:00 AM,
図９Ｂに示すように、データの受信に応答して、デバイス７００は、ニュース通知９０２を含むユーザインタフェースを表示する。図９Ｂでは、ニュース通知９０２はマルチキャスト通知ではない。したがって、ニュース通知９０２は、マルチキャストオプション９００ａが有効化されているか無効にされているかにかかわらず、表示される。換言すれば、マルチキャストオプション９００ａの状態は、マルチキャスト通知ではないため、ニュース通知９０２に影響を与えない。
In response to receiving the data,
１０：０２ ＡＭで、デバイス７００は、新しい音声マルチキャストメッセージが（例えば、電子デバイス７００を含むデバイスに向けられて）ホーム６０２に送信されたことを示すデータ（「ホーム目標グループ」）を受信する。いくつかの実施形態では、データは、新しい音声マルチキャストメッセージの受信機としての目標グループ識別子（例えば、「ホーム」）を含む。
At 10:02 AM,
図９Ｃに示すように、データの受信に応答して、デバイス７００は、１０：０２ ＡＭで受信したデータを表す、マルチキャスト通知９０４を表示する。図９Ｃでは、マルチキャスト通知９０４は、ニュース通知９０２と同時に表示される。マルチキャスト通知９０４は、アプリケーション示唆９０４ａ、通知タイプ示唆９０４ｂ、送信者示唆９０４ｃ、目標示唆９０４ｄ、及び受信示唆の時間９０４ｅを含む。
As shown in FIG. 9C, in response to receiving the data,
アプリケーション示唆９０４ａは、通知を提供するアプリケーションを示す。ここで、アプリケーション示唆９０４ａは、ホームアプリケーションに指定され、図７Ａのホームアイコン７０４ａと類似している、グラフィカル表現アイコンを含む。
通知タイプ示唆９０４ｂは、通知の通知タイプを示す。ここで、通知タイプはマルチキャスト通知である。
送信者示唆９０４ｃは、音声マルチキャストメッセージの送信者を示す。ここで、送信者は、音声マルチキャストメッセージを送信するプロセスを開始したデバイス（例えば、ホーム目標グループにあるデバイス）と登録されている人物、ジョンである。いくつかの実施形態では、送信者が人物である場合、送信者の識別情報は、１つ以上の音声識別アルゴリズムを使用して、音声マルチキャストメッセージに対応する音声入力を分析する１つ以上のデバイスによって確立される。いくつかの実施形態では、送信者の識別情報が人物として確立できない場合、送信者示唆９０４ｃは、送信者が、音声マルチキャストメッセージを送信するデバイスなどのデバイス（例えば、「リビングスピーカ」）であることを示す。いくつかの実施形態では、送信者が人物として確立されておらず、例えば、人物が、音声マルチキャストメッセージを送信するためのプロセスを開始した送信者デバイスと登録されていないとき、及び／又は複数の人々が、音声マルチキャストメッセージを送信するためのプロセスを開始した送信者デバイスと登録されているときに、人物は送信者デバイスで確立されていない。
目標示唆９０４ｄは、音声マルチキャストメッセージが対応するデバイスの目標グループを示す。ここで、目標示唆９０４ｄは、ホーム目標グループ（例えば、「ホームから」）である。いくつかの実施形態では、（音声マルチキャストメッセージに対応する）目標グループは、図７Ｅ～７Ｆ、図７Ｊ～７Ｍ、及び図７Ｓ～７Ｕに関連して上述したように、音声マルチキャストメッセージの送信者によって識別されるグループである。いくつかの実施形態では、目標グループは、１つ以上のユーザ入力（例えば、音声入力（例えば、７９２ａ～７２９ｄ）及び／又はジェスチャ（例えば、７５０ｂ及び７５０ｇ３）に基づいて、音声マルチキャストメッセージの送信者によって識別される。いくつかの実施形態では、返信メッセージがデバイス７００で受信されるとき、目標グループは、最初の音声マルチキャストメッセージに基づいて識別される。例えば、デバイス７００は、デバイス７００が寝室６０２ｃに指定されたデバイスのグループに最初の音声マルチキャストメッセージを以前に向けた場合など、ある状況では寝室６０２ｃに対応する目標グループを有する返信音声マルチキャストメッセージを受信することができる。
受信示唆９０４ｅの時間は、通知が表示されたとき（又は、いくつかの実施形態では、通知に対応するデータが受信されたとき）を示す。ここで、受信示唆９０４ｅの時間は、通知が「ＮＯＷ（現在）」又は１０：０２ ＡＭで表示されたことを示す。
The time of
図９Ｄに示すように、１０：０９ ＡＭに、デバイス７００は、ニュース通知９０２の表示を継続し、マルチキャスト通知９０４の表示を中止する。いくつかの実施形態では、通知９０４は、マルチキャスト通知が表示されることを中止した後に、デバイス７００のユーザインタフェース上に全く表示されない。いくつかの実施形態では、通知９０４は、マルチキャスト通知が表示されることを中止した後の任意の他の時点で、図９Ｄのユーザインタフェース上に表示されない。いくつかの実施形態では、デバイスは、保留中の通知（例えば、ユーザによって影響を受けていない通知）を検視するためにユーザ入力を受信し、それに応じて、マルチキャスト通知９０４を表示することなく、新しい通知９０２を表示する。
At 10:09 AM,
図９Ｄに示すように、デバイス７００は、マルチキャスト通知９０４の減衰期間（例えば、１秒、３０秒、６０秒、３００秒など）の終了前（及び／又は所定の時間の期間内）、ホーム目標グループに対応する新しい音声マルチキャストメッセージに対応するデータが受信されないため、マルチキャスト通知９０４の表示を中止する（ディスプレイがオンの場合でも）。他方、デバイス７００は、ニュース通知９０２がマルチキャスト通知ではなく、所定の時間の期間が経過すると（及び、ディスプレイがオンである場合）、デバイス７００は、ニュース通知９０２の表示を継続する。
As shown in FIG. 9D, the
図９Ｅ～９Ｈは、図９Ｂ～９Ｄに関連して上述した例に加えて、技術の例を示す。図９Ｂ～９Ｄでは、マルチキャスト通知（例えば、所定の時間の期間）の減衰期間は、例示目的のみのために５分である。いくつかの実施形態では、減衰期間は５分より短く、又は長い。 Figures 9E-9H illustrate examples of techniques in addition to those described above in connection with Figures 9B-9D. In FIGS. 9B-9D, the decay period for multicast notifications (eg, predetermined time periods) is 5 minutes for illustrative purposes only. In some embodiments, the decay period is shorter or longer than 5 minutes.
１０：１０に、デバイス７００では、データの３つの異なる１組を受信する。データの第１の１組は、ホーム目標グループに対応する新しい音声マルチキャストメッセージが受信されたことを示す。データの第２の１組は、寝室６０２ｃに指定されたデバイスのグループ（「寝室目標グループ」）に対応する新しい音声マルチキャストメッセージが受信されたことを示す。データの第３の１組は、娯楽ゾーン（「娯楽ゾーン目標グループ」）に指定されたデバイスのグループ（「娯楽ゾーン目標グループ」）（例えば、リビングルーム６０２ｄ及びサンルーム６０２ｅに指定されたデバイスのグループの組み合わせ）に対応する新しい音声マルチキャストメッセージが受信されたことを示す。
At 10:10,
いくつかの実施形態では、データの第１の１組は、ホーム目標グループに対応する、最初の音声マルチキャストメッセージ又は返信音声マルチキャストメッセージ（例えば、デバイス７００が送信した最初の音声マルチキャストメッセージへの返信）を表す。いくつかの実施形態では、データの第２の１組のデータ及びデータの第３の１組は、それぞれ対応する目標グループに別々に送信された最初の音声マルチキャストメッセージに応答して受信される、返信音声マルチキャストメッセージ、すなわち、音声マルチキャストメッセージを表す。いくつかの実施形態では、データの第２の１組のデータ及びデータの第３の１組は、上述のように（例えば、図７Ｍ、図７Ｔ、図７Ｖ、及び図７Ｘ）、デバイス７００がゾーン又は部屋の目標グループに指定されておらず、それらの目標グループから送信される最初のメッセージを受信することができないため、それぞれの目標グループから受信される最初のメッセージではない。
In some embodiments, the first set of data is the initial audio multicast message or reply audio multicast message (eg, reply to the initial audio multicast message sent by device 700) corresponding to the home target group. represents In some embodiments, the second set of data and the third set of data are received in response to the first audio multicast message sent separately to the respective target groups; Represents a return audio multicast message, ie, an audio multicast message. In some embodiments, the second set of data and the third set of data are generated by
図９Ｅに示すように、３つのデータの１組の受信に応答して、デバイス７００はマルチキャスト通知９０６ａ、９０８ａ、及び９１０を表示する。デバイス７００はまた、ニュース通知９０２を表示し続ける。図９Ｅに示すように、通知は通知リストに表示される。リスト（例えば、ニュース通知９０２）の下部に最も古い通知が表示され、最も新しい通知はリストの最上部にある（例えば、マルチキャスト通知９１０）。したがって、通知９０６ａ、９０８ａ、及び９１０は、ほぼ同時に表示されたが、通知９０６ａ、９０８ａ、及び９１０は、図９Ｅに示す順序でそれぞれ表示された。いくつかの実施形態では、通知は、異なる順序で、又は異なる配列で表示される。
As shown in FIG. 9E,
図９Ｅに示すように、通知９０６ａは、音声マルチキャストメッセージがホーム目標グループから「ジョン」によって送信されたことを示す。通知９０８ａは、音声マルチキャストメッセージが寝室目標グループから「ジェーン」によって送信されたことを示し、通知９１０は、音声マルチキャストメッセージが、娯楽ゾーン目標グループから「エマ」によって送信されたことを示す。図９Ｅに示すように、新しいマルチキャスト通知のうちの３つ全ては、データが１０：１０ ＡＭに最近受信された（又は最近表示された）ため、「ＮＯＷ」の時間受信示唆を含む。しかしながら、そのデータが１０：００に受信された（又は通知が表示された）ため、ニュース通知９０２の時刻受信示唆は「１０分前」である。
As shown in Figure 9E,
１０：１１ ＡＭには、デバイス７００は、ホーム目標グループに対応する新しい音声マルチキャストメッセージが受信されたことを示すデータを受信する。
At 10:11 AM,
図９Ｆに示すように、新しいデータの受信に応答して、デバイス７００は、ホーム目標グループに対応する新しい音声マルチキャストメッセージを示すデータが受信されたため（例えば、１０：１１で受信したデータ）、マルチキャスト通知９０６ａの減衰期間が満了する前（例えば、マルチキャスト通知９０６ａを表示した、又は図９Ｅの第１のデータを受信した後の所定の時間の期間内）に、マルチキャスト通知９０６ｂを表示する。特に、デバイス７００は、通知９０６ａ及び９１０のディスプレイを更新せず、それらのそれぞれの目標グループに対応する新しい音声マルチキャストメッセージを示すデータが受信されておらず、その減衰期間が満了していない（例えば、それらは、それらの目標グループに対する新しいマルチキャストメッセージに対応するデータを受信することなく、５分を超えて表示されていない）ので、これらの通知の表示を継続する。
As shown in FIG. 9F, in response to receiving new data,
マルチキャスト通知９０６ｂは、デバイス７００が図９Ｆに表示を中止した、マルチキャスト通知９０６ａの更新バージョンである。図９Ｅを再び見ると、マルチキャスト通知９０６ａは、ジョンがホーム目標グループに対応するマルチキャストメッセージを送信したことを示す。図９Ｆに戻ると、マルチキャスト通知９０６ｂはまた、ホーム目標グループに対応する以前のマルチキャストメッセージ（通知９０６ａによる当初の表現のマルチキャストメッセージ）をジョンが送信した情報（例えば、通知９０６ｂの「ジョン」）も含む。加えて、マルチキャスト通知９０６ｂは、もう一方がホーム目標グループに対応するマルチキャストメッセージを送信した情報を含む。したがって、マルチキャスト通知９０６ｂは、２つの音声マルチキャストメッセージに関する情報を含み、すなわち、マルチキャスト通知９０６ｂは、ホーム目標グループに対応する第１の音声マルチキャストメッセージの送信者（「ジョン」）、及びホーム目標グループに対応する第２の音声マルチキャストメッセージの送信者（例えば、「もう一方」）を表す情報を含む。
図９Ｆに示すように、マルチキャスト通知９０６ｂは、直近の通知であるため、現在の時間受信示唆と共にリストの最上部に表示される。特に、ホーム目標グループに対応する新しい音声マルチキャストメッセージが受信された時間（例えば、１０：１１に受信されたデータ）を反映するために、図９Ｆでマルチキャスト通知９０６ｂの時間受信示唆が変更されるが、マルチキャスト通知９０６ａは図９Ｅでは１０：１０に最初に表示された（又は、マルチキャスト通知９０６ａに対応するデータが最初に受信された）。いくつかの実施形態では、マルチキャスト通知９０６ａはマルチキャスト通知９０６ｂと同時に表示される。いくつかの実施形態では、マルチキャスト通知９０６ａがマルチキャスト通知９０６ｂと同時に表示されるとき、マルチキャスト通知９０６ａの時刻受信示唆は、「ＮＯＷ」と書かれるように更新される。いくつかの実施形態では、マルチキャスト通知９０６ａの時刻表示を更新することにより、マルチキャスト通知９０６ａの減衰期間が延長される。いくつかの実施形態では、図９Ｆでのデータの受信は、マルチキャスト通知９０６ａ（例えば、又はマルチキャスト通知９０６ｂがマルチキャスト通知９０６ａによって表される音声マルチキャストメッセージを表すコンテンツを含むため、マルチキャスト通知９０６ａのコンテンツ）の減衰期間を延長する。
As shown in FIG. 9F,
図９Ｆに示すように、直近から少なくとも最近にそれぞれリスト表示される通知９１０、９０８ａ、及び９０２は、マルチキャスト通知９０６ｂの下にある。加えて、通知９１０、９０８ａ、及び９０２の時間受信示唆は、それぞれがそれぞれ表示された時間の長さ（又は各それぞれの通知に対応するデータが受信されたために経過した時間）を反映するように、図９Ｆで更新されている。
As shown in FIG. 9F,
１０：１２ ＡＭには、デバイス７００は、寝室目標グループに対応する新しい音声マルチキャストメッセージが受信されたことを示すデータを受信する。
At 10:12 AM,
図９Ｇに示すように、データの受信に応答して、デバイス７００は、寝室目標グループに対応する新しい音声マルチキャストメッセージを示すデータが受信されたため（例えば、１０：１２で受信したデータ）、マルチキャスト通知９０８ｂの減衰期間が満了する前（例えば、マルチキャスト通知９０６ｂを表示した、又は図９Ｅの第２のデータを受信した後の所定の時間の期間内）に、マルチキャスト通知９０８ｂを表示する。特に、デバイス７００は通知９０８ｂ及び９１０を更新せず、それらのそれぞれの目標グループに対応する新しい音声マルチキャストメッセージを示すデータが受信されておらず、それらの減衰期間が満了していないため、通知９０８ｂ及び９１０を表示し続ける。いくつかの実施形態では、マルチキャスト通知９０８ｂは、マルチキャスト通知９０６ｂに関して図９Ｆで上述したものと類似の技術を使用して表示される。
As shown in FIG. 9G, in response to receiving the data,
マルチキャスト通知９０８ｂは、デバイス７００が図９Ｇに表示を中止した、マルチキャスト通知９０８ａの更新バージョンである。図９Ｅを再び見ると、マルチキャスト通知９０８ａは、ジェーンが寝室目標グループに対応するマルチキャストメッセージを送信したことを示す。図９Ｇに戻ると、マルチキャスト通知９０８ｂは、２つのマルチキャストメッセージが、寝室目標グループに対応するジェーンによって送信されたことを示す。ここで、新しい送信者を含むマルチキャスト通知９０８ｂの代わりに、マルチキャスト通知９０８ｂは、マルチキャスト通知９０８ａと比較すると、それぞれの送信者によって送信された通知の増加量を表すコンテンツを表示する。いくつかの実施形態では、マルチキャスト通知９０８ａは、異なる送信者が新しいマルチキャストメッセージを送信したかどうかに関係なく、寝室目標グループから受信された通知の量の表現を含む。
図９Ｈに示されるように、マルチキャスト通知９０８ｂがリストの最上部に表示され、通知９０６ｂ、９１０、及び９０２は、直近から少なくとも最近の順序でマルチキャスト通知９０８ｂの下に表示される。
As shown in FIG. 9H,
図９Ｈに示すように、１０：１５ ＡＭに、マルチキャスト通知９１０の減衰期間が満了したため、デバイス７００はマルチキャスト通知９１０の表示を中止する。換言すれば、デバイス７００は、マルチキャスト通知９１０が最初に表示された（又は、娯楽目標グループに対応する音声マルチキャストメッセージを示すデータが受信された）ときの所定の時間内（又は、通知９１０の減衰期間の終了前）に、マルチキャスト通知９１０の目標グループ（例えば、「娯楽ゾーン」）に対応する新しい音声マルチキャストメッセージを示すデータを受信していない。したがって、図９Ｅを参照すると、デバイス７００は、データの第１及び第２の１組に示されたそれぞれの目標グループに対応するデータが各それぞれの通知の減衰期間が終了する前に受信され、一方、データの第３の１組に示された目標グループに対応するデータが、マルチキャスト通知９１０の減衰期間が終了する前に受信されなかったため、データの第１の１組を表すコンテンツ（例えば、マルチキャスト通知９０６ｂのジョン）及びデータの第２の１組を表すコンテンツ（例えば、マルチキャスト通知９０８ｂのマルチキャストのうちの１つ）を表示し続け、データの第３の１組を表すコンテンツをもはや表示しない（例えば、マルチキャスト通知９１０）。
As shown in FIG. 9H, at 10:15 AM,
図９Ｉ～９Ｐは、受信した音声マルチキャストメッセージの再生のためのユーザインタフェースを示す。具体的には、図９Ｉ～９Ｋは、複数の音声マルチキャストメッセージが、単一の入力に応答して自動的に再生されるシナリオを示す。加えて、図９Ｌ～９Ｐは、１つの受信された音声マルチキャストメッセージが、他の受信された音声マルチキャストメッセージのグループから選択され、再生されるシナリオを示す。図９Ｈでは、デバイス７００は、マルチキャスト通知９０６ｂに対応する場所でタップジェスチャ９５０ｈを検出する。
9I-9P show user interfaces for playback of received audio multicast messages. Specifically, FIGS. 9I-9K illustrate scenarios in which multiple audio multicast messages are automatically played in response to a single input. Additionally, Figures 9L-9P illustrate scenarios in which one received audio multicast message is selected from a group of other received audio multicast messages and played. In FIG. 9H,
図９Ｉに示すように、タップジェスチャ９５０ｈの検出に応答して、デバイス７００は、ユーザインタフェース９２０を表示する。ユーザインタフェース９２０は、（図９Ｉで「ホームからのマルチキャスト」によって示されるように）ホーム目標グループに対応する音声マルチキャストメッセージである、マルチキャスト通知９０６ｂに示される音声マルチキャストメッセージを表示するためのユーザインタフェースである。ユーザインタフェース９２０は、マルチキャスト通知９０６ｂで表される音声マルチキャストメッセージのうちの１つをそれぞれ表す、グラフィカル送信者示唆９２４ａ及びグラフィカル送信者示唆９２４ｂを含む。ここで、グラフィカル送信者示唆９２４ａはグラフィカル送信者示唆９２４ｂよりも大きく、ユーザインタフェースの中央では、グラフィカル送信者示唆９２４ａに対応する音声マルチキャストメッセージが現在再生のために選択されていることを示す。グラフィカル送信者示唆９２４ａは、スピーカデバイスの画像であり、図９Ｆで１０：１１ ＡＭに受信された「もう一方」によって送信された音声マルチキャストメッセージに対応するデータを表す。グラフィカル送信者示唆９２４ｂはジョンの画像（すなわち、図７ＡＢのジョンＡ．の画像を含む７９７ａ）であり、データの代表は、図９Ｅで１０：１０ ＡＭに受信されたジョンによって送信された音声マルチキャストメッセージに対応する。いくつかの実施形態では、音声メッセージは、受信された順序で表示される（例えば、図９Ｅでは、グラフィカル送信者示唆９２４ｂ及びグラフィカル送信者示唆９２４ｂが切り替えられる）。ユーザインタフェース９２０は、ユーザインタフェース（又は最大のグラフィカル送信者示唆）の中央に表示されるスピーカ又はデバイスに指定された名前を示す、現在の送信者示唆９２２ａを更に含む。ここで、現在の送信者示唆９２２ａは、スピーカが「リビングルーム」の名前を有し、送信者からの音声マルチキャストメッセージが現在再生中であるか、又は再生アフォーダンス９２６の選択によって現在再生され得ることを示す。加えて、デバイス７００はまた、現在選択されている音声マルチキャストメッセージが、再生することができる１０秒の長さを有することを示す、残りの示唆９２８、及び選択された音声マルチキャストメッセージが、ホーム目標グループに対応する音声マルチキャストメッセージの総数のうちの２つのメッセージ１であることを表すカウント示唆９３０を表示する。いくつかの実施形態では、設定が音声マルチキャストメッセージの音声表記を可能にすることが有効なとき、ユーザインタフェース９２０は、現在選択されている音声マルチキャストメッセージの文字表現を含む。
In response to detecting
図９Ｉに示すように、デバイス７００は、寝室目標グループに対応する新しい音声マルチキャストメッセージが受信されたことを示すデータを受信し、データの受信に応答してマルチキャスト通知９４０を表示する。いくつかの実施形態では、デバイス７００は、以下の図９Ｌに関連して説明されるように、この受信されたデータに基づいて通知のリストを更新する。図９Ｉでは、デバイス７００は、再生アフォーダンス９２６に対応する場所でタップジェスチャ９５０ｉを検出する。
As shown in FIG. 9I,
図９Ｊ～９Ｋに示すように、タップジェスチャ９５０ｉの検出に応答して、デバイス７００は、メディアの再生を開始する。図９Ｊに示すように、デバイス７００は、ホーム目標グループに対応する最後に受信した音声マルチキャストメッセージを再生する（例えば、上記の図９Ｆで１０：１１に受信した）。図９Ｊでは、現在選択されている音声マルチキャストメッセージ（例えば、１０：１１に受信した「もう一方」からの音声マルチキャストメッセージ）を再生している間に、デバイス７００は、時刻表示９３２を表示し、示唆９２８及び９３０を更新する。図９Ｋに示すように、デバイス７００は、現在、ホーム目標グループに対応する第１の音声マルチキャストメッセージを再生している（例えば、上記の図９Ｅのジョンから１０：１０に受信した）。特に、デバイス７００は、ホーム目標グループに対応する最後の音声マルチキャストメッセージの再生を完了した後に（例えば、タップジェスチャ９５０ｉを検出した後に追加入力を受信することなく）、自動的に第１の音声マルチキャストメッセージを再生する。
As shown in FIGS. 9J-9K, in response to detecting
図９Ｌに示すように、図９Ｋでユーザインタフェースを表示した後しばらくして、デバイス７００は通知のリストを再表示する。ここで、通知９０２ｂは表示を中止している。いくつかの実施形態では、通知９０２ｂは、通知に対応する場所でジェスチャが検出されたこと及び／又は音声マルチキャストメッセージのうちの任意の１つ以上が図９Ｊ～９Ｋで再生されたことから表示を中止している。いくつかの実施形態では、その減衰期間が、ホーム目標グループに対応する新しいマルチキャストが受信される前に（例えば、１０：１６ ＡＭで）終了したため、通知９０２ｂは表示を中止する。
As shown in FIG. 9L, some time after displaying the user interface in FIG. 9K,
図９Ｌでは、デバイス７００はまた、マルチキャスト通知９０８ｃを表示しており、マルチキャスト通知９０８ｂの表示を中止している。マルチキャスト通知９０８ｃは、図９Ｉで受信した音声マルチキャストメッセージに対応する参照データに更新されたマルチキャスト通知９０８ｂの更新バージョンであり、図９Ｉではマルチキャスト通知９４０によって表された。したがって、マルチキャスト通知９０８ｂは、寝室目標グループに対応する２つのマルチキャスト通知が受信されたことを示すコンテンツを含んでいるが、マルチキャスト通知９０８ｃは、寝室目標グループに対応する３つのマルチキャスト通知が受信されたことを示すコンテンツを含むように更新されている。図９Ｌでは、デバイス７００は、マルチキャスト通知９０８ｃに対応する場所で押圧及び保持ジェスチャ９５０ｌを検出する。いくつかの実施形態では、デバイス７００は、ジェスチャが検出（又は保持）され続けている間に、押圧及び保持ジェスチャ９５０ｌを検出する。いくつかの実施形態では、デバイス７００は、ジェスチャが解放された後に、押圧及び保持ジェスチャを検出する。
In FIG. 9L,
図９Ｍに示すように、押圧及び保持ジェスチャ９５０ｌの検出に応答して、デバイス７００は、（例えば、押圧及び保持ジェスチャ９５０ｌを検出し続けながら、押圧及び保持ジェスチャ９５０ｌの終了後）ユーザインタフェース９６０を表示する。ユーザインタフェース９６０は、（図９Ｉ～９Ｋに関連して上述したように）ユーザインタフェース９２０に類似のユーザインタフェース要素を含む。しかしながら、ユーザインタフェース９６０は、ユーザインタフェース９２０よりも小さいエリアを有する。ユーザインタフェース９６０が寝室目標グループから音声マルチキャストメッセージを再生するためのユーザインタフェースである間、デバイス７００は、ユーザインタフェース９２０に関して上述したような１つ以上の技術を使用することができる。いくつかの実施形態では、開いているアフォーダンス９６２上のユーザ入力９５０ｍ１の検出に応答して、デバイス７００は、ユーザインタフェース９６０の表示を中止し、ユーザインタフェース９２０と類似のサイズのユーザインタフェースを表示する。図９Ｍでは、デバイス７００は、ユーザインタフェース９６０に対応する場所でスワイプジェスチャ９５０ｍ２を検出する。
As shown in FIG. 9M, in response to detecting the press and hold gesture 950l, the
図９Ｎに示すように、第１のジェスチャ（例えば、スワイプジェスチャ９５０ｍ２）の検出に応答して、デバイス７００は、現在選択されている音声マルチキャストメッセージを、寝室目標グループに対応する最後に受信された音声マルチキャストメッセージ（例えば、その対応するデータが図９Ｉで受信された場合）から寝室目標グループに対応する第２の最後に受信された音声マルチキャストメッセージ（例えば、その対応するデータが図９Ｇで受信された場合）に変更する。図９Ｎでは、デバイス７００は、ユーザインタフェース９６０に対応する場所でスワイプジェスチャ９５０ｎを検出する。
As shown in FIG. 9N, in response to detecting the first gesture (eg, swipe gesture 950m2),
図９Ｏに示すように、第２のジェスチャ（例えば、スワイプジェスチャ９５０ｎ）の検出に応答して、デバイス７００は、現在選択されている音声マルチキャストメッセージを、寝室目標グループに対応する第２の最後に受信された音声マルチキャストメッセージ（例えば、その対応するデータが図９Ｆで受信された場合）から寝室目標グループに対応する第１に受信された音声マルチキャストメッセージ（例えば、その対応するデータが図９Ｅで受信された場合）に変更する。図９Ｏでは、デバイス７００は、ユーザインタフェース９６０（例えば、再生アフォーダンス９２６上）に対応する場所でタップジェスチャ９５０ｏを検出する。
As shown in FIG. 9O, in response to detecting a second gesture (eg,
図９Ｐに示すように、タップジェスチャ９５０ｏ、デバイス７００の検出に応答して、デバイス７００は、他の音声マルチキャストメッセージの再生を開始することなく、寝室目標グループに対応する第１に受信された音声マルチキャストメッセージ（例えば、現在選択されている）の再生を開始する。いくつかの実施形態では、図９Ｐ（又は９Ｉ～９Ｊ）で、デバイス７００は、マルチキャストアフォーダンス７３６に対応する場所でタップジェスチャ９５０ｐを検出し、タップジェスチャ９５０ｐの検出に応答して、マルチキャストアフォーダンス７３６に対応する場所で、デバイス７００は、上述のように（例えば、図７Ｃ及び図７Ｉ）、１つ以上の入力デバイスを介して、メディアの記録を開始する。いくつかの実施形態では、図９Ｐでは、デバイス７００は、（上述のように）音声入力７２０ａなどの１つ以上の音声入力を検出して、ジェーンに再生するために、寝室目標グループに対応する音声マルチキャストメッセージを送信する。
As shown in FIG. 9P, in response to detecting the tap gesture 950o, the
図９Ｑ～９Ｖは、スマートウォッチ７０１などのデバイス７００よりも小さいディスプレイを有するデバイス上に上述のユーザインタフェースを表示するための例示的なユーザインタフェースを示す。上述したユーザインタフェースのいずれかは、図９Ａ～９Ｐのために上述したものと１つ以上の類似の技術を使用して、スマートウォッチ７０１（例えば、ユーザインタフェース９７０、９７２、９７４、９７６、９７８、及び９８０）（又はタブレット６３４）上で表示及び遷移することができる。
9Q-9V illustrate exemplary user interfaces for displaying the user interfaces described above on a device having a smaller display than
図９Ｗ～９Ｘは、コンピュータデバイス６７４などのデバイス上で上述したユーザインタフェースを表示するための例示的なユーザインタフェースを示す。上述のように、いくつかの実施形態では、コンピュータデバイス６７４は、１つ以上のユーザインタフェースを表示するためのコンピュータデバイス６７４の命令を送信する１つ以上のデバイスと通信する。上述したユーザインタフェースのいずれかは、図９Ａ～９Ｐのために上述したものと１つ以上の類似の技術を使用して、コンピュータデバイス６７４（例えば、ユーザインタフェース９９６及び９９８）上で表示及び遷移することができる。
9W-9X illustrate exemplary user interfaces for displaying the user interfaces described above on a device such as
図１０は、いくつかの実施形態に係る、コンピュータシステムを使用した通知を表示するための方法を示すフロー図である。方法１０００は、ディスプレイ生成構成要素と通信するコンピュータシステム（例えば、１００、３００、５００、６３４、６７４、７００、７０１、８５０）で実行される。方法１０００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
FIG. 10 is a flow diagram illustrating a method for displaying notifications using a computer system, according to some embodiments.
後述するように、方法１０００は、通知を表示するための直観的方法を提供する。この方法は、通知を検視する際のユーザの認識的負担を軽減し、それにより、より効率的なヒューマン－マシンインタフェースを作り出す。バッテリ動作式コンピューティングデバイスの場合、ユーザがより高速かつ効率的に通知にアクセスすることを有効化することで、電力を節約し、バッテリ充電間の時間を延ばす。
As described below,
コンピュータシステムは、第１のメディアに対応する第１のデータを受信する（１００２）。 A computer system receives (1002) first data corresponding to a first medium.
コンピュータシステムは、（例えば、第１のデータの受信に応答して）ディスプレイ生成構成要素を介して、第１の時間周期の端部（例えば、所定の第１の時間周期）まで、第１のメディア（例えば、９０４ｂ、９０４ｃ）（例えば、第１のデータに対応する通知）（例えば、第１のメディアを再生するプロセスを開始するために選択可能な通知）の示唆を有する第１の通知（例えば、９０６ａ、９０８ａ、９１０）を表示する（１００４）。 The computer system, via the display generation component (eg, in response to receiving the first data), until the end of the first time period (eg, a predetermined first time period), displays the first A first notification (e.g., 904b, 904c) (e.g., a notification corresponding to first data) (e.g., a notification selectable to initiate a process of playing the first media) with an indication of media (e.g., 904b, 904c) For example, 906a, 908a, 910) are displayed (1004).
コンピュータシステムは、第１のデータを受信した後（例えば、第１の通知のディスプレイの開始後）、第２のメディアに対応する第２のデータを受信するものであって（１００６）、第２のメディア（例えば、９Ｊの９３２）は、第１のメディア（例えば、９Ｋの９３２）とは異なる。 After receiving the first data (e.g., after initiating display of the first notification), the computer system receives second data corresponding to the second media (1006); (eg, 932 of 9J) is different from the first media (eg, 932 of 9K).
コンピュータシステムは、第２のメディアが１つ以上の基準の１組を満たすとの判定に従い（及び、いくつかの実施形態では、１つ以上の基準は、第２のメディアが第１のメディアと同じ目標グループに向けられたときに満たされる基準を含み）、並びに（１）第２のデータが受信された時間、及び（２）第１のデータが受信された時間に基づく判定（例えば、第２のデータが、第１のデータが受信された後に所定の時間内に受信されたとの判定）に従って、ディスプレイ生成構成要素を介して、第２の時間周期の端部まで（例えば、第２のデータの受信に応答して）表示する（１００８）。いくつかの実施形態では、第２の時間周期は、第２のデータの受信に基づく。いくつかの実施形態では、第２の時間周期は、第１のデータの受信に基づくものではない。いくつかの実施形態では、第２の時間周期は、所定の第２の時間周期である）、第１のメディア（例えば、９Ｋの９３２）（例えば、少なくとも第１のデータに対応する通知）（例えば、少なくとも第１のメディアを再生するためのプロセスを開始するために選択可能な通知）（例えば、少なくとも第１のデータの受信を示す通知）の示唆（例えば、９０６ｂの示唆（例えば、「ジョン」）、９０８ｂ（例えば、「２」））を有する第２の通知（例えば、９０６ｂ、９０８ｂ、９０８ｃ）、ここで、第１の時間周期の端部は、第２の時間周期の端部と異なる。いくつかの実施形態では、第２の通知は、第１の通知である。いくつかの実施形態では、第２の通知は、第１の通知とは異なる（例えば、第２の通知は、（１）第１のメディアに対応する情報と、（２）第２のメディアに対応する情報とを組み合わせる通知である）。いくつかの実施形態では、第２の通知は、第１の時間周期の後に表示される（例えば、最初に表示される）。いくつかの実施形態では、第２のメディアの受信が第１のメディアの受信の所定時間内であるとき、第１のメディアに対応する情報が表示される時間の長さが延長される。いくつかの実施形態では、第２の時間周期は、第１のデータが受信されたときと第２のデータが受信されたときとの間の差に基づいて決定される。いくつかの実施形態では、メディア（例えば、第１のメディア、第２のメディア）は、別のデバイスで記録され、第１のデータ及び第２のデータを受信するコンピュータシステムを含む、デバイスのグループに送信された音声メッセージである。いくつかの実施形態では、１つ以上の基準の１組は、第１のメディアのディスプレイ期間（例えば、通知が有効である持続時間、通知が通知の集合に表示される持続時間）の端部の前に第２のメディアが受信されたときに満たされる基準を含む。いくつかの実施形態では、１つ以上の基準の１組は、（例えば、第１の通知のアクティブ化を介して、第１の通知をクリアするユーザ入力を介して）第１の通知を表示することを停止する前に第２のメディアが受信されたときに満たされる基準を含む。特定の基準が満たされたときに第２の通知に関連した第１の通知に含まれる通知を含む第２の通知を動的に表示することにより、ユーザに、第２の通知と第１の通知の間の関係についてのフィードバックを提供し、同時にまた、第１の通知の表示を中止した場合であっても、第１の通知に含まれる示唆を表示し続けることを可能にする。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ－システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用することを有効化することによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。 The computer system follows a determination that the second medium satisfies a set of one or more criteria (and, in some embodiments, the one or more criteria determine whether the second medium meets the first medium). and (2) determinations based on (1) the time the second data is received, and (2) the time the first data is received (e.g., the criteria that are met when directed to the same target group); 2 data is received within a predetermined time period after the first data is received), through the display generation component until the end of the second time period (e.g., the second display (1008) in response to receiving the data. In some embodiments, the second time period is based on receiving the second data. In some embodiments, the second time period is not based on receiving the first data. In some embodiments, the second time period is a predetermined second time period), the first media (e.g., 932 of 9K) (e.g., notifications corresponding to at least the first data) ( e.g., a notification selectable to initiate a process for playing at least the first media) (e.g., a notification indicating receipt of at least the first data) (e.g., an indication of 906b (e.g., "John '), a second notification (eg, 906b, 908b, 908c) with 908b (eg, '2'), where the end of the first time period is the end of the second time period. different. In some embodiments, the second notification is the first notification. In some embodiments, the second notification is different than the first notification (eg, the second notification includes (1) information corresponding to the first medium and (2) information corresponding to the second medium). It is a notification that combines the corresponding information). In some embodiments, the second notification is displayed after the first time period (eg, displayed first). In some embodiments, the length of time the information corresponding to the first media is displayed is extended when the reception of the second media is within a predetermined time period of the reception of the first media. In some embodiments, the second time period is determined based on the difference between when the first data is received and when the second data is received. In some embodiments, the media (e.g., first media, second media) are recorded on separate devices, and a group of devices including a computer system that receives the first data and the second data. A voice message sent to In some embodiments, the set of one or more criteria is the end of the display period of the first media (e.g., the duration for which the notification is valid, the duration for which the notification is displayed in the set of notifications) contains criteria that are met when the second media is received before . In some embodiments, the set of one or more criteria displays the first notification (eg, via activation of the first notification, via user input clearing the first notification) It contains criteria that are met when the second media is received before it stops playing. By dynamically displaying a second notification that includes a notification included in the first notification that is related to the second notification when certain criteria are met, the user is informed about the second notification and the first notification. It provides feedback on the relationship between the notifications, while also allowing the suggestions contained in the first notification to continue to be displayed even if the display of the first notification ceases. Improve the usability of the computer system by providing the user with improved visual feedback (e.g., assist the user in providing appropriate input when operating/interacting with the computer system) reduce power usage by making the user-system interface more efficient (by reducing user errors), as well as enabling users to use the computer system more quickly and efficiently and improve the battery life of your computer system.
いくつかの実施形態では、第１の通知（例えば、９０６ａ）は、第２のデータが受信される時に（例えば、第２のメディアが１つ以上の基準の１組を満たすとの判定に従って）表示されている。いくつかの実施形態では、第２の通知（例えば、９０６ｂ）の表示の一部として、コンピュータシステムは、第１の通知の表示を中止する（例えば、図９Ｅで）。いくつかの実施形態では、第２のメディアが１つ以上の基準の１組を満たすとの判定に従い（及び、いくつかの実施形態では、１つ以上の基準は、第２のメディアが第１のメディアと同じ目標グループに向けられたときに満たされる基準を含む）、及び第２のデータが第１のデータが受信された後の所定の時間内に受信されたとの判定に従って、第１の通知の表示を停止する。第２の通知が第１の通知に関する情報を含むときに第１の通知を表示することを停止することにより、ユーザインタフェースを乱すことなく、第１の通知の情報に関するフィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ－システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用することを有効化することによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。 In some embodiments, the first notification (eg, 906a) is sent when the second data is received (eg, in accordance with a determination that the second media meets a set of one or more criteria). is displayed. In some embodiments, as part of displaying the second notification (eg, 906b), the computer system ceases displaying the first notification (eg, in FIG. 9E). In some embodiments, according to a determination that the second medium satisfies a set of one or more criteria (and in some embodiments, the one or more criteria are such that the second medium media), and determining that the second data was received within a predetermined time period after the first data was received. Stop showing notifications. By stopping displaying the first notification when the second notification contains information about the first notification, feedback is provided to the user regarding the information in the first notification without disrupting the user interface. . Improve device usability by providing users with improved visual feedback (e.g., assist users in providing appropriate input when operating/interacting with a computer system). It makes the user-system interface more efficient (by reducing user error), as well as reducing power usage by enabling users to use computer systems more quickly and efficiently. , to improve the battery life of computer systems.
いくつかの実施形態では、第１のメディアは、第１の音声メッセージ（例えば、９Ｋの９３２）（例えば、外部デバイスで（マイクロフォンを使用して）記録され、外部デバイスによってデバイスのグループに送信される音声メッセージ、コンピュータシステムを含む複数の外部デバイスに向けられた（例えば、送信された）音声メッセージ）である。いくつかの実施形態では、第２の音声メッセージは、第２の複数の外部デバイス（例えば、複数の外部デバイスとは異なる、複数の外部デバイスと同じ）に向けられた（又は送信された）第２の音声メッセージである。マルチキャストされた音声メッセージに関連付けられた通知を表示することは、通知のタイプに関する視覚的フィードバックをユーザに提供し、これにより、通知が減衰し、所定の時間の期間に応答される必要があることをユーザに識別させる。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ－システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用することを有効化することによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。 In some embodiments, the first media is a first voice message (e.g., 932 of 9K) (e.g., recorded by an external device (using a microphone) and transmitted by the external device to a group of devices. voice messages directed to (eg, sent to) multiple external devices, including computer systems. In some embodiments, the second voice message is directed to (or sent to) a second plurality of external devices (eg, the same plurality of external devices, different from the plurality of external devices). 2 voice message. Displaying a notification associated with a multicast voice message provides visual feedback to the user as to the type of notification, indicating that the notification should decay and be responded to within a predetermined time period. is identified by the user. Improve the usability of the computer system by providing the user with improved visual feedback (e.g., assist the user in providing appropriate input when operating/interacting with the computer system) reduce power usage by making the user-system interface more efficient (by reducing user errors), as well as enabling users to use the computer system more quickly and efficiently and improve the battery life of your computer system.
いくつかの実施形態では、第１の通知（例えば、９０４）は、第１のメディア（例えば、９Ｋの９３２）が（例えば、メディアに対応する第１のデータが送信された）複数の外部デバイスのグループの示唆（例えば、９０４ｄ）を含む。いくつかの実施形態では、第１のデータは、第１のメディアが向けられた複数の外部デバイスのグループを識別する。いくつかの実施形態では、複数の外部デバイスはコンピュータシステムを含む。第１のメディアが向けられたデバイスのグループの示唆を含む通知を表示することにより、ユーザに、再生メッセージを送信及び／又は受信するデバイスに関するフィードバックが提供される。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ－システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用することを有効化することによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。 In some embodiments, the first notification (eg, 904) indicates that the first media (eg, 932 of 9K) is (eg, the first data corresponding to the media was sent) multiple external devices. group suggestions (eg, 904d). In some embodiments, the first data identifies a group of multiple external devices to which the first media is directed. In some embodiments, the plurality of external devices includes computer systems. By displaying a notification that includes an indication of the group of devices to which the first media is directed, the user is provided with feedback regarding the devices sending and/or receiving the playback message. Improve the usability of the computer system by providing the user with improved visual feedback (e.g., assist the user in providing appropriate input when operating/interacting with the computer system) reduce power usage by making the user-system interface more efficient (by reducing user errors), as well as enabling users to use the computer system more quickly and efficiently and improve the battery life of your computer system.
いくつかの実施形態では、第１のデータの受信に応答して、コンピュータシステムは、第１の時間周期（例えば、所定の第１の時間周期）の端部まで、第１の通知（例えば、９０６ａ）を通知の集合（例えば、図９Ｂ～９Ｈに表示された通知）（例えば、通知の集合の表示を要求するユーザ入力に応答して表示され、ディスプレイのためにアクセス可能な通知の集合、最近の通知のリスト表示）に追加する、いくつかの実施形態では、第１の時間周期の端部に到達することに従い、コンピュータシステムは、通知の集合から第１の通知（例えば、９０４）を除去する。いくつかの実施形態では、第１の時間周期の端部の前に、第２のメディアに対応する第２のデータを受信することに従い、及び第２のメディアが１つ以上の基準の１組を満たすとの判定に従って、コンピュータシステムは、通知の集合から第１の通知（例えば、９０６ａ）を除去し、通知の集合に第２の通知（例えば、９０６ｂ）を追加する。いくつかの実施形態では、第１の所定の時間周期の端部の前に、メディアに対応するデータを受信することに従い、及び第２のメディアが１つ以上の基準の１組を満たさないとの判定に従って、通知の集合から第１の通知を除去することなく、通知の集合に第２の通知を追加する。いくつかの実施形態では、コンピュータシステムは、第１の通知のためにディスプレイの端部条件が満たされることに従って、通知の集合から第１の通知を除去する。通知に関連する追加のデータ（例えば、更新なし、又は新たなメディアなし）が特定の時間の期間内に受信されていないときに通知を削除することを選択することにより、デバイスは、ユーザが通知を手動で削除することを必要とせずに、ＵＩを乱すユーザに失効（例えば、古い、非関連）通知を提供することを回避することができる。更なるユーザ入力を必要とせずに１組の状態が満たされた場合に最適化された動作を実行することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ－システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用することを有効化することによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。 In some embodiments, in response to receiving the first data, the computer system sends a first notification (e.g., 906a) a set of notifications (e.g., the notifications displayed in FIGS. 9B-9H) (e.g., a set of notifications displayed in response to user input requesting display of a set of notifications and accessible for display; list display of recent notifications), in some embodiments, upon reaching the end of the first time period, the computer system retrieves the first notification (e.g., 904) from the collection of notifications. Remove. In some embodiments, prior to the end of the first time period, according to receiving second data corresponding to the second medium, and the second medium is the set of one or more criteria , the computer system removes the first notification (eg, 906a) from the set of notifications and adds the second notification (eg, 906b) to the set of notifications. In some embodiments, according to receiving data corresponding to the media before the end of the first predetermined time period, and if the second media does not meet the set of one or more criteria. adding a second notification to the set of notifications without removing the first notification from the set of notifications according to the determination of . In some embodiments, the computer system removes the first notification from the set of notifications according to the display edge condition being met for the first notification. By choosing to delete a notification when no additional data related to the notification (e.g., no updates or no new media) has been received within a certain period of time, the device will allow the user to can be avoided from providing stale (e.g., old, irrelevant) notifications to users that clutter the UI without having to manually delete the . Improve the usability of a computer system (e.g., operate the computer system/computer system make the user-system interface more efficient (by helping the user to provide appropriate input and reduce user error when interacting with the Reduce power usage and improve computer system battery life by enabling the use of
いくつかの実施形態では、第１のデータは、第１のメディアが向けられた（例えば、送信された）複数の外部デバイスの目標グループを識別する。いくつかの実施形態では、第１のメディア（例えば、及び、通知がアクティブ化されるとき、第１のメディア（例えば、第１の音声メッセージ）を再生するためのプロセスを開始する）に対応する通知（例えば、９０６ａ、９０８ａ、９１０）（例えば、第１の通知）を表示している間に、コンピュータシステムは、第３のメディアに対応する第３のデータを受信する（１０１０）。いくつかの実施形態では、第３のメディアに対応する第３のデータの受信に応答し（１０１２）、及び第３のメディアが１つ以上の基準の１組を満たすとの判定に従って（いくつかの実施形態では、１つ以上の基準は、メディアが第１のメディアと同じデバイスの目標グループに向けられたときに満たされる基準を含む）、コンピュータシステムは、第１のメディア（例えば、及び、通知がアクティブ化すると、第１のメディア（例えば、第１の音声メッセージ）を再生するためのプロセスを開始する）に対応する通知（例えば、第１の通知、第２の通知）が表示される（例えば、図９Ｆの９０６ｂ）間、持続時間を延長する（１０１４）。いくつかの実施形態では、第３のメディアに対応する第３のデータの受信に応答し（１０１２）、及び第３のメディアが１つ以上の基準の１組を満たさないとの判定に従って（例えば、第３のメディアは、第１のメディアと比較して、目標デバイスの異なる１組に向けられた）、コンピュータシステムは、第１のメディアに対応する通知が表示される間（例えば、図９Ｆの９０８ａ、９１０）持続時間を延長することを取り止める（１０１６）。いくつかの実施形態では、コンピュータシステムが１つ以上の基準の１組を満たすメディアに対応する追加のデータを受信すると、デバイスは、１つ以上の基準の１組を満たすメディアに応答して表示された直前の通知が、時間周期の端部に到達することに基づいて表示されることをまだ中止していない限り、ディスプレイ生成構成要素を介して通知が表示される間、持続時間を延長し続ける。したがって、音声メッセージが、目標デバイス（例えば、外部デバイス）の同じ１組に向けられて受信されると、音声メッセージのそのチェーンに関する通知は、直近に受信された音声メッセージが、ディスプレイのための対応する所定の時間周期に到達しない限り、継続して表示される。通知に関連する更新された情報が所定の時間の期間受信されたかどうかに基づいて、通知の減衰期間を延長するかどうかを選択することにより、ユーザが通知を手動で更新／削除する必要なしに、デバイスは新規の（例えば、新しい、関連する）通知をユーザに提供すると同時に、ＵＩを乱すユーザへの失効通知（例えば、古い、非関連）の提供を回避することができる。更なるユーザ入力を必要とせずに１組の状態が満たされた場合に最適化された動作を実行することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ－システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用することを有効化することによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
In some embodiments, the first data identifies a target group of multiple external devices to which the first media is directed (eg, transmitted). In some embodiments, correspond to the first media (eg, and initiate a process to play the first media (eg, the first voice message) when the notification is activated) While displaying the notifications (eg, 906a, 908a, 910) (eg, the first notification), the computer system receives (1010) third data corresponding to a third medium. In some embodiments, in response to receiving 1012 third data corresponding to the third media, and in accordance with a determination that the third media satisfies a set of one or more criteria (some In an embodiment of , the one or more criteria include criteria that are met when the media is directed to the same target group of devices as the first media), the computer system controls the first media (e.g., and Upon activation of the notification, a corresponding notification (eg, first notification, second notification) is displayed, which initiates a process for playing the first media (eg, first voice message). Extend the duration (1014) while (eg, 906b in FIG. 9F). Some embodiments respond 1012 to receiving third data corresponding to the third media, and in accordance with a determination that the third media does not meet a set of one or more criteria (e.g. , the third media was directed to a different set of target devices as compared to the first media), the computer system will display the notification corresponding to the first media (e.g., FIG.
いくつかの実施形態では、第２のメディアが１つ以上の基準の１組を満たすとの判定に従って、第２の通知（例えば、１つ以上の基準の１組を満たす）は、第２の通知によって表される第１のメディア（例えば、音声メッセージの数）を含む、メディアの数（例えば、９０８ａ及び９０８ｂ）に基づく（例えば、を示す）インジケータ（例えば、数）を含む。いくつかの実施形態では、通知のチェーンの第１の通知の後の後続の通知それぞれは、表示されている通知によって表されるメディアの数（例えば、音声メッセージの数）の示唆を含む。例えば、通知がチェーンの第５の通知である場合、通知は、通知が５つの受信されたメディア（例えば、５つの音声メッセージ）に対応することを示す。いくつかの実施形態では、第２のメディアが１つ以上の基準の１組を満たさないとの判定に従って、第２の通知（例えば、１つ以上の基準の１組を満たす）は、第２の通知によって表される第１のメディア（例えば、音声メッセージの数）を含む、メディアの数に基づく（例えば、を示す）インジケータ（例えば、数）を含まない。デバイスの目標グループから受信されたメディアアイテムの数（音声マルチキャストメッセージ（例えば、１つ以上のデバイスにマルチキャストされた音声メッセージ））の示唆を更新することにより、現在の状態、デバイスの遵守された目標グループに対して受信されたメディアアイテムの数に関するフィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ－システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用することを有効化することによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。 In some embodiments, upon determining that the second media satisfies the set of one or more criteria, the second notification (eg, satisfies the set of one or more criteria) is sent to the second Includes an indicator (eg, number) based on (eg, showing) the number of media (eg, 908a and 908b), including the first media represented by the notification (eg, the number of voice messages). In some embodiments, each subsequent notification after the first notification in a chain of notifications includes an indication of the number of media (eg, number of voice messages) represented by the displayed notification. For example, if the notification is the fifth notification in the chain, the notification indicates that the notification corresponds to 5 received media (eg, 5 voice messages). In some embodiments, following a determination that the second media does not meet the set of one or more criteria, the second notification (eg, meeting the set of one or more criteria) is sent to the second does not include an indicator (eg, a number) based on (eg, indicating) the number of media that includes the first media (eg, the number of voice messages) represented by the notification. By updating indications of the number of media items (audio multicast messages (e.g., audio messages multicast to one or more devices)) received from the device's target group, the current state, the device's adhered goals Feedback is provided to the user regarding the number of media items received for the group. Improve the usability of the computer system by providing the user with improved visual feedback (e.g., assist the user in providing appropriate input when operating/interacting with the computer system) reduce power usage by making the user-system interface more efficient (by reducing user errors), as well as enabling users to use computer systems more quickly and efficiently and improve the battery life of your computer system.
いくつかの実施形態では、第２の通知は、第１のメディアの示唆を含む。いくつかの実施形態では、第２の通知（例えば、６０２ｂ）を表示している間に、コンピュータシステムは、第２の通知に向けられた入力（例えば、９５０ｈ）を受信する。いくつかの実施形態では、第２の通知に向けられた入力の受信に応答して（例えば、及び第２のメディアが１つ以上の基準の１組を満たすとの判定に従って）、コンピュータシステムは、第１のメディア及び第２のメディアを再生するためのプロセスを開始する（例えば、図９Ｉ～９Ｊの９２０、９２２）（例えば、第１のメディア及び第２のメディアを再生する、第１のメディア及びその後に第２のメディアの再生を開始するためのユーザインタフェースを表示する）。いくつかの実施形態では、第１及び第２のメディアを再生するためのプロセスを開始することは自動的に（例えば、ユーザ入力の介在なしに第２の通知に向けられた入力の受信に応答して）、第１のメディア、その後、第２のメディアを再生し、第１のメディアを再生するためのユーザインタフェース（例えば、７４１）を表示することを含む。いくつかの実施形態では、第２の通知に向けられた入力の受信に応答し、及び第２のメディアが１つ以上の基準の１組を満たさないとの判定に従って、第１のメディアを再生することなく第２のメディアを再生するためのプロセスを開始することの一部として（例えば、第２のメディアを再生し、第１のメディアを再生しないユーザインタフェースを表示する）、コンピュータシステムは、第２のメディアの再生を開始し、その後に第１のメディアを自動的には再生しない。いくつかの実施形態では、第２のメディアが１つ以上の基準の１組を満たさないという判定に従って、第１の通知を表示している間に、コンピュータシステムは、第１の通知に向けられた入力を受信し、第１の通知に向けられた入力の受信に応答して、第２のメディアを再生することなく第１のメディアを再生するためのプロセスを開始する。 In some embodiments, the second notification includes the first media suggestion. In some embodiments, while displaying the second notification (eg, 602b), the computer system receives input directed to the second notification (eg, 950h). In some embodiments, in response to receiving input directed to the second notification (eg, and in accordance with determining that the second media meets a set of one or more criteria), the computer system: , initiate a process for playing the first media and the second media (eg, 920, 922 in FIGS. 9I-9J) (eg, playing the first media and the second media, the first display a user interface for initiating playback of media and then secondary media). In some embodiments, initiating the process for playing the first and second media automatically (e.g., in response to receiving input directed to the second notification without user input intervention). ), playing the first media and then the second media, and displaying a user interface (eg, 741) for playing the first media. In some embodiments, playing the first media in response to receiving input directed to the second notification and in accordance with determining that the second media does not meet the set of one or more criteria. As part of initiating a process to play the second media without playing (e.g., displaying a user interface that plays the second media and does not play the first media), the computer system: Begin playing the second media, then do not automatically play the first media. In some embodiments, the computer system is directed to the first notification while displaying the first notification following a determination that the second media does not meet the set of one or more criteria. receiving the input directed to the first notification and, in response to receiving input directed to the first notification, initiating a process for playing the first media without playing the second media.
いくつかの実施形態では、第２のメディアは、１つ以上の基準の１組を満たす（例えば、第２のメディアは、第１のメディアと同じ外部デバイスに向けられる）。いくつかの実施形態では、第２の通知（例えば、９０８ｃ）を表示している間に、コンピュータシステムは、第２の通知に向けられた入力（例えば、９５０ｌ）を受信する。いくつかの実施形態では、第２の通知に向けられた入力の受信に応答して（例えば、第２のメディアが１つ以上の基準の１組を満たすとの判定に従って）、コンピュータシステムは、第１のメディアを再生するためのユーザインタフェースを表示するものであって（例えば、９６０）（例えば、第１のメディア及び第２のメディアを再生するためのプロセスを開始することの一部として）、第１のメディアを再生するためのユーザインタフェースは、記録ユーザインタフェースオブジェクト対象（例えば、選択可能な記録ボタン）を含む。いくつかの実施形態では、記録（例えば、７３６）ユーザインタフェースオブジェクト対象の選択（例えば、９５０ｐ）によって、第１のデータが第１のメディアが向けられた（例えば、送信された）複数の外部デバイスの第１のグループ（例えば、寝室デバイス）を識別するとの判定に従い、コンピュータシステムは、音声メッセージを複数の外部デバイスの第１のグループ（例えば、及び第２のグループではない）に送信するためのプロセス（例えば、７３０、７４０、７５０）を開始する。いくつかの実施形態では、記録（例えば、７３６）ユーザインタフェースオブジェクト対象の選択（例えば、９５０ｐ）によって、第１のデータが第１のメディアが向けられた（例えば、送信された）、第１のグループとは異なる、複数の外部デバイスの第２のグループ（例えば、ホームデバイス）を識別するとの判定に従い、コンピュータシステムは、音声メッセージを複数の外部デバイスの第２のグループ（例えば、及び第１のグループではない）に送信するためのプロセス（例えば、７８０ａ、７８４、７８６ａ）を開始する。いくつかの実施形態では、コンピュータシステムは、記録ユーザインタフェースオブジェクト対象の選択（例えば、タップ、押圧、及び保持）を検出し、記録ユーザインタフェースオブジェクト対象の選択の検出に応答して、上述のように、対応する動作を開始する。いくつかの実施形態では、外部デバイスの１組は、トップレベルの場所（又は宛先）（例えば、第１のタイプの場所）（例えば、ホーム場所、ビジネス、オフィス（トップレベルの場所にある場所（例えば、１つ以上の場所を定義する場所（例えば、サブ場所）及び／又はトップレベルの場所の場所によって定義されるエリア及び／又は周辺部内にある１つ以上の領域（又はゾーン）、場所の階層のトップレベルにある場所、１つ以上の場所（例えば、サブ位置）に（例えば、プログラムで）リンクされた場所及び／又は１つ以上の領域（又はゾーン）））に関連付けられている。いくつかの実施形態では、音声メッセージを送信するためのプロセスを開始することは、コンピュータシステムによって検出された音声を記録することによって、音声メッセージを記録することを含む。いくつかの実施形態では、第１のメディアを再生するためのユーザインタフェースは、グループ（例えば、トップレベルの場所、サブ場所）の示唆（例えば、文字示唆、グラフィカル示唆）（例えば、音声メッセージが送信される部屋又はゾーンの名前を指定する文字）を含む。 In some embodiments, the second media satisfies a set of one or more criteria (eg, the second media is directed to the same external device as the first media). In some embodiments, while displaying the second notification (eg, 908c), the computer system receives input directed to the second notification (eg, 950l). In some embodiments, in response to receiving input directed to a second notification (eg, in accordance with determining that the second media meets a set of one or more criteria), the computer system: displaying a user interface for playing the first media (e.g., 960) (e.g., as part of initiating a process for playing the first media and the second media); , the user interface for playing the first media includes a record user interface object target (eg, a selectable record button). In some embodiments, a recording (eg, 736) user interface object target selection (eg, 950p) causes the first data to be directed (eg, transmitted) to a plurality of external devices. following a determination to identify a first group (e.g., bedroom devices) of a plurality of external devices for sending a voice message to a first group (e.g., and not a second group) of a plurality of external devices. Start a process (eg, 730, 740, 750). In some embodiments, selection of a recording (eg, 736) user interface object target (eg, 950p) causes the first data to be directed (eg, transmitted) to the first media. Upon determining to identify a second group of external devices (e.g., home devices) different from the group, the computer system transmits the voice message to the second group of external devices (e.g., the first start a process (e.g., 780a, 784, 786a) to send to a non-group). In some embodiments, the computer system detects selection (e.g., tapping, pressing, and holding) of a recording user interface object target and, in response to detecting selection of a recording user interface object target, , to initiate the corresponding action. In some embodiments, the set of external devices is a top-level location (or destination) (e.g., a first type of location) (e.g., a home location, a business, an office (a location at a top-level location ( For example, one or more regions (or zones) within an area and/or perimeter defined by a location (e.g., sub-location) defining one or more locations and/or a location of a top-level location; A location at the top level of the hierarchy, a location linked (eg, programmatically) to one or more locations (eg, sub-locations) and/or associated with one or more regions (or zones)). In some embodiments, initiating the process for sending the voice message includes recording the voice message by recording sound detected by the computer system. The user interface for playing the first media includes suggestions (eg, textual suggestions, graphical suggestions) of groups (eg, top-level locations, sub-locations) (eg, names of rooms or zones in which voice messages are sent). characters that specify ).
いくつかの実施形態では、第１のメディアを再生するためのユーザインタフェース（例えば、９６０）を表示している間に（例えば、第１のメディア及び第２のメディアを再生するためのプロセスを開始することの一部として）表示している間に、コンピュータシステムは、（例えば、タッチ感知面を使用して、１つ以上の入力デバイスを介して）ユーザ入力を受信する（例えば、９５０ｉ、９５０ｍ２、９５０ｎ）。いくつかの実施形態では、ユーザ入力の受信に応答し、及びユーザ入力（例えば、９５０ｉ）が再生ユーザインタフェースオブジェクト対象の選択に向けられたとの判定に従って（例えば、第１のメディアを再生するためのユーザインタフェースの一部として表示される再生ボタン上のタップ）、コンピュータシステムは、第１のメディアを再生する（及び、任意選択的に、自動的にその後、第２のメディアを再生し、第２のメディアを再生するためにユーザインタフェースに切り替える）。いくつかの実施形態では、ユーザ入力の受信に応答し、及びユーザ入力が、第１のメディアを再生するためのユーザインタフェースに向けられたスワイプジェスチャ（例えば、９５０ｍ２、９５０ｎ）（例えば、第１のメディアを再生するためのユーザインタフェース上の左スワイプジェスチャ）との判定に従って、コンピュータシステムは、第１のメディアを再生するためのユーザインタフェースのディスプレイを第２のメディアを再生するためのユーザインタフェースのディスプレイ（例えば、第１のメディアを再生することなく第２のメディアを再生するための再生ボタンを含む）に置き換える。いくつかの実施形態では、ユーザ入力の受信に応答し、及びユーザ入力（例えば、９５０ｉ）が再生ユーザインタフェースオブジェクト対象の選択に向けられたとの判定に従って（例えば、第１のメディアを再生するためのユーザインタフェースの一部として表示される再生ボタン上のタップ）、コンピュータシステムは、第２のメディア（例えば、通知に対応する直近に受信されたメディア）を再生し、その後、第１のメディアを再生する。 In some embodiments, while displaying a user interface (e.g., 960) for playing the first media (e.g., a process for playing the first media and the second media is initiated) while displaying), the computer system receives user input (e.g., via one or more input devices using a touch-sensitive surface) (e.g., 950i, 950m2 , 950n). In some embodiments, in response to receiving user input and in accordance with determining that the user input (e.g., 950i) was directed to selecting a playback user interface object target (e.g., to play the first media). A tap on a play button displayed as part of the user interface), the computer system plays the first media (and, optionally, automatically thereafter plays the second media and switch to the user interface to play the media). In some embodiments, in response to receiving user input, and the user input is a swipe gesture (eg, 950m2, 950n) directed to a user interface for playing the first media (eg, the first A left swipe gesture on the user interface for playing the media), the computer system displays the user interface for playing the first media, and displays the user interface for playing the second media. (eg, including a play button to play the second media without playing the first media). In some embodiments, in response to receiving user input and in accordance with determining that the user input (e.g., 950i) was directed to selecting a playback user interface object target (e.g., to play the first media). tap on a play button displayed as part of the user interface), the computer system plays the second media (e.g., the most recently received media corresponding to the notification), then plays the first media do.
いくつかの実施形態では、第１のメディアを再生する（例えば、第１のメディア及び第２のメディアを再生するためのプロセスを開始することの一部として）ためのユーザインタフェース（例えば、図１５Ｂ～１５Ｅの７２０）を表示している間、及び第１のメディアを再生している間に、コンピュータシステムは入力を受信する。いくつかの実施形態では、ユーザ入力の受信に応答し、及びユーザ入力が第１のメディアを再生するためのユーザインタフェース上の第１の場所（例えば、ユーザインタフェース７２０上の７３６の場所）に向けられたとの判定に従って、コンピュータシステムは、新しいメディア（例えば、１つ以上の音声マルチキャストメッセージ）を送信し、記録する（及び、任意選択的に、送信のために音声を自動的に記録する）ためのユーザインタフェース（例えば、７４１）を表示する。いくつかの実施形態では、ユーザ入力の受信に応答し、及びユーザ入力が第１のメディアを再生するためのユーザインタフェース上の第２の場所（例えば、１５３４の場所）に向けられたとの判定に従って、コンピュータシステムは、（例えば、１５２４ａに対応する）第１のメディアを再生するためのユーザインタフェースのディスプレイを、（例えば、１５２４ｂに対応する）第２のメディアを再生するためのユーザインタフェースのディスプレイに置き換えるものであって、第１のメディアを再生するためのユーザインタフェース上の第２の場所は、第１のメディアを再生するためのユーザインタフェース上の第１の場所とは異なる。ユーザ入力が第１の場所に向けられ、タップ入力であるとの判定に従って、コンピュータシステムは、後続の入力（例えば、第１の場所と同じ場所（又は第１の場所の近く）で検出される後続の入力）が検出されるまで（例えば、１つ以上のマイクロフォンを介して）音声を自動的に記録する。ユーザ入力が第１の場所に向けられ、押圧及び保持ジェスチャであるとの判定に従って、コンピュータシステムは、ユーザ入力の端部が検出されるまで（例えば、１つ以上のマイクロフォンを介して）音声を自動的に記録する。いくつかの実施形態では、第２の通知を表示している間に、コンピュータシステムは、第２の通知に向けられた入力（例えば、９５０ｈ）を受信する。いくつかの実施形態では、第２の通知に向けられた入力の受信に応答して、コンピュータシステムは、第２の通知の表示を中止する。いくつかの実施形態では、第２の通知がアクティブ化されると、第２の通知は、（例えば、ディスプレイのためにユーザがアクセス可能な、通知の集合を表示することを要求するユーザ入力に応答して表示される、コンピュータシステムで受信された最近の通知のリスト表示）通知の集合から除去される。いくつかの実施形態では、通知の集合は、他の通知（例えば、電子メール通知、インスタントメッセージング通知）を引き続き含む。通知が対話されたときに通知の除去を選択することにより、デバイスは、ユーザが通知を手動で削除することを必要とせずに、ＵＩを乱すユーザに失効通知（例えば、古い、非関連）を提供することを回避することを可能にする。更なるユーザ入力を必要とせずに１組の状態が満たされた場合に最適化された動作を実行することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ－システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用することを有効化することによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。
In some embodiments, a user interface (e.g., FIG. 15B 720 of ~15E) and while playing the first media, the computer system receives input. In some embodiments, in response to receiving user input and directing the user input to a first location on the user interface (eg,
いくつかの実施形態では、コンピュータシステムは、場所（例えば、トップレベルの場所（ホーム）、サブ場所（ホームの部屋）に向けられたメディアに対応するデータを受信する複数の外部デバイス（例えば、ホームの外部デバイスに向けられた音声メッセージを受信するデバイス）のグループにコンピュータシステムを含むかどうかを構成するためのユーザインタフェースを表示するものであって、グループのコンピュータシステムを含むかどうかを構成するためのユーザインタフェースは、コンピュータシステムの現在の物理的位置に関係なく（例えば、コンピュータシステムの場所センサによって判定されるように）、場所に向けられたメディアに対応するデータを受信する複数の外部デバイス（例えば、ホームの外部デバイスに向けられた音声メッセージを受信するデバイス）のグループにコンピュータシステムを（例えば、常に）含む、第１のオプション（例えば、７９９ｃ）、及び、コンピュータシステムの現在の物理的位置に関係なく（例えば、コンピュータシステムの場所センサによって判定されるように）、場所に向けられたメディアに対応するデータを受信する複数の外部デバイス（例えば、ホームの外部デバイスに向けられた音声メッセージを受信するデバイス）のグループにコンピュータシステムを（例えば、決して）含まない第２のオプション（例えば、７９９ａ）を含む。いくつかの実施形態では、ユーザは、メディアに対応するデータを受信するために登録／登録解除する、又はメディアに対応する受信したデータに基づいて通知のディスプレイを有効／無効にするように、コンピュータシステムを構成することができる。 In some embodiments, a computer system includes multiple external devices (e.g., home to display a user interface for configuring whether a computer system is included in a group of devices that receive voice messages directed to external devices of the The user interface of a number of external devices (e.g., A first option (e.g., 799c) that includes (e.g., always) the computer system in a group of (e.g., devices that receive voice messages directed to external devices in the home), and the current physical location of the computer system. Multiple external devices (e.g., voice messages directed to home external devices) that receive data corresponding to location-directed media regardless of location (e.g., as determined by the computer system's location sensor). a second option (e.g., 799a) that does not (e.g., never) include the computer system in the group of receiving devices).In some embodiments, the user registers to receive data corresponding to the media. The computer system can be configured to enable/disable the display of notifications based on received data corresponding to/unregistering or media.
いくつかの実施形態では、コンピュータシステムは、場所（例えば、トップレベルの場所（ホーム）、サブ場所（ホームの部屋）に向けられたメディアに対応するデータを受信する複数の外部デバイス（例えば、ホームの外部デバイスに向けられた音声メッセージを受信するデバイス）のグループに対応するデータを受信する複数の外部デバイスのグループにコンピュータシステムを含むかどうかを構成するためのユーザインタフェースを表示するものであって、コンピュータシステムをグループに含むかどうかを構成するためのユーザインタフェースは、コンピュータシステム（例えば、７００）が、現在、場所に対応する（例えば、ホームのジオフェンスされた周辺部内の、ホームの特定の部屋内の、コンピュータシステムの場所センサによって判定されたような）物理的場所にあるとき、場所に向けられたメディアに対応するデータを受信する複数の外部デバイス（例えば、ホームの外部デバイスに向けられた音声メッセージを受信するデバイス）のグループにコンピュータシステム（例えば、７００）を含み、及びコンピュータシステム（例えば、７００）が、現在、場所に対応する（例えば、ホームのジオフェンスされた周辺部内の、ホームの特定の部屋内の、コンピュータシステムの場所センサによって判定されたような）物理的場所にないとき、場所に向けられたメディアに対応するデータを受信する複数の外部デバイス（例えば、ホームの外部デバイスに向けられた音声メッセージを受信するデバイス）のグループにコンピュータシステム（例えば、７００）を含まない、第３のオプション（例えば、７７ｂ）を含む。いくつかの実施形態では、ユーザは、コンピュータシステムがその場所にあるときには、場所のデバイスのグループに向けられたメディアに対応するデータのみを受信する（及び／又は通知のみを表示する）ようにシステムを構成する入力を提供できる（例えば、コンピュータシステムがホームにあるときには、ホームに向けられたメッセージのみを取得する、コンピュータシステムがその部屋にあるときには、部屋に向けられたメッセージのみを取得する）。 In some embodiments, a computer system includes multiple external devices (e.g., home display a user interface for configuring whether the computer system is included in a group of external devices receiving data corresponding to a group of devices receiving voice messages directed to the external devices of the , the user interface for configuring whether a computer system is included in a group indicates that the computer system (e.g., 700) currently corresponds to a location (e.g., within a geofenced perimeter of the home, a specific A plurality of external devices that receive data corresponding to location-directed media (e.g., home external devices) that receive data corresponding to location-directed media when at a physical location within a room (as determined by the computer system's location sensor). computer system (e.g., 700) in a group of devices (devices that receive voice messages that receive voice messages), and the computer system (e.g., 700) currently corresponds to a location (e.g., within a geofenced perimeter of a home, A plurality of external devices (e.g., outside the home) that receive data corresponding to location-directed media when not at a physical location within a particular room of the home (as determined by the computer system's location sensor). a third option (eg, 77b) that does not include the computer system (eg, 700) in the group of devices that receive voice messages directed to the device (eg, 77b). is at the location, input can be provided to configure the system to only receive data (and/or display only notifications) corresponding to media directed to a group of devices at the location (e.g., a computer system is at home, get only messages destined for the home; when the computer system is in the room, get only messages destined for the room).
方法１０００（例えば、図１０）に関して上記したプロセスの詳細はまた、後述／前述の方法にも同様の方法で適用可能であることに留意されたい。例えば、方法１０００は、任意選択的に、方法８００及び１２００に関して前述／後述した様々な方法の特性のうちの任意の１つ以上を含む。例えば、コンピュータシステムは、同じシステムであってもよい。別の例では、方法８００で送信された音声メッセージは、方法１０００で受信したメディアとすることができる。別の例では、方法１２００で送信された音声入力は、方法１０００で受信したメディアと同じであり得る。簡潔にするために、これらの詳細は、以下で繰り返さない。
Note that the process details described above with respect to method 1000 (eg, FIG. 10) are also applicable to the methods described below/above in a similar manner. For example,
図１１Ａ～１１Ｒは、視覚的なディスプレイを管理するための電子デバイス及び例示的なユーザインタフェースを示す。これらの図のユーザインタフェースは、図１２のプロセスを含む後述のプロセスを例示するために使用される。 11A-11R illustrate electronic devices and exemplary user interfaces for managing visual displays. The user interfaces of these figures are used to illustrate the processes described below, including the process of FIG.
図１１Ａ～１１Ｒは、デバイス１１００が、音声入力の一部が音声マルチキャストメッセージとして１つ以上の外部デバイスに送信されるべきであると判定する場合、デバイス１１００は第１のタイプ（例えば、単一色の光）のビジュアルコンテンツを有する視覚的な指示を表示する、及びデバイス１１００が、音声入力の一部が音声マルチキャストメッセージとして１つ以上の外部デバイスに送信されるべきであると判定できない（例えば、音声入力のどの部分も、音声マルチキャストメッセージとして１つ以上の外部デバイスに送信されるべきではないと判定する）場合、デバイス１１００は第２のタイプ（例えば、複数色の光）のビジュアルコンテンツを有する視覚的な指示を表示するシナリオを示す。第１及び第２のタイプのビジュアルコンテンツは、例示のみを目的として以下に説明される。第１及び第２のタイプのビジュアルコンテンツは、発言された音声入力が１つ以上の外部デバイスに可能性としてマルチキャストされるかどうかの視覚的な指示をユーザに提供する。
11A-11R illustrate that when
図１１Ａは、人物の前に位置するテーブル上の位置にある電子デバイス１１００を示す。デバイス１１００はスマートスピーカであり、デバイス５８０の１つ以上の特徴を含む。例えば、デバイス１１００は、１つ以上のディスプレイ５８０Ｅの１つ以上の構成要素を含む１つ以上のディスプレイ１１０２を含む。ディスプレイ１１０２は、複数のＬＥＤを含む。いくつかの実施形態では、デバイス１１００は、デバイス１００、３００、又は５００の１つ以上の特徴を含む。図１１Ａでは、デバイス１１００は、例示のみの目的のために、ホーム６０２及びリビングルーム６０２ｄと関連付けられている。したがって、図１１Ａでは、デバイス１１００は、図６に関連して上述したようなリビングルームスピーカ６４６及び６４８のうちの１つである。いくつかの実施形態では、デバイス１１００は、ホーム６０２（又は別のホーム）の別の部屋に関連付けられる。
FIG. 11A shows
図１１Ａに示すように、デバイス１１００は、不活性状態（例えば、スリープ状態、低電力状態、デバイス１１００が、ディスプレイ１１０２を介して、ビジュアルコンテンツを表示していない状態）にあり、それにより、ディスプレイ１１０２はビジュアルコンテンツ（例えば、視覚的な指示）を表示していない。いくつかの実施形態では、デバイス１１００がビジュアルコンテンツを表示していない場合、ディスプレイ１１０２のＬＥＤは点灯しない。
As shown in FIG. 11A,
図１１Ａ～１１Ｌは、デバイスの１つ以上の目標グループにマルチキャストされる情報を含む音声入力の受信に応答して、ビジュアルコンテンツを表示するデバイス１１００を示す。いくつかの実施形態では、図７Ｍ～７Ｎ及び図７Ｓ～７Ｚの音声入力を受信するデバイス７００に関連して上述した１つ以上の類似技術は、以下に説明するように、音声入力を受信するデバイス１１００に適用することができる（又はその逆）。
11A-11L illustrate
図１１Ｂ～１１Ｆは、デバイス１１００の前に立っている人物からの音声入力を受信するデバイス１１００を示す。図１１Ｂ～１１Ｆのデバイス１１００によって受信された音声入力は「ヘイ、アシスタント、マルチキャスト、どの音楽をリビングルームで再生したいですか？」である。図１１Ｂ～１１Ｆで受信した音声入力は、自然発音又は別の方法で受信することができる。図１１Ｂ～１１Ｆは、デバイス１１００が音声入力の異なる部分にどのように反応し得るかの例示的な実施形態を提供するために示されている。
11B-11F illustrate
図１１Ｂでは、デバイス１１００は、デバイス１１００の前に立っている人物から、音声入力部分１１５０ｂを、デバイス１１００の１つ以上のマイクロフォンを介して受信する。ここで、人物は、「ヘイ、アシスタント」というフレーズを発言している。
11B,
図１１Ｂに示すように、音声入力部分１１５０ｂの受信に応答して、デバイス１１００が、ディスプレイ１１０２を介して、ビジュアルコンテンツを表示するように、デバイス１１００は活性状態（例えば、アウェイク状態、電力状態、ディスプレイ１１０２がビジュアルコンテンツを表示されている状態）に変化する。図１１Ｂでは、デバイス１１００は、ディスプレイ１１０２上の異なるタイプのディスク（例えば、図１１Ｂの１１０２の黒色ディスク、白色ディスク、及びパターン化したディスク）によって表される、複数色であるビジュアルコンテンツ（例えば、視覚的な指示）（例えば、光）を表示する。図１１Ｂでは、デバイス１１００が、音声入力の一部が音声マルチキャストメッセージとして１つ以上の外部デバイスに送信されるべきであると判定されないため、デバイス１１００は、複数色であるビジュアルコンテンツを表示する。
As shown in FIG. 11B,
図１１Ｃでは、デバイス１１００は、デバイス１１００の前に立っている人物から、音声入力部分１１５０ｃを、デバイス１１００の１つ以上のマイクロフォンを介して受信する。ここで、人物は、「マルチキャスト」というフレーズを発言している。
11C,
図１１Ｃに示すように、音声入力部分１１５０ｃの受信に応答して、デバイス１１００は、活性状態のままである。図１１Ｃでは、デバイス１１００が、音声入力の一部が音声マルチキャストメッセージとして１つ以上の外部デバイスに送信されるべきであると判定したため、デバイス１１００は、単一色（例えば、ディスクの他のいずれかのタイプなしの図１１Ｂの１１０２の黒色ディスク）であるビジュアルコンテンツを表示する。ここで、デバイス１１００は、デバイス１１００が、人物がマルチキャストコマンド（例えば、音声メッセージをマルチキャストするコマンド）を発行していることを示す命令（例えば、「マルチキャスト」）フレーズを検出したので、音声入力の部分が音声マルチキャストメッセージとして送信（マルチキャスト）されるべきであると判定する。
In response to receiving
図１１Ｄでは、デバイス１１００は、デバイス１１００の前に立っている人物から、音声入力部分１１５０ｄを、デバイス１１００の１つ以上のマイクロフォンを介して受信する。ここで、人物は、「どんな音楽」というフレーズを発言している。
11D,
図１１Ｄに示すように、音声入力部分１１５０ｄの受信に応答して、デバイス１１００は、活性状態のままである。図１１Ｄでは、デバイス１１００は、音声入力の一部が音声マルチキャストメッセージとして１つ以上の外部デバイスに送信されるべきであるという判定に基づいて、（例えば、図１１Ｃに関連して上述したように）単一色であるビジュアルコンテンツを表示し続ける。いくつかの実施形態では、デバイス１１００は、音声入力の一部が、（例えば、図７Ｍ～７Ｎに関連して上述したものと類似の理由で）ホーム６０２に指定された１つ以上のデバイスに送信されるべきであると判定する。いくつかの実施形態では、デバイス１１００は、音声入力の一部がグループ識別子（例えば、「ホーム」、「リビングルーム」、「娯楽ゾーン」、「ダイニングルームへ」）に対応する音声入力に基づくデバイスのグループに指定されているかどうかに基づいて、音声入力の一部を送信する１つ以上のデバイスを判定する。
In response to receiving
特に、図１１Ｃと比較すると、図１１Ｄのデバイス１１００によって表示されるビジュアルコンテンツのパターンは、図１１Ｃのデバイス１１００によって表示されるビジュアルコンテンツのパターンとは異なる。図１１Ｃ～１１Ｄに示されるように、デバイス１１００は、ディスプレイ１１０２を介して、人物の音声に反応する異なるビジュアルコンテンツを表示する。換言すれば、「マルチキャスト」及び「どんな音楽」は異なるフレーズであるため、デバイス１１００はビジュアルコンテンツのパターンを変更する。いくつかの実施形態では、デバイス１１００は、異なる音声コンテンツの部分が異なるビジュアルコンテンツのパターンを生成するように、音声コンテンツの一部の速度、鮮鋭度、音量、ピッチ、階調、及び／又はリズム（例えば、ビート）に基づいて、ビジュアルコンテンツのパターンを変更する。いくつかの実施形態では、デバイス１１００は、音声コンテンツの一部の速度、鮮鋭度、音量、ピッチ、階調、及び／又はリズム（例えば、ビート）に基づいて、ビジュアルコンテンツの彩度、輝度、サイズ、又は位置を変更する。いくつかの実施形態では、デバイス１１００は、ビジュアルコンテンツのパターンを変更しない、及び／又は人物の音声に反応しない。
11C, the pattern of visual content displayed by the
図１１Ｅでは、デバイス１１００は、デバイス１１００の前に立っている人物から、デバイス１１００の１つ以上のマイクロフォンを介して、音声入力部分１１５０ｅを受信し続ける。ここで、人物は、「あなたが再生したいのは」というフレーズを発言している。
11E,
図１１Ｅに示すように、音声入力部分１１５０ｅの受信に応答して、デバイス１１００は、活性状態のままである。図１１Ｅでは、デバイス１１００は、音声入力の一部が１つ以上の外部デバイスに送信されるべきであるという判定に基づいて、単一色であるビジュアルコンテンツを表示し続ける。加えて、音声入力部分１１５０ｅが音声入力部分１１５０ｄとは異なるため、デバイス１１００はビジュアルコンテンツのパターンを変更する。
In response to receiving
図１１Ｆでは、デバイス１１００は、デバイス１１００の前に立っている人物から、音声入力部分１１５０ｆを、デバイス１１００の１つ以上のマイクロフォンを介して受信し続ける。ここで、人物は、「リビングルームで？」というフレーズを発言している。
11F,
図１１Ｆに示すように、音声入力部分１１５０ｆの受信に応答して、デバイス１１００は、活性状態のままである。図１１Ｆでは、デバイス１１００は、音声入力の一部が１つ以上の外部デバイスに送信されるべきであるという判定に基づいて、単一色であるビジュアルコンテンツを表示し続ける。加えて、音声入力部分１１５０ｆが音声入力部分１１５０ｅとは異なるため、デバイス１１００はビジュアルコンテンツのパターンを変更する。
As shown in FIG. 11F, in response to receiving
図１１Ｆでは、デバイス１１００は、図１１Ｂ～１１Ｆで受信された音声入力の端部を検出する。図１１Ｆでは、音声入力の端部を検出したことに応答して、デバイス１１００は、音声入力の１つ以上の部分を、音声マルチキャストメッセージとして１つ以上の外部デバイスに送信する。いくつかの実施形態では、音声マルチキャストメッセージは、１１５０ｃ～１１５０ｄを含む（例えば、「リビングルームで再生したい音楽は何ですか？」）。いくつかの実施形態では、音声入力部分１１５０ｂ及び／又は１１５０ｃが音声入力のコマンド部分に対応するとの判定のため、音声マルチキャストメッセージは、音声入力部分１１５０ｂ（「ヘイ、アシスタント」）及び／又は１１５０ｃ（「マルチキャスト」）を含まない。いくつかの実施形態では、入力が目標グループ識別子（例えば、「ホーム」又は「リビングルーム」）に対応する部分を含むとき、目標グループ識別子（目標グループ識別子に対応する音声入力の部分ではない）は、音声マルチキャストメッセージと共に（例えば、プレーン文字として）送信されるが、１つ以上の外部デバイスによって音声として出力されない。いくつかの実施形態では、１つ以上の外部デバイスによって出力される音声マルチキャストメッセージは、人物のようにサウンドし（音声入力を発言した人物の再生された記録である）、デバイスを介してコンピュータ生成スピーチではない。
In FIG. 11F,
図１１Ｇに示すように、デバイス１１００は、音声入力の一部がホーム６０２（例えば、ホーム場所識別子７１２に関連して上述したように「メインストリート１２３番地」）に対応する目標グループ識別子に送られたことを示す、出力１１５４ｇを提供する（例えば、出力する）。出力１１５４ｇを出力するとき、音声入力の一部（例えば、図１１Ｂ～１１Ｆで受信された）が音声マルチキャストメッセージとして１つ以上の外部デバイスに送信されるべきであるとの判定により、デバイス１１００は、単一色であるビジュアルコンテンツを表示する。いくつかの実施形態では、デバイス１１００は、この判定に関わりなく、音声確認１１５４ｇを出力するときに、複数色のビジュアルコンテンツを表示する。
As shown in FIG. 11G,
図１１Ｈに示すように、デバイス１１００は、不活性状態に変化する。図１１Ｉでは、デバイス１１００は、ホーム６０２に指定された外部デバイスのうちの任意の１つ以上を介して、ジェーンからの音声マルチキャストメッセージに対応するデータを受信する。
As shown in FIG. 11H,
図１１Ｉに示すように、音声マルチキャストメッセージの受信に応答して（及び、ユーザ入力を受信せずに（独立して））、デバイス１１００は、イントロダクトリ階調又はチャイムである出力１１５４ｉを提供する。図１１Ｊに示すように、出力１１５４ｉを提供した後、デバイス１１００は、図１１Ｉで受信した音声マルチキャストメッセージに対応する、出力１１５４ｊを提供する。
As shown in FIG. 11I, in response to receiving an audio multicast message (and without (independently) receiving user input),
１１Ｉ～１１Ｊ図に示すように、デバイス１１００は、出力１１５０ｉ及び出力１１５０ｊを提供するときに、単一色であるビジュアルコンテンツを表示する。デバイス１１００は、デバイス１１００が音声マルチキャストメッセージを出力しているため、単一の色であるビジュアルコンテンツを表示する。図１１Ｉ～１１Ｊに示すように、デバイス１１００はまた、同じパターンであるビジュアルコンテンツも表示する。したがって、図１１Ｉ～１１Ｊでは、デバイス１１００は、出力１１５０ｉ及び出力１１５０ｊの異なるコンテンツに基づいてビジュアルコンテンツを変更しない。いくつかの実施形態では、デバイス１１００は、出力１１５０ｉ及び出力１１５０ｊの異なるコンテンツに基づいてビジュアルコンテンツを変更する。いくつかの実施形態では、デバイス１１００は、デバイス１１００の現在の音量レベル（例えば、システム音量レベル）で出力１１５４１１５０ｉ及び／又は出力１１５０ｊを提供する。いくつかの実施形態では、出力１１５４ｉ及び／又は出力１１５０ｊのうちの１つは、デバイス１１００の音量レベルで提供されるが、もう一方はそうではない。いくつかの実施形態では、デバイス１１００は、ある時間の期間内に複数の音声マルチキャストメッセージを受信し、音声マルチキャストメッセージのそれぞれが再生される前に、同じ（又は異なる）イントロダクトリ階調を出力する。いくつかの実施形態では、デバイス１１００は、ある時間の期間内に複数の音声マルチキャストメッセージを受信し、再生される音声マルチキャストメッセージの各（例えば、デバイスの目標グループによってグループ化された）グループの前に、同じ（又は異なる）イントロダクトリ階調を出力する。
As shown in FIGS. 11I-11J,
図１１Ｊに示すように、デバイス１１００によって提供される音声メッセージは、「ジェーンはホームから返信した：ジャズはどうですか？」と言う。ここで、デバイス１１００によって提供される音声メッセージは、目標識別子を含み、いくつかの実施形態では、含まない。
As shown in FIG. 11J, the voice message provided by
図１１Ｋでは、デバイス１１００は、デバイス１１００の前に立っている人物から、音声入力部分１１５０ｋを、デバイス１１００の１つ以上のマイクロフォンを介して受信する。ここで、人物は、「ヘイ、アシスタント、返信する、そのとおり」というフレーズを発言している。
11K,
図１１Ｋに示すように、デバイス１１００は、音声入力部分１１５０ｋの一部が音声マルチキャストメッセージとして１つ以上の外部デバイスに送信されるべきであると判定したため、デバイス１１００は、単一色（例えば、図１１Ｋの１１０２の黒色ディスク）であるビジュアルコンテンツを表示する。いくつかの実施形態では、デバイス１１００が出力１１５０ｊ（例えば、図１１Ｊで受信した音声マルチキャストメッセージ）を提供した後、音声入力部分１１５０ｋが所定の時間（例えば、１、２、３０、６０秒）以内に受信されたため、デバイス１１００はこの判定を行う。いくつかの実施形態では、デバイス１１００が出力１１５０ｊを提供した後の第２の所定の時間内に、音声入力部分１１５０ｋが「返信」というフレーズを含む、及び／又は「返信」というフレーズを含むため、デバイス１１００はこの判定を行う。いくつかの実施形態では、第２の所定の時間の期間は、第１の所定の時間の期間よりも多い。
As shown in FIG. 11K,
図１１Ｌに示すように、デバイス１１００は、不活性状態に変化する。
As shown in FIG. 11L,
図１１Ｍ～１１Ｒは、デバイスの１つ以上の目標グループにマルチキャストされる情報を含まない音声入力の受信に応答して、ビジュアルコンテンツを表示するデバイス１１００を示す。
11M-11R illustrate
図１１Ｍ～１１Ｏは、デバイス１１００の前に立っている人物からの音声入力を受信するデバイス１１００を示した。図１１Ｍ～１１Ｏのデバイス１１００によって受信された音声入力は、「ヘイ、アシスタント、リビングルームでジャズ音楽を再生してください」である。図１１Ｍ～１１Ｏで受信した音声入力は、自然発音又は別の方法で受信することができる。図１１Ｍ～１１Ｏは、デバイス１１００が音声入力の異なる部分にどのように反応し得るかの例示的な実施形態を提供するために示されている。
11M-11O illustrated
図１１Ｍでは、デバイス１１００は、デバイス１１００の前に立っている人物から、音声入力部分１１５０ｍを、デバイス１１００の１つ以上のマイクロフォンを介して受信する。ここで、人物は、「ヘイ、アシスタント」というフレーズを発言している。図１１Ｍに示すように、音声入力部分１１５０ｍの受信に応答して、デバイス１１００は、図１１Ｂで上述したものと類似の１つ以上の技術を使用して、活性状態に変化する。加えて、デバイス１１００が、音声入力の一部が音声マルチキャストメッセージとして１つ以上の外部デバイスに送信されるべきであると判定されないため、デバイス１１００は、複数色であるビジュアルコンテンツ（例えば、光）を表示する。
11M,
図１１Ｎでは、デバイス１１００は、デバイス１１００の前に立っている人物から、音声入力部分１１５０ｎを、デバイス１１００の１つ以上のマイクロフォンを介して受信する。ここで、人物は、「ジャズ音楽を再生」というフレーズを発言している。図１１Ｎに示すように、音声入力部分１１５０ｎの受信に応答して、デバイス１１００が、音声入力の一部が音声マルチキャストメッセージとして１つ以上の外部デバイスに送信されるべきであると判定されないため、デバイス１１００は、複数色であるビジュアルコンテンツ（例えば、光）を表示する。
11N, the
図１１Ｏでは、デバイス１１００は、デバイス１１００の前に立っている人物から、音声入力部分１１５０ｏを、デバイス１１００の１つ以上のマイクロフォンを介して受信する。ここで、人物は、「リビングルームで」というフレーズを発言している。図１１Ｏに示すように、音声入力部分１１５０ｏの受信に応答して、デバイス１１００が、音声入力の一部が音声マルチキャストメッセージとして１つ以上の外部デバイスに送信されるべきであると判定されないため、デバイス１１００は、複数色であるビジュアルコンテンツ（例えば、光）を表示する。
11O, the
図１１Ｍ～１１Ｏでは、デバイス１１００ビジュアルコンテンツは、音声入力に対して反応性ではない。いくつかの実施形態では、デバイス１１００が、音声入力の一部が音声マルチキャストメッセージとして１つ以上の外部デバイスに送信されるべきであると判定されないとき、デバイス１１００は、ビジュアルコンテンツのパターンを変更しない。いくつかの実施形態では、デバイス１１００は、この判定に関わりなく、異なる音声入力部分に対して反応性があるビジュアルコンテンツのパターンを変更する。
11M-11O,
図１１Ｐに示されるように、デバイス１１００は、デバイス１１００が現在のジャズ無線機を再生していることを示す、出力１１５４ｐを提供する（例えば、出力する）。出力１１５４ｇを提供するとき、音声入力の一部（例えば、図１１Ｍ～１１Ｏで受信された）が音声マルチキャストメッセージとして１つ以上の外部デバイスに送信されるべきではないとの判定により、デバイス１１００は、複数色であるビジュアルコンテンツ（例えば、視覚的な指示）を表示する。図１１Ｐでは、デバイス１１００はまた、ジャズ音楽も出力する。
As shown in FIG. 11P, the
図１１Ｑに示すように、ジャズ音楽を出力している間に、デバイス１１００は不活性状態に変化する。
While outputting jazz music, the
図１１Ｒに示すように、デバイス１１００は、デバイス１１００の前に立っている人物から、音声入力部分１１５０ｒを、デバイス１１００の１つ以上のマイクロフォンを介して受信する。ここで、人物は、「休止する。」というフレーズを発言している。図１１Ｒに示すように、音声入力部分１１５０ｒの受信に応答して、デバイス１１００が、音声入力の一部が音声マルチキャストメッセージとして１つ以上の外部デバイスに送信されるべきであると判定されない（例えば、音声入力のどの部分もそのようにされるべきではないと判定される）ため、デバイス１１００は、複数色であるビジュアルコンテンツ（例えば、光）を表示する。図１１Ｒでは、デバイス１１００はまた、「休止する」命令の受信に応答して、ジャズ音楽を出力することを停止し、ジャズ音楽に対応するメディアを一時停止する。
As shown in FIG. 11R,
図１２は、いくつかの実施形態に係る、電子デバイスを使用して視覚的な指示を表示するための方法を示すフロー図である。方法１２００は、１つ以上のマイクロフォン、１つ以上のスピーカ、及び１つ以上のディスプレイ装置を有するデバイス（例えば、１００、３００、５００、６３４、６７４、７００、７０１、８５０）で実行される。方法１２００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
FIG. 12 is a flow diagram illustrating a method for displaying visual instructions using an electronic device, according to some embodiments.
後述するように、方法１２００は、視覚的な指示を表示するための直観的方法を提供する。本方法は、デバイスに所与のコマンドのタイプを判定するためのユーザの認識的負担を軽減し、それによって、より効率的なヒューマン－マシンインタフェースを作り出す。バッテリ動作式コンピューティングデバイスの場合、ユーザがより高速かつ効率的にコマンドのタイプを認識することを有効化することで、電力を節約し、バッテリ充電間の時間を延ばす。
As discussed below,
電子デバイスは、１つ以上のマイクロフォンを介して音声入力（例えば、１１５０ａ～１１５０ｒ）を受信する（１２０２）。 An electronic device receives audio input (eg, 1150a-1150r) via one or more microphones (1202).
電子デバイスは、音声入力の視覚的な表示（例えば、１１０２を介して表示される光）を表示し（１２０４）、ここで、１つ以上のディスプレイデバイスを介して、視覚的な指示（例えば、１１Ｂ～１１Ｆ、１１Ｋの１１０２）を表示する（１２０６）１つ以上のデバイスに送信される（例えば、及び／又は複数のデバイスに送信される（例えば、マルチキャストされる）（例えば、及び、いくつかの実施形態では、第１のタイプのコマンド（例えば、音声入力の少なくともいくつかを複数の外部デバイス（例えば、パーソナルデバイス（セルラー電話）、外部アクセサリデバイス（例えば、スマートホームアクセサリデバイス（例えば、スマート（例えば、インテリジェントな）電球、サーモスタット、ドアロック、ドアオープナー（例えば、ガレージドアオープナー）、スピーカ、テレビ、電気アウトレット、電源ストリップ、カメラ、アプライアンス（例えば、冷蔵庫、ストーブ））に送信するプロセスを開始するコマンド）に対応する音声入力の別の部分（例えば、送信されない音声入力の一部）））））音声入力に対応する音声入力の一部（例えば、１１５０ｂ～１１５０ｆ、１１５０ｒ）が、１つ以上の色の第１の１組を有する視覚的な指示を表示することを含むとの判定に従い、及び１つ以上のディスプレイ装置を介して、視覚的な指示（例えば、図１１Ｍ～１１Ｏ、１１Ｒの１１０２）を表示する（１２１０）、（例えば、音声入力の一部を他のデバイス（例えば、複数の他のデバイス）のスピーカなどによって出力するために）（例えば、音声入力の別の部分は第２のタイプのコマンドである）他のデバイスに音声入力の任意の部分を送信する命令（例えば、マルチキャストする命令）を含まない音声入力（例えば、１１５０ｍ～１１５０ｏ、１１５０ｒ）が、１つ以上の色の第１の１組とは異なる１つ以上の色の第２の１組を有する視覚的な指示を表示することを含むとの判定に従う。いくつかの実施形態では、第１のタイプのコマンドは、音声入力の少なくともいくつか（例えば、送信される音声入力の部分）を複数の外部デバイスに送信するためのプロセスを開始するコマンドである。いくつかの実施形態では、音声入力のうちの少なくともいくつかを複数のデバイスに送信することで、複数の外部デバイスのうちの２つ以上が、音声入力のいくつかを出力させる（例えば、自動的な（例えば、ユーザ入力を介在させずに）出力）。いくつかの実施形態では、複数の外部デバイスは、外部電子デバイスの異なるタイプ（例えば、パーソナルデバイス、外部アクセサリデバイス）を含む。いくつかの実施形態では、複数のデバイスは、トップレベルの場所（又は宛先）（例えば、第１のタイプの場所）（例えば、ホーム場所、ビジネス、オフィス（トップレベルの場所にある場所（例えば、１つ以上の場所を定義する場所（例えば、サブ場所）及び／又はトップレベルの場所の場所によって定義されるエリア及び／又は周辺部内にある１つ以上の領域（又はゾーン）、場所の階層のトップレベルにある場所、１つ以上の場所（例えば、サブ位置）に（例えば、プログラムで）リンクされた場所及び／又は１つ以上の領域（又はゾーン）））に関連付けられた第１のグループに関連付けられている。いくつかの実施形態では、デバイスの第１グループは、デバイスの複数のサブグループを含むことができる。いくつかの実施形態では、デバイスのサブグループは、トップレベルの場所のサブ場所（例えば、トップレベルの場所の境界、領域、若しくは周辺に、及び／又はトップレベルの場所に定義され、特定され、及び／又はリンクされ（例えば、プログラムでリンクされ）（例えば、ユーザによって）配置された部屋）及び／又はトップレベルの場所内（例えば、トップレベルの場所の境界、エリア、又は周辺部内及び／又は（例えば、ユーザによって）定義され、特定され、及び／又はリンクされた）のゾーン（例えば、２つ以上のサブ場所によって定義される場所）（トップレベルの場所内で（例えば、トップレベルの場所内にリビングルーム及びダイニングルームを含む娯楽ゾーン、トップレベルの場所内に２つ以上の寝室、リビングルーム、バスルームを含むパーソナルゾーン）に関連付けられる。いくつかの実施形態では、第１のユーザインタフェースは、制御ユーザインタフェースである。いくつかの実施形態では、複数のデバイスは、デバイスの複数のサブグループに関連付けられる。いくつかの実施形態では、視覚的な指示は、１つ以上のマイクロフォンを介して音声入力を受信している間、表示され続ける。いくつかの実施形態では、視覚的な指示は、１つ以上のマイクロフォンを介して音声入力を受信している間、最初に表示された後に表示を中止する。いくつかの実施形態では、第２のタイプのコマンドは、音声入力の少なくともいくつかを複数の外部デバイス（例えば、スピーカ、パーソナルデバイス（例えば、セルラー電話）に送信するためのプロセスを開始するコマンドではない。いくつかの実施形態では、視覚的な指示は、１つ以上のマイクロフォンを介して音声入力を受信している間、表示され続ける。いくつかの実施形態では、視覚的な指示は、１つ以上のマイクロフォンを介して音声入力を受信している間、最初に表示された後に表示を中止する。音声入力の一部が１つ以上の機器に送信されるべきであると判定されたときに、第１の１組の色を有する視覚的な指示を表示することにより、その発言が他の人によって可能性として聞こえることができることをユーザが認識できるように、外部電子デバイスで音声入力の一部が再生されるかどうかに関するフィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ－デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。ユーザの音声入力が音声入力の任意の部分を他のデバイスに送信する命令を含まないと判定されたときに、（例えば、１つ以上の色の第１の１組とは異なる）１つ以上の色の第２の１組を有する視覚的な指示を表示することにより、ユーザの発言が他の外部デバイスの個々の人によって聞こえないという再保証がユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ－デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
The electronic device displays 1204 a visual representation of the audio input (e.g., light displayed via 1102), where visual instructions (e.g., 11B-11F, 1102 of 11K) is transmitted (eg, and/or transmitted (eg, multicast) to one or more devices (eg, multicast) to display 1206 (eg, and some In an embodiment of the first type of command (e.g., at least some of the voice input) to a plurality of external devices (e.g., personal devices (cellular phones), external accessory devices (e.g., smart home accessory devices (e.g., smart ( (e.g. intelligent) light bulbs, thermostats, door locks, door openers (e.g. garage door openers), speakers, televisions, electrical outlets, power strips, cameras, appliances (e.g. refrigerators, stoves)) another part of the voice input corresponding to the command) (e.g. part of the voice input not sent))))) one or more parts of the voice input corresponding to the voice input (e.g. 1150b-1150f, 1150r) and via one or more display devices, visual instructions (e.g., in FIGS. 11M-11O, 11R 1102) to be displayed 1210 (e.g., for outputting part of the audio input via speakers of other devices (e.g., multiple other devices), etc.) (e.g., another part of the
いくつかの実施形態では、電子デバイスが電子デバイスの情報を取得する（例えば、天気、１つ以上のクエリへの回答などの情報を取得する）、又は１つ以上の状態を変更する（例えば、音声状態（電話通話の回答／配置、音量の調整）、メディア再生の状態（例えば、メディアの休止、再生、早送り、巻き戻し、スキップ、シャッフル）、オン／オフ状態のうちの任意の１つ以上を変更する）ことを要求する音声入力（例えば、１１５０ｍ～１１５０ｏ）は、音声入力のどの部分も他のデバイスに送信する命令を含まない音声入力である。 In some embodiments, the electronic device obtains electronic device information (e.g., obtains information such as the weather, answers to one or more queries, etc.) or changes one or more states (e.g., Any one or more of audio state (phone call answer/placement, volume adjustment), media playback state (e.g. media pause, play, fast forward, rewind, skip, shuffle), on/off state A voice input (eg, 1150m-1150o) that requests to change the device is a voice input that does not contain instructions to send any part of the voice input to another device.
いくつかの実施形態では、１つ以上のデバイスに送信される音声入力に対応する音声入力（例えば、１１５０ｂ～１１５０ｆ、１１５０ｋ）は、デバイスのグループの識別子（例えば、場所、サブ場所、グループ（「ホーム」）又はカテゴリ（例えば、グループ内の「ダイニングルーム」、「リビングルーム」、「サンルーム」に対応する場所）を含む（１２０８）。いくつかの実施形態では、音声入力は、デバイスのグループの識別子及びデバイスのグループに送信される音声メッセージを含む。いくつかの実施形態では、音声入力のどの部分も他のデバイスに送信する命令を含まない音声入力（例えば、１１５０ｍ～１１５０ｏ、１１５０ｒ）は、デバイスのグループの識別子を含まない（１２１２）。いくつかの実施形態では、音声入力はデバイスのグループの識別子を含まず、音声メッセージはデバイスのグループに送信されない。
In some embodiments, audio inputs (eg, 1150b-1150f, 1150k) corresponding to audio inputs sent to one or more devices are identifiers of groups of devices (eg, location, sub-location, group (“ home") or categories (e.g., locations corresponding to "dining room", "living room", "sunroom" within the group).In some embodiments, the voice input is the group of devices and a voice message to be sent to a group of devices.In some embodiments, voice inputs (eg, 1150m-1150o, 1150r) that do not contain instructions to send any part of the voice input to other devices are , does not include a
いくつかの実施形態では、１つ以上の色の第１の１組（例えば、図１１Ｃ～１１Ｆの１１０２）は、一体色であり、１つ以上の色の第２の１組（例えば、図１１Ｍ～１１Ｏの１１０２）は、複数の色である。いくつかの実施形態では、一体色は、複数の色に含まれない。異なる予め定められた条件が満たされるときに、異なる視覚効果を電子デバイスに適用することにより、ユーザは、それらの発言が外部電子デバイスによって送信及び再生されるかどうかを素早く認識することができる。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ－デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。 In some embodiments, a first set of one or more colors (eg, 1102 in FIGS. 11C-11F) is a solid color and a second set of one or more colors (eg, 1102 in FIGS. 1102) of 11M-11O are multiple colors. In some embodiments, solid colors are not included in multiple colors. By applying different visual effects to the electronic device when different predetermined conditions are met, the user can quickly recognize whether their utterances are transmitted and played by the external electronic device. Improve the usability of the device by providing improved visual feedback to the user (e.g., assist the user in providing appropriate input when operating/interacting with the device; reduce power usage and device battery life by making the user-device interface more efficient (by reducing errors in the improve.
いくつかの実施形態では、１つ以上の色の第１の１組を有する視覚的な指示（例えば、図１１Ｃ～１１Ｆの１１０２）を表示する一部として、電子デバイスは音声入力に基づいて（例えば、音声入力の入力パラメータ（音量、階調、及び／又はピッチなど）の値の変動に基づいて）一定時間（例えば、１、５、１０秒）（例えば、音声入力が受信される時間に基づいて）にわたって（例えば、サイズ、輝度、彩度、及び／又は位置で）変化する（光のパターン（例えば、空間パターン）の）アニメーション（例えば、図１１Ｃ～１１Ｆの１１０２）を表示する。 In some embodiments, as part of displaying a visual indication (eg, 1102 in FIGS. 11C-11F) having a first set of one or more colors, the electronic device based on voice input ( For example, based on variations in the values of the input parameters (such as volume, tone, and/or pitch) of the voice input) for a period of time (eg, 1, 5, 10 seconds) (eg, at the time the voice input is received). display an animation (eg, 1102 in FIGS. 11C-11F) (of light patterns (eg, spatial patterns)) that varies (eg, in size, brightness, saturation, and/or position) over time).
いくつかの実施形態では、アニメーションの表示の一部として（例えば、図１１Ｃ～１１Ｆの１１０２）、電子デバイスは、音声入力の音量又はピッチのうちの任意の１つ以上に基づき、視覚的な指示（例えば、図１１Ｃ～１１Ｆの１１０２）の輝度、サイズ、色彩度、又は位置のうちの任意の１つ以上を変化させる（例えば、増大又は減少させる）。いくつかの実施形態では、音声入力の音量及び／又はピッチが、視覚的な指示の輝度、サイズ、色彩度のうちの任意の１つ以上を増大／減少させる。いくつかの実施形態では、音声入力のリズム（例えば、ビート）が増大／減少するにつれて、アニメーションのリズム（又はビート）が増加／減少する。いくつかの実施形態では、音声入力の音量及び／又はピッチが増大／減少するにつれて、視覚的な指示は、ディスプレイ装置のエリアをより多く／より少なく占有する。ユーザの音声入力の変化（例えば、音量又は音声入力のピッチの変化）を反映する視覚的な指示の視覚的特性（例えば、輝度、サイズ、色彩度又は位置）を更新することにより、ユーザの音声入力の様々な特性に関する視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ－デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。 In some embodiments, as part of the animated display (eg, 1102 in FIGS. 11C-11F), the electronic device displays a visual prompt based on any one or more of volume or pitch of the audio input. (eg, 1102 in FIGS. 11C-11F) is changed (eg, increased or decreased) in any one or more of the brightness, size, color saturation, or position. In some embodiments, the volume and/or pitch of the audio input increases/decreases any one or more of brightness, size, color saturation of the visual indication. In some embodiments, the rhythm (or beat) of the animation increases/decreases as the rhythm (eg, beat) of the audio input increases/decreases. In some embodiments, the visual indication occupies more/less area of the display device as the volume and/or pitch of the audio input increases/decreases. User speech by updating visual properties (e.g. brightness, size, color saturation or position) of visual instructions to reflect changes in user speech input (e.g. changes in volume or pitch of speech input) Visual feedback is provided to the user regarding various characteristics of the input. Improve the usability of the device by providing improved visual feedback to the user (e.g., assist the user in providing appropriate input when operating/interacting with the device, reduce power usage and device battery life by making the user-device interface more efficient (by reducing errors in the improve.
いくつかの実施形態では、電子は、再生のための複数の音声メッセージに対応するデータを受信する。いくつかの実施形態では、再生のための複数の音声メッセージに対応するデータは、デバイスのグループの識別子（例えば、グループ（「ホーム」）又はカテゴリ（例えば、グループ内の「ダイニングルーム」、「リビングルーム」、「サンルーム」カテゴリに対応する場所）を含む。いくつかの実施形態では、複数の音声メッセージは、複数の識別子のためのものであり、各識別子は異なるグループ又はカテゴリに対応する。いくつかの実施形態では、再生のための複数の音声メッセージに対応するデータの受信に応答して、電子デバイスは、複数の音声メッセージのそれぞれの対応する音声メッセージを出力する前に（例えば、及びデバイスのグループの識別子を出力する前に）、イントロダクトリ階調（例えば、１１５４ｉ）（例えば、ディンギング又はリンギングサウンド、全ての音声メッセージのイントロダクトリ階調又はチャイム）を出力する。いくつかの実施形態では、識別子は、（例えば、デバイスの目標グループを識別する）識別子に対応する音声メッセージのグループが出力される前に出力される。音声メッセージがマルチキャストタイプの音声メッセージであるマルチキャストアラート受信者である異なる音声メッセージを出力する前に、同じイントロダクトリ階調を出力する。改善された音声フィードバックを提供することにより、デバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときにユーザが適切な入力を行うのを支援しユーザの誤りを削減することによって）ユーザデバイスインタフェースがより効率的になり、このことにより更に、ユーザがデバイスをより素早くかつ効率的に使用することを有効化することによって、デバイスの電力使用量が削減されバッテリ寿命が改善される。 In some embodiments, the electronic receives data corresponding to multiple voice messages for playback. In some embodiments, the data corresponding to the plurality of voice messages for playback includes an identifier for a group of devices (e.g., group ("home") or category (e.g., "dining room", "living room" within the group). locations corresponding to "room", "sunroom" categories).In some embodiments, the multiple voice messages are for multiple identifiers, each identifier corresponding to a different group or category. In some embodiments, in response to receiving data corresponding to a plurality of voice messages for playback, the electronic device prior to outputting a corresponding voice message for each of the plurality of voice messages (e.g., and (before outputting an identifier for a group of devices), an introductory tone (e.g. 1154i) (e.g. a dinging or ringing sound, an introductory tone or chime for all voice messages). In embodiments, the identifier is output before the group of voice messages corresponding to the identifier (eg, identifying the target group of devices) is output Multicast alert recipients where the voice messages are multicast type voice messages Output the same introductory tone before outputting a different voice message.By providing improved voice feedback, the usability of the device is enhanced (e.g., operating the device/with the device User device interfaces become more efficient (by helping users make appropriate inputs and reducing user errors when interacting), which in turn allows users to use devices more quickly and efficiently. By enabling this, the power usage of the device is reduced and the battery life is improved.
いくつかの実施形態では、電子デバイスは、再生のための音声メッセージ（例えば、音声マルチキャストメッセージ）に対応するデータを受信する。いくつかの実施形態では、再生のための音声メッセージに対応するデータは、デバイスのグループに関連付けられた識別子（例えば、グループ（「ホーム」）又はカテゴリ（例えば、グループ内の「ダイニングルーム」、「リビングルーム」、「サンルーム」カテゴリに対応する場所）を含む。いくつかの実施形態では、データの受信に応答して、電子デバイスは、自動的に、ユーザ入力なしに、音声メッセージを（例えば、電子デバイスのスピーカを介して）出力する（例えば、１１５４ｊ）。いくつかの実施形態では、音声メッセージを出力することは、デバイスのグループの識別子（例えば、グループ（「ホーム」）又はカテゴリ（例えば、グループ内の「ダイニングルーム」、「リビングルーム」、「サンルーム」カテゴリに対応する場所）を出力することを含む。 In some embodiments, an electronic device receives data corresponding to an audio message (eg, an audio multicast message) for playback. In some embodiments, the data corresponding to the voice message for playback is an identifier associated with a group of devices (e.g., group ("home") or category (e.g., "dining room", " locations corresponding to the "living room", "sunroom" categories).In some embodiments, in response to receiving data, the electronic device automatically, without user input, sends a voice message (e.g., , through the speaker of the electronic device) (e.g., 1154j).In some embodiments, outputting a voice message may include an identifier of a group of devices (e.g., group ("Home") or category (e.g., , locations corresponding to the "dining room", "living room", and "sunroom" categories within the group).
いくつかの実施形態では、音声メッセージを出力する前に、データの受信に応答して、第２の視覚的な指示（例えば、１１Ｉの１１０２）を表示する。いくつかの実施形態では、第２の視覚的な指示は、音声メッセージが複数のデバイス（例えば、デバイスのグループ）に送信された音声メッセージであるときに、第１の視覚的見掛け（例えば、色、サイズ、輝度）を有する。いくつかの実施形態では、第２の視覚的な指示は、音声メッセージが電子デバイスに送信され、他のデバイスには送信されない音声メッセージであるときに、第１の視覚的見掛けとは異なる第２の視覚的見掛けを有する。 In some embodiments, a second visual indication (eg, 1102 of 11I) is displayed in response to receiving data prior to outputting the voice message. In some embodiments, the second visual indication is the first visual appearance (e.g., color , size, brightness). In some embodiments, the second visual indication is a second visual appearance that differs from the first visual appearance when the voice message is a voice message to be sent to the electronic device and not to other devices. has a visual appearance of
いくつかの実施形態では、電子デバイスは、再生のための音声メッセージ（例えば、音声マルチキャストメッセージ）に対応するデータを受信する。いくつかの実施形態では、再生のための音声メッセージに対応するデータは、デバイスのグループに関連付けられた識別子（例えば、グループ（「ホーム」）又はカテゴリ（例えば、グループ内の「ダイニングルーム」、「リビングルーム」、「サンルーム」カテゴリに対応する場所）を含む。いくつかの実施形態では、音声メッセージを（例えば、ユーザ要求に応答して、自動的に）出力する。いくつかの実施形態では、音声メッセージを出力している間に、電子デバイスは、音声メッセージの１つ以上の特性（例えば、音量、ピッチ、階調、リズム（例えば、ビート））に基づいて変化しない視覚的な指示（例えば、図１１Ｊの１１０２）を同時に表示する。 In some embodiments, an electronic device receives data corresponding to an audio message (eg, an audio multicast message) for playback. In some embodiments, the data corresponding to the voice message for playback is an identifier associated with a group of devices (e.g., group ("home") or category (e.g., "dining room", " locations corresponding to the "living room", "sunroom" categories).In some embodiments, voice messages are output (e.g., automatically in response to a user request).In some embodiments, , while outputting an audio message, the electronic device provides visual instructions (e.g., For example, 1102) in FIG. 11J are displayed at the same time.
いくつかの実施形態では、音声メッセージは、電子デバイスの音量レベル（例えば、システムレベルの音声レベル）（例えば、現在の音量レベル）に基づく出力（例えば、１１５４ｊ）である。いくつかの実施形態では、電子デバイスは、視覚的な指示（例えば、図１１Ｂ～１１Ｆの１１０２）が表示される前に、ビジュアルコンテンツ（例えば、図１１Ａの１１０２）（例えば、任意の光（例えば、どのＬＥＤもオンにされない））を表示していない。いくつかの実施形態では、電子デバイスは、視覚的な指示が表示される前に、非アクティブなディスプレイ状態（例えば、ＬＥＤは点灯していない）にある。いくつかの実施形態では、視覚的な指示を表示している間に、電子デバイスはアクティブなディスプレイ状態にある（例えば、いくつかのＬＥＤは点灯される）。音声入力が受信されていないときにビジュアルコンテンツを表示しないことにより、音声入力が受信されておらず、ユーザによるどの発言も、他の外部デバイスによって送信し、再生されていないという視覚的フィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ－デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。 In some embodiments, the voice message is output (eg, 1154j) based on the electronic device's volume level (eg, system level audio level) (eg, current volume level). In some embodiments, the electronic device displays visual content (eg, 1102 in FIG. 11A) (eg, any light (eg, , no LED is turned on)). In some embodiments, the electronic device is in an inactive display state (eg, no LEDs lit) before the visual indication is displayed. In some embodiments, the electronic device is in an active display state (eg, some LEDs are illuminated) while displaying visual instructions. By not displaying visual content when no audio input is being received, the user is provided with visual feedback that no audio input has been received and any utterances by the user have not been transmitted and played by other external devices. provide to Improve the usability of the device by providing improved visual feedback to the user (e.g., assist the user in providing appropriate input when operating/interacting with the device, reduce power usage and device battery life by making the user-device interface more efficient (by reducing errors in the improve.
いくつかの実施形態では、電子デバイスは、視覚的な指示（例えば、図１１Ｇの１１０２）を表示することを中止し（１２１４）、１つ以上のディスプレイ装置を介してビジュアルコンテンツ（例えば、図１１Ｈの１１０２）を表示することを停止することを含む。いくつかの実施形態では、電子デバイスは、ビジュアルコンテンツの表示を停止した後に、非アクティブな表示状態にある。音声入力が受信されていないときにビジュアルコンテンツを表示しないことにより、デバイスが不活性状態にあるため、音声入力が受信されず、デバイスのバッテリ寿命を延ばす視覚フィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ－デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。 In some embodiments, the electronic device stops displaying 1214 the visual instructions (eg, 1102 in FIG. 11G) and displays the visual content (eg, FIG. 11H) via one or more display devices. of 1102). In some embodiments, the electronic device is in an inactive display state after stopping displaying visual content. By not displaying visual content when no audio input is being received, the device is in an inactive state and no audio input is being received, providing the user with visual feedback that extends the battery life of the device. Improve the usability of the device by providing improved visual feedback to the user (e.g., assist the user in providing appropriate input when operating/interacting with the device; reduce power usage and device battery life by making the user-device interface more efficient (by reducing errors in the improve.
いくつかの実施形態では、視覚的な指示（例えば、図１１Ｇの１１０２）は、別の視覚的な指示（例えば、視覚的な指示が対応する状態又はプロセスとは異なる状態又はプロセス（例えば、マルチキャストプロセス又は音声マルチキャストメッセージを送信／受信するためのプロセス）に対応する視覚的な指示）（例えば、又はビジュアルコンテンツ）と同時に表示されない。一度に１つの視覚的な指示のみを提供することにより、電子デバイスの状態及びユーザの発言が他の外部デバイスによって送信され、再生されているかどうかを明確にすることをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ－デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。 In some embodiments, the visual indication (eg, 1102 in FIG. 11G) is a different state or process (eg, multicast (eg, or visual content) corresponding to the process or processes for sending/receiving audio multicast messages). By providing only one visual indication at a time, it provides the user with clarity about the state of the electronic device and whether the user's utterances are being transmitted and played back by other external devices. Improve the usability of the device by providing improved visual feedback to the user (e.g., assist the user in providing appropriate input when operating/interacting with the device; reduce power usage and device battery life by making the user-device interface more efficient (by reducing errors in the improve.
いくつかの実施形態では、視覚的な指示（例えば、図１１Ｇの１１０２）は、電子デバイスと通信する（例えば、電子デバイス上若しくは電子デバイスにデータを送信するか又は電子デバイスからデータを受信する１つ以上の外部アプリケーション上で実行する）１つ以上のアプリケーションの状態（例えば、マルチキャストプロセスのための状態、又は音声マルチキャストメッセージを送信／受信するためのプロセス、電子デバイスの状態に関連付けられたプロセス、電子デバイスの状態に関連付けられたプロセス）に基づいて異なる光を提供する光（例えば、１１０２のＬＥＤ）示唆である。
In some embodiments, the visual indication (eg, 1102 in FIG. 11G) communicates with the electronic device (eg, transmits data on or to the electronic device or receives data from the
方法１２００に関して上述したプロセス（例えば、図１２）の詳細はまた、上述した方法にも類似の方式で適用可能であることに留意されたい。例えば、方法１２００は、任意選択的に、方法８００及び１０００に関して前述した様々な方法の特性のうちの任意の１つ以上を含む。例えば、コンピュータシステムは、同じシステムであってもよい。別の例では、方法８００で送信された音声メッセージは、方法１０００で受信したメディアとすることができる。別の例では、方法１２００で送信された音声入力は、方法１０００で受信したメディアと同じであり得る。簡潔にするために、これらの詳細は、以下で繰り返さない。
Note that the details of the processes described above with respect to method 1200 (eg, FIG. 12) are also applicable in an analogous manner to the methods described above. For example,
図１３Ａ～１３Ｎは、いくつかの実施形態に係る、外部デバイスを管理するための例示的な電子デバイス及びユーザインタフェースを示す。これらの図のユーザインタフェースは、図１４のプロセスを含む後述のプロセスを例示するために使用される。 13A-13N illustrate exemplary electronic devices and user interfaces for managing external devices, according to some embodiments. The user interfaces of these figures are used to illustrate the processes described below, including the process of FIG.
図１３Ａは、ユーザインタフェース７１０を表示する電子デバイス７００を示す。いくつかの実施形態では、デバイス７００は、上述（例えば、図７Ａ～７ＡＨ）のように、ホーム６０２に関連し得る（例えば、関係する、関連する物理的場所に位置している、指定された１つ以上のデバイスと対話するなどの１つ以上のネットワークと通信しているか、又は通信していない）。ユーザインタフェース７１０は、ホーム６０２に指定された複数の外部デバイスを制御するためのユーザインタフェースである。ユーザインタフェース７１０は、１つ以上の特性を有し、図７Ａ～７ＡＨに関連して上述されているような方法で応答され得る、ホーム場所識別子７１２、マクロ制御７１６、外部デバイス制御７１８、ナビゲーション制御７２２、ホームマルチキャスト命令７２４、及びホームマルチキャストアフォーダンス７２６（例えば、選択可能なユーザインタフェースオブジェクト対象）を含む。
FIG. 13A shows
ユーザインタフェース７１０はまた、状態インジケータ１３１４も含む。状態インジケータのそれぞれは、ホーム６０２に現在指定されているデバイスのうちのいくつかの現在の状態に関する情報（例えば、その一部は、図６に関して上述したもの）を含む。図１３Ａに示すように、状態インジケータ１３１４は、一酸化炭素状態インジケータ１３１４ａ、アラーム状態インジケータ１３１４ｂ、アカウントエラー状態インジケータ１３１４ｃ、は、更新利用可能な状態インジケータ１３１４ｄ、及びタイマー状態インジケータ１３１４ｅの一部（それぞれ、左から右へ）を含む。一酸化炭素状態インジケータ１３１４ａは、１つ以上の一酸化炭素検出器又はセンサが、ホーム６０２での一酸化炭素の存在を検出し、したがって、１つ以上の一酸化炭素検出器又はセンサは一酸化炭素検出状態、例えば、アラート「オン」で、一酸化炭素漏洩の検出を示す。アラーム状態インジケータ１３１４ｂは、ホーム６０２に関連する１つ以上のアラームがトリッピングされていることを示し、したがって、１つ以上のアラームがアクティブで、例えば、トリガされた又はアラートされた状態にあることを示す。アカウントエラー状態インジケータ１３１４ｃは、デバイス７００が現在、７００がホーム６０２に関連付けられたアカウントに現在ログインされていないか、又デバイス７００がホーム６０２に指定された１つ以上の既知の外部デバイスに接続する問題を有するなどのホーム６０２に関連付けられたアカウントに関する問題を有することを示す。更新利用可能な状態インジケータ１３１４ｄは、更新されたソフトウェアが、１つ以上の外部デバイス及び／又はデバイス７００（例えば、ホームアプリケーションに対応する１つ以上の機能を含むソフトウェア）にインストールされ得ることを示す。タイマー状態インジケータ１３１４ｅは、１つ以上のタイマーが現在アクティブであることを示す。加えて、タイマー状態インジケータ１３１４ｅは、少なくとも１つのタイマー（又は複数のタイマーの合計時間の総計）が、タイマー（又は複数のタイマー）が最初に設定された時間から時間の約０％が経過した状態であることを示す。具体的には、この状態は、タイマー状態インジケータ１３１４ｅの周辺部の約１００％をカバーする、残りの時刻表示１３１４ｅ１によって表される。
各状態インジケータは、状態インジケータ（例えば、一酸化炭素状態インジケータ１３１４ａ）に関連付けられた名前（例えば、「一酸化炭素）を含み、少なくとも１つの特定の視覚的な特性（例えば、色（例えば、赤色、グレーアウトなど）、パターン、形状など）で表示することができる。いくつかの実施形態では、状態インジケータのうちの任意の１つ以上は、状態インジケータによって表される状態（例えば、アクティブ、警告、又は注意注意）である特定のタイプ（例えば、一酸化炭素検出器又はセンサ）のいくつかのデバイスの表現を含む。各状態インジケータはまた、状態インジケータの状態の迅速な視覚的表現を含んでもよい。
Each status indicator includes a name (eg, "carbon monoxide)" associated with the status indicator (eg, carbon
図１３Ａでは、各状態インジケータは、特定の状態インジケータカテゴリ内にあり（例えば、その一部に含まれるか、又はそれに属する）、状態インジケータはそれぞれの状態インジケータのそれぞれが対応するそれぞれの状態インジケータカテゴリに基づく順序で表示される。図１３Ａでは、状態インジケータの特定の状態インジケータカテゴリは、状態インジケータの緊急性（又は重要度）を示す。１つの状態インジケータカテゴリ内にある状態インジケータは、異なる状態インジケータカテゴリ内にある状態インジケータの１つ以上の特性とは異なる１つ以上の特性を有することができる。図１３Ａに示すように、一酸化炭素状態インジケータ１３１４ａ及びアラーム状態インジケータ１３１４ｂは、第１の状態インジケータカテゴリ（例えば、最緊急性のカテゴリ、アラームカテゴリ）にあり、第１の色（例えば、垂直ハッチングによって示されるように、赤色）で表示される。いくつかの実施形態では、第１の状態インジケータカテゴリは、特定の状態インジケータに関連付けられた外部デバイスが可能な限り早くアドレス指定されるべきであることを示す。次に、図１３Ａでは、アカウントエラー状態インジケータ１３１４ｃ及び更新利用可能な状態インジケータ１３１４ｄは、第２の状態インジケータカテゴリ（例えば、第２の最緊急性のカテゴリ、第１の状態インジケータカテゴリよりも緊急性が低い状態インジケータカテゴリ、アクションが必要なカテゴリ）にあり、第１のカテゴリ内の状態インジケータの色とは異なる色で表示される（例えば、ハッチングなしで示される）。図１３Ａでは、タイマー状態インジケータ１３１４ｅは、第３の状態インジケータカテゴリ（例えば、第３の最緊急性のカテゴリ、第２の状態インジケータカテゴリよりも緊急性が低い状態インジケータカテゴリ）にある。タイマー状態インジケータ１３１４ｅは、タイマー状態インジケータ１３１４ｅに対応するタイマーの状態に関連する１つ以上の動的構成要素（例えば、残りの時刻表示１３１４ｅ１）を含む。いくつかの実施形態では、１つ以上の動的構成要素（例えば、残りの時刻表示１３１４ｅ１）は、（例えば、図１３Ｂを参照して以下で更に説明するように）リアルタイムで更新される。いくつかの実施形態では、第１及び／又は第２の状態インジケータカテゴリにある状態インジケータは、それぞれの状態インジケータに対応する１つ以上の外部デバイスの特定の状態に対して１つ以上の動的構成要素を有さない。
In FIG. 13A, each state indicator is within (e.g., is part of or belongs to) a particular state indicator category, and each state indicator is in the respective state indicator category to which each of the respective state indicators corresponds. displayed in order based on In FIG. 13A, a particular status indicator category of status indicators indicates the urgency (or importance) of the status indicator. A status indicator within one status indicator category may have one or more characteristics that differ from one or more characteristics of status indicators within a different status indicator category. As shown in FIG. 13A, carbon
いくつかの実施形態では、新しい状態インジケータが表示される必要があると判定されると、デバイス７００は、新しい状態インジケータと同じ状態インジケータカテゴリの状態インジケータの後（又はその前又は間）に新しい状態インジケータを表示する。例えば、新しい状態インジケータが表示されるべきであり、新しい状態インジケータが第２の状態インジケータカテゴリにあると判定されると、デバイス７００は、更新利用可能な状態インジケータ１３１４ｄとタイマー状態インジケータ１３１４ｅの間に新しい状態インジケータを（例えば、表示された状態インジケータ１３１４の全ての開始及び／又は終了時に新しい状態インジケータを付加する代わりに）表示する。したがって、新しい状態インジケータは、状態インジケータの緊急性に関連する位置でデバイス７００上に表示され、ユーザは、他の表示された状態インジケータの関連する緊急性と比較して、新しい状態インジケータの関連する緊急性に基づいて新しい状態インジケータを識別、及び／又は、と対話させることを可能にする。図１３Ａでは、デバイス７００は、状態インジケータ１３１４に対応する場所でタップジェスチャ１３５０ａを検出する。
In some embodiments, when it is determined that a new state indicator should be displayed, the
図１３Ｂでは、デバイス７００は、ジェスチャ１３５０ａが左方向のスワイプジェスチャであると判定する。図１３Ｂに示すように、デバイス７００は、ジェスチャ１３５０ａがスワイプジェスチャであると判定したため、デバイス７００は、デバイス７００上（例えば、状態インジケータ１３１４と同じ領域内）に表示され得るよりも多くの状態インジケータが存在する場合には、追加の状態インジケータを表示する。具体的には、デバイス７００は、図１３Ａに以前に表示された状態インジケータ１３１４を左に（例えば、ジェスチャ１３５０ａの方向に）移動させ、それにより、一酸化炭素状態インジケータ１３１４ａ、アラーム状態インジケータ１３１４ｂ、及びアカウントエラー状態インジケータ１３１４ｃが表示されなくなり、更新利用可能な状態インジケータ１３１４ｄ及びタイマー状態インジケータ１３１４ｅは、それぞれ、一酸化炭素状態インジケータ１３１４ａ及びアラーム状態インジケータ１３１４ｂに置き換えられ、気候状態インジケータ１３１４ｆ、ドアロック状態インジケータ１３１４ｇ、及び光状態インジケータ１３１４ｈの一部は、図１３Ｂに新たに表示される。
In FIG. 13B,
図１３Ｂに示すように、タイマー状態インジケータ１３１４ｅは、動的構成要素、残りの時刻表示１３１４ｅ１を含む。図１３Ａ～１３Ｂを見ると、残りの時刻表示１３１４ｅ１は、図１３Ａではタイマーが１３分で開始し、図１３Ｂでは約１０分の左になるまで実行するので、図１３Ａのタイマー状態インジケータ１３１４ｅの周辺部のおよそ１００％から図１３Ｂのタイマー状態インジケータ１３１４ｅの周辺部のおよそ７５％であるまで（例えば、ユーザ入力に応答しないが、時間が経過したことに応答して）移動する。
As shown in FIG. 13B,
図１３Ｂでは、気候状態インジケータ１３１４ｆは、タイマー状態インジケータ１３１４ｅが図１３Ａに関して上述したものと同じ状態カテゴリである第３の状態インジケータカテゴリにある。気候状態インジケータ１３１４ｆは、外部デバイスの複数の異なるタイプ（例えば、空気品質センサ、温度、湿度センサ）の状態に対応する状態インジケータを表す。気候状態インジケータ１３１４ｆは、１つ以上の気候制御機器によって検出される平均温度（又は１つ以上の気候制御機器が設定される）が６８度であり、１つ以上の湿度センサによって検出された平均湿度は４０％であり、１つ以上の空気品質センサによって検出された平均空気品質が良好であることを示す。更に、状態インジケータ１３１４ｆはまた、サーモスタット制御が、加熱システムを起動させる（例えば、サーモスタット制御が制御されているデバイスによって部屋が加熱されている）ことを示し、これは状態示唆１３１４ｆの上向きの矢印によって示される。いくつかの実施形態では、状態インジケータ１３１４ｆが下向きの矢印を含むとき、状態インジケータ１３１４ｆは、サーモスタット制御が空調システムを起動させる（例えば、サーモスタット制御が制御されているデバイスによって部屋が冷却されている）ことを示す。いくつかの実施形態では、状態インジケータ１３１４ｆがダッシュを含むとき、状態インジケータ１３１４ｆは、サーモスタット制御が、空調システム又は加熱システムを起動させないことを示す（例えば、部屋が、サーモスタットが設定される指定温度であることが検出される）。図１３Ｂでは、デバイス７００は、状態インジケータ１３１４に対応する場所でタップジェスチャ１３５０ｂを検出する。
In FIG. 13B,
図１３Ｃでは、デバイス７００は、ジェスチャ１３５０ｂが左方向のスワイプジェスチャであると判定する。図１３Ｃに示すように、デバイス７００は、ジェスチャ１３５０ｂがスワイプジェスチャであると判定したため、デバイス７００は、追加の状態インジケータを表示する。具体的には、デバイス７００は、図１３Ｂに以前に表示された状態インジケータ１３１４を左に移動させ、それにより、更新利用可能な状態インジケータ１３１４ｄ、タイマー状態インジケータ１３１４ｅ、及び気候状態インジケータ１３１４ｆが表示されなくなり、ドアロック状態インジケータ１３１４ｇ、光状態インジケータ１３１４ｈは左にスライドし、開放窓状態インジケータ１３１４ｉ、ドアセンサ状態インジケータ１３１４ｊ、及び動きセンサ状態インジケータ１３１４ｋが、図１３Ｃに新たに表示される。ジェスチャ１３５０ｂが右向きのスワイプジェスチャであると判定される実施形態では、デバイス７００は、状態インジケータを右に移動させて、以前に表示された状態インジケータのうちの任意の１つ以上（例えば、図１３Ａに表示された一酸化炭素状態インジケータ１３１４ａ、アラーム状態インジケータ１３１４ｂ）を表示する。
In FIG. 13C,
図１３Ｃでは、ドアロック状態インジケータ１３１４ｇ、光状態インジケータ１３１４ｈ、及び開放窓状態インジケータ１３１４ｉは、第４の状態インジケータカテゴリ（例えば、第４の最緊急性のカテゴリ、第３の状態インジケータカテゴリよりも緊急性が低い状態インジケータカテゴリ、クイックアクション状態インジケータカテゴリ）にある。記載されるように、特定の状態タイプのカテゴリは予め定義されているが、いくつかの実施形態では、特定のタイプの状態インジケータのカテゴリは、１つ以上のユーザ入力を介して指定され得る。いくつかの実施形態では、デバイス７００は、特定のタイプのデバイス（例えば、光）並びに／若しくはユーザが特定のタイプのデバイス及び／又は特定のタイプの状態インジケータ（例えば、最重要、２番目に最重要、３番目に最緊急など）に関連する状態インジケータの状態カテゴリを設定することを可能にする特定のタイプの状態インジケータのための１つ以上の設定を表示する。
In FIG. 13C, door
第４の状態インジケータカテゴリの状態インジケータは、特定のタイプの外部デバイスの数が特定の状態にあることを示す。例えば、図１３Ｂに示すように、ドアロック状態インジケータ１３１４ｇは、２つのドアロックがアンロック状態にあることを示す。別の例として、図１３Ｃでは、光状態インジケータ１３１４ｈは、５つの光がアクティブ（又はオン）状態にあり、開放窓状態インジケータ１３１４ｉが７つの窓ブラインド（例えば、カバー、陰影）が開放状態にあることを示す。特に、第４の状態インジケータカテゴリの状態インジケータは、異なる状態にある同じタイプのデバイスに関する情報を除外する。例えば、ホーム６０２に指定されたリビングルームデスクランプは（例えば、リビングルームデスクランプ制御７１８ｇによって示されるように）オフである。図１３Ｃでは、リビングルームデスクランプがオフであるため、光状態インジケータ１３１４ｈは、リビングルームデスクに関する情報を含まない（図１３Ｄ～１３Ｆに関連して以下で更に詳細に説明する）。
A status indicator in the fourth status indicator category indicates that a number of external devices of a particular type are in a particular state. For example, as shown in FIG. 13B, door
図１３Ｃ～１３Ｈは、状態インジケータ（例えば、第４の状態インジケータカテゴリの状態インジケータ）に向けられたデバイス７００によって検出された異なるジェスチャを示す。具体的には、図１３Ｃ～１３Ｈは、光状態インジケータ１３１４ｈに向けられている異なるジェスチャを示す。しかしながら、本明細書に記載される類似の技術は、ドアロック状態インジケータ１３１４ｇ及び開放窓状態インジケータ１３１４ｉなどの他の状態インジケータに向けられているジェスチャに適用することができる。図１３Ｃでは、デバイス７００は、光状態インジケータ１３１４ｈに対応する（例えば、対応する場所で）ジェスチャ１３５０ｃを検出する。
Figures 13C-13H illustrate different gestures detected by
図１３Ｄでは、デバイス７００は、ジェスチャ１３５０ｃが、押圧及び保持ジェスチャ（例えば、所定の時間の期間を超えて検出されるジェスチャ）であると判定する。図１３Ｄに示すように、デバイス７００が、ジェスチャ１３５０ｃが押圧及び保持ジェスチャであると判定したため、デバイス７００は（例えば、ジェスチャ１３５０ｂがスワイプジェスチャであったと判定されたときに、追加の状態インジケータを表示することとは対照的に）ユーザインタフェース１３４０を表示する。図１３Ｄに示すように、ユーザインタフェース１３４０は、図１３Ｃで以前に表示されたユーザインタフェース７１０に置き換えられている。
In FIG. 13D,
図１３Ｄに示すように、光状態インジケータ１３１４ｈは、ホーム６０２に指定された１つ以上の光の状態を示すため、ユーザインタフェース１３４０は、ホーム６０２に指定された光（例えば、照明装置）のための外部デバイス制御７１８を含む。図１３Ｄに示すように、ユーザインタフェース１３４０上に表示される外部デバイス制御７１８は、それぞれの対応する外部デバイス制御が指定されるホーム６０２の部屋又は一部（例えば、「寝室」、「ダイニングルーム」、「リビングルーム」、「ポーチ」）によって順序付けられる。例えば、寝室光制御７１８ｆ及び寝室常夜灯制御７１８ｈは、ホーム６０２の寝室（例えば、６０２ｃ）に指定され、ユーザインタフェース１３４０上の「寝室」見出しの下にあり、ダイニングルーム光制御７１８ｉはホーム６０２のダイニングルーム（例えば、６０２ｂ）に指定され、ユーザインタフェース１３４０上の「ダイニングルーム」見出しの下にあり、リビングルームランプ制御７１８ｂ及びリビングルームデスクランプ制御７１８ｇはホーム６０２のリビングルーム（例えば、６０２ｄ）に指定され、ユーザインタフェース１３４０上の「リビングルーム」見出しの下にあり、ポーチ光制御７１８ｊはホーム６０２のポーチに指定され、ユーザインタフェース１３４０上の「ポーチ」見出しの下にある。
As shown in FIG. 13D,
特に、図１３Ｄに示すように、寝室光制御１７１８ｆ、寝室常夜灯制御７１８ｈ、ダイニングルーム光制御７１８ｉ、リビングルームランプ制御７１８ｂ、及びポーチ光制御７１８ｊは、対応するそれぞれのデバイス（例えば、電球）がオン又は作動していることを示す。換言すれば、寝室光制御１７１８ｆ、寝室常夜灯制御７１８ｈ、ダイニングルーム光制御７１８ｉ、リビングルームランプ制御７１８ｂ、及びポーチ光制御７１８ｊに対応するデバイスはオンであり、図１３Ｃの光状態インジケータ１３１４ｈによって示されるような「５つの点灯」示唆のうちの１つを示す。更に、光状態インジケータ１３１４ｈを見ると、６つの光がユーザインタフェース１３４０上に示されているが、第６の光及び／又は第６の光の状態の示唆は存在しない。５つの光のみがオン又はアクティブであり、光状態インジケータ１３１４ｈで識別されても、ホームは、ホームが関連付けられる非アクティブ又はオフである光などのより多くの光を有してもよい。いくつかの実施態様では、ユーザインタフェース１３４０は、光の詳細状態を表示する際に全ての光の詳細状態を示す。図１３Ｄでは、リビングルームデスクランプは、他の光とは異なる視覚的な指示で表示される（例えば、リビングルームデスクランプ制御７１８ｇがオフであることを示す）。いくつかの実施形態では、リビングルームデスクランプが図１３Ｃの光状態インジケータ１３１４ｈによって表される他の光制御と同じ状態にないため、ユーザインタフェース１３４０は、図１３Ｄでリビングルームデスクランプ制御７１８ｇを含まない。いくつかの実施形態では、ユーザインタフェース１３４０が図１３Ｄのリビングルームランプ制御７１８ｇを含まないとき、デバイス７００は、リビングルームランプランプの状態がオンに変化したこと（例えば、誰かがリビングルームデスクランプを物理的にオンにしたとき）の示唆の受信、又は光状態インジケータ１３１４ｈによって表される他の光制御の同じ状態に応答して、ユーザインタフェース１３４０上にリビングルームランプ制御７１８ｇを表示することができる。図１３Ｄでは、デバイス７００は、寝室光制御７１８ｆに向けられたタップジェスチャ１３５０ｄを検出する。
In particular, as shown in FIG. 13D, bedroom light control 1718f,
図１３Ｅでは、タップジェスチャ１３５０ｄの検出に応答して、デバイス７００は寝室光６３２の状態を変化させる（例えば、オフにする）命令を送信し、寝室光制御７１８ｆの視覚的見掛けを更新する。図１３Ｅに示すように、寝室光制御７１８ｆは、寝室光制御７１８ｆに対応する寝室光（例えば寝室光６３２）が、図１３Ｄに示すように、例えば、活性状態にあるのとは対照的に、オフ、例えば、不活性状態にあることを示す。特に、ユーザインタフェース１３４０上に表示された他の光制御は、図１３Ｄ～１３Ｅでは変更されていない。タップジェスチャ１３５０ｄの検出に応答して、デバイス７００は、他の光制御によって表される他の光が状態を変化させることなく、寝室光６３２を変化させる命令を送信する。したがって、ユーザインタフェース１３４０は、ユーザがそれぞれ対応する制御によって表される各デバイスに、他のデバイスにアクションを実行させることなく、アクション（例えば、デバイスの状態を変更する）を個別に実行させることを可能にする。図１３Ｅでは、デバイス７００は、完了アフォーダンス１３４２に向けられたタップジェスチャ１３５０ｅを検出する。
In FIG. 13E, in response to detecting tap gesture 1350d,
図１３Ｆに示すように、タップジェスチャ１３５０ｅの検出に応答して、デバイス７００はユーザインタフェース１３４０の表示を中止し、状態インジケータ１３１４を有するユーザインタフェース７１０を再表示する。図１３Ｆに示すように、光状態インジケータ１３１４ｈは、図１３Ｃの光状態インジケータ１３１４ｈによって示されるように、５つの光がオンであるとは対照的に、ホーム６０２で４つの光がオンであることを反映するように更新される。したがって、いくつかの状態インジケータは、現在特定の状態（例えば、デバイスがその特定の状態から変更されたかどうか、又はデバイスがその特定の状態に変更されたかどうか）にあるデバイスの数を示すように更新される。更に、図１３Ｆでは、寝室光制御７１８ｆはまた、ユーザインタフェース７１０上に表示された他の光制御（例えば、リビングルームランプ制御７１８ｂ及びリビングルームデスクランプ制御７１８ｇ）が、図１３Ｃに示すように、それらのそれぞれの外観と比較したときに変化していない間、寝室光がオフであることを反映するためにユーザインタフェース７１０上で変化している。したがって、ユーザインタフェース７１０上に表示されたデバイス制御はまた、デバイス７００が、ユーザインタフェース１３４０を介して表示されたデバイス制御に向けられたジェスチャ（例えば、ジェスチャ１３５０ｄ）を検出したことに応答して更新される。図１３Ｆでは、デバイス７００は、光状態インジケータ１３１４ｈに向けられたジェスチャ１３５０ｆを検出する。
In response to detecting
図１３Ｇでは、デバイス７００は、ジェスチャ１３５０ｆがタップジェスチャ（例えば、所定の時間の期間未満で検出されるジェスチャ、ジェスチャ１３５０ａ～１３５０ｃとは異なるジェスチャ）であると判定する。図１３Ｇでは、デバイス７００は、ジェスチャ１３５０ｆがタップジェスチャであると判定したため、デバイス７００は、図１３Ｆの光状態インジケータ１３１４ｈによってオンとして示される４つの光をオフにする（又は、状態を変更する）命令を送信する。したがって、寝室常夜灯制御７１８ｈ、ダイニングルーム光制御７１８ｉ、リビングルームランプ制御７１８ｂ、及びポーチ光制御７１８ｊが図１３Ｇではオフである。図１３Ｇに示すように、デバイス７００は、ジェスチャ１３５０ｆがタップジェスチャであると判定したため、デバイス７００は、光状態インジケータ１３１４ｈの視覚的見掛けを変更し（例えば、図１３Ｆのハッチングなしと比較して図１３Ｇでは新たに導入されたハッチングによって示される）、光状態インジケータ１３１４ｈを更新して、４つの光がオフされたことを示す。特に、図１３Ｇに示すように、リビングルームランプ制御７１８ｂ及びリビングルームデスクランプ制御７１８ｇもまた、それらのそれぞれの対応するデバイスがオフになったことを示すように変更される。したがって、図１３Ｇでは、デバイス７００は、状態インジケータ上の単一のジェスチャ（例えば、タップ）に応答して、複数のデバイス（例えば、異なる部屋に指定されたデバイス）の状態を変更し、これは、（例えば、図１３Ｄのジェスチャ１３５０ｄに関して上述したように）外部デバイス制御上の同じタイプのジェスチャ（例えば、タップ）に応答して、１つのデバイスの状態を変更するだけであるデバイス７００とは異なるものである。更に、図１３Ｇでは、デバイス７００は、タップジェスチャが向けられた状態インジケータによって示されるデバイス（例えば、光、ドアロック、窓ブラインド調整器）のタイプに基づく同じアクション（例えば、光のオン、ドアのロック、ブラインドの閉鎖）を実行することによって、複数のデバイスの状態を変更させる。図１３Ｇに示すように、図１３Ｈのジェスチャ１３５０ｆは、光状態インジケータ１３１４ｈに向けられたタップジェスチャであるため、デバイス７００は、他の状態インジケータの状態を変更せず、他の状態インジケータに対応する他のデバイスが状態を変更する命令を送信せず、他の状態インジケータの外観を維持する（例えば、図１３Ｆ～１３Ｇを比較するとき）。
In FIG. 13G,
図１３Ｈでは、デバイス７００が光状態インジケータ１３１４ｈに向けられた別のジェスチャを検出することなく、デバイス７００はジェスチャ１３５０ｆが検出されたことから、所定の時間の期間が経過したと判定する。図１３Ｈに示すように、ジェスチャ１３５０ｆが検出されたことから所定の時間の期間が経過したと判定されるので、デバイス７００は、光状態インジケータ１３１４ｈの表示を中止し、光状態インジケータ１３１４ｈによって以前に占有されていた空間を満たすために、開放窓状態インジケータ１３１４ｉ、ドアセンサ状態インジケータ１３１４ｊ、及び動きセンサ状態インジケータ１３１４ｋを左に移動させる。例えば、開放窓状態インジケータ１３１４ｉは、図１３Ｇの光状態インジケータ１３１４ｈに隣接し、開放窓状態インジケータ１３１４ｉは、図１３Ｈの光状態インジケータ１３１４ｈによって空けられた場所を占有する。状態インジケータのいくつかが左に偏移されているため、追加の状態インジケータ、光センサ状態インジケータ１３１４ｋが新たに表示される。ドアセンサ状態インジケータ１３１４ｊ、動きセンサ状態インジケータ１３１４ｋ及び光センサ状態インジケータ１３１４ｋは、第５の状態インジケータカテゴリ（例えば、第５の最緊急性のカテゴリ、第４の状態インジケータカテゴリよりも緊急性が低い状態インジケータカテゴリ、センサ状態インジケータカテゴリ）にある。ドアセンサ状態インジケータ１３１４ｊは、ホーム６０２に指定されたドアセンサが、ドアが半開きであることを検出したことを示す。動きセンサ状態インジケータ１３１４ｋは、ホーム６０２に指定された１つ以上の動きセンサによって動きが検出されたことを示す。光センサ状態インジケータ１３１４ｌは、１つ以上のドアセンサが、ホーム６０２に指定された１つ以上のドアが開放していることを検出したことを示す。いくつかの実施形態では、光状態インジケータ１３１４ｈに向けられたジェスチャが所定の時間の期間が経過する前に検出されると、デバイス７００は、４つの光をオン状態に変更し、光状態インジケータ１３１４ｈを更新して、（例えば、図１３Ｆに示すように）４つの光がオンであることを示す。状態インジケータに関連付けられたアクセサリが緊急又は活性状態から変化した後の所定の時間の期間、状態インジケータを引き続き検視するこの能力は、ユーザにアクセサリの状態変化を容易にアンドゥする機会をユーザに提供する。いくつかの実施形態では、光状態インジケータ１３１４ｈに向けられたジェスチャが所定の時間の期間が経過する前に検出されると、デバイス７００は、追加のジェスチャが受信される前に過ぎる時間に関わりなく、光状態インジケータ１３１４ｈの表示を維持する。これらの実施形態のいくつかでは、光状態インジケータ１３１４ｈが最初にユーザインタフェース７１０上に表示されたとき（例えば、図１３Ｂ）、１つ以上の光が入っていた最初の状態に光のうちの任意の１つ以上が戻ることを、光状態インジケータ１３１４ｈが示すので、デバイス７００は、光状態インジケータ１３１４ｈのディスプレイを維持する。図１３Ｈでは、デバイス７００は、部屋ナビゲーション制御７２２ｂ上でタップジェスチャ１３５０ｈを検出する。
In FIG. 13H,
図１３Ｉに示すように、タップジェスチャ１３５０ｈの検出に応答して、デバイス７００は、ホームアプリケーションのユーザインタフェース１３６０を表示し、部屋ナビゲーション制御７２２ｂが（例えば、ボールドで示されるように）選択されていることを示す。ユーザインタフェース１３６０は、寝室識別子１３６８によって示されるように、寝室６０２ｃに指定された複数の外部デバイスを制御するためのユーザインタフェースである。いくつかの実施形態では、デバイス７００は、図１３Ｉのユーザインタフェース１３６０を表示するために、図７Ｇのユーザインタフェース７６０を表示することに関連して上述したような１つ以上の技術を使用することができる。いくつかの実施形態では、ユーザインタフェース１３６０は、図７Ｆのタップジェスチャ７５０ｆ３の検出に応答して代替的に表示することができ、及び／又はユーザインタフェース７６０は、図１３Ｈのタップジェスチャ１３５０ｈの検出に応答して代替の表示をすることができる。
As shown in FIG. 13I, in response to detecting
図１３Ｉに示すように、ユーザインタフェース１３６０は、図１３Ａ～１３Ｃ及び１３Ｆ～１３Ｈに表示された状態インジケータよりも、状態インジケータの低減された１組を含む。ユーザインタフェース１３６０は、ユーザインタフェース１３６０上に表示されたそれぞれの状態インジケータが寝室６０２に指定された少なくとも１つのデバイスに対応すると判定されるので、状態インジケータの低減された１組を含む。換言すれば、寝室６０２ｃに指定された複数の外部デバイスを制御するためのユーザインタフェース１３６０を表示するとき、デバイス７００は、寝室６０２ｃに指定された少なくとも１つの装置に対応しない状態インジケータの表示を中止する。
As shown in FIG. 13I,
図１３Ｉに示すように、状態インジケータの低減された１組は、一酸化炭素状態インジケータ１３１４ａ、気候状態インジケータ１３１４ｆ、及び開放窓状態インジケータ１３１４ｉを含む。特に、図１３Ｉの気候状態インジケータ１３１４ｆは、寝室に指定されているが、図１３Ｂの気候状態インジケータ１３１４ｆが示した湿度及び／又は空気品質情報を示していないサーモスタットに関連する温度を示す。ここで、湿度及び空気品質センサが寝室に指定されていないため、図１３Ｉの気候状態インジケータ１３１４ｆは湿度及び／又は空気品質情報を示さない。しかしながら、図１３Ｉの気候状態インジケータ１３１４ｆは、少なくとも１つのサーモスタットが寝室に指定されているため、サーモスタット制御に関連する温度を示す。更に、図１３Ｉの状態インジケータ１３１４ｆは更に、サーモスタット制御が、加熱システムを起動させる（例えば、サーモスタット制御が制御されているデバイスによって部屋が加熱されている）ことを示し続け（例えば、図１３Ｂの１３１４ｆと比較したとき）、これは図１３Ｉの状態示唆１３１４ｆの上向きの矢印によって示される。したがって、同じタイプの複数のデバイスに対応する状態インジケータは、ホーム６０２の異なる部分又は部屋に対応するユーザインタフェースにナビゲートするときに、デバイスのタイプのうちの任意の１つ以上に関する情報の表示を中止することができる。更に、図１３Ｉの開放窓状態インジケータ１３１４ｉは、図１３Ｈに示すように、７つの窓が開いていることを示すのとは対照的に、１つの窓が開いていることを示すように変更されている。図１３Ｉの開放窓状態インジケータ１３１４ｉは、１つの寝室窓のみが寝室６０２ｃに指定された窓ブラインド調整器を有するため、１つの窓が開いていることを示すように変更されている。図１３Ｉでは、デバイス７００は、開放窓状態インジケータ１３１４ｉに向けられた押圧及び保持ジェスチャ１３５０ｉを検出する。
As shown in FIG. 13I, the reduced set of condition indicators includes carbon
押圧及び保持ジェスチャ１３５０ｉの検出に応答して、図１３Ｊに示すように、デバイス７００は、窓ブラインド調整可能な制御１３１８ｉを含むユーザインタフェース１３７０を表示する。図１３Ｊでは、デバイス７００は、窓ブラインド調節可能な制御１３１８ｉ上でのジェスチャ１３５０ｊ（スワイプダウンジェスチャ）を検出する。図１３Ｋに示すように、ジェスチャ１３５０ｊを検出したことに応答して、デバイス７００は、窓ブラインド調整器に、（図３１Ｊの示唆１３７２によって示されるように）１００％の開放状態から、（例えば、図１３Ｋの示唆１３７２によって示されるように）５８％の開放状態に変更させる、寝室６０２ｂに指定された窓ブラインド調整器デバイスに命令を送る。
In response to detecting the press and hold
特に、図１３Ｊでは、デバイス７００は、窓ブラインド調整可能な制御１３１８ｉを表示し、ここで窓ブラインド調節可能な制御１３１８ｉの選択によって、窓ブラインド調整器の状態が窓ブラインド調節可能な制御１３１８ｉによって示される（例えば、「開放」１００％開いている）状態とは異なる状態及び窓ブラインド調節可能な制御１３１８ｉによって示され状態（例えば、「開放」）とは反対の状態（例えば、「閉鎖」０％開いている）に変更される。したがって、窓ブラインド選択可能な制御１３１８ｉを選択することにより、ユーザが、図１３Ｉの開放窓状態インジケータ１３１４ｉの方向にタップジェスチャを向けることによって、窓ブラインド調整器を変更することができる状態とは異なる状態に窓ブラインド調整器を変更することをユーザに可能にする。いくつかの実施形態では、デバイス７００は、図１３Ｉの開放窓状態インジケータ１３１４ｉが、所定の数を超えるデバイスを示すときに、図１３Ｄのユーザインタフェース１３４０と類似のユーザインタフェースを表示する。したがって、図１３Ｉの窓状態インジケータ１３１４ｉによって示される所定の数を超えるデバイスが存在する場合、複数のデバイスを制御する複数の制御が表示され、それぞれの制御のうちの１つの選択により、デバイスを反対状態（例えば、オン／オフ状態、開閉状態、ロック／アンロック状態）に変更させる。いくつかの実施形態では、デバイス７００は、状態インジケータによって示される所定の数を超えるデバイスが存在する場合よりも、所定の数未満のデバイスが存在する場合に、ユーザが１つ以上のデバイスの上に、より多くの（又は異なる）制御を有することを可能にする制御を表示する。いくつかの実施形態では、状態インジケータによって示される所定の数未満のデバイスが存在し、状態インジケータ上でタップアンドホールドジェスチャが検出されと、デバイス７００は、所定の数を超えるデバイスが状態インジケータによって特定の状態にあることが示されるとき、特定のデバイスに対して表示される制御の数よりも、特定のデバイスを制御するためのより多くの制御を表示する。
In particular, in FIG. 13J,
図１３Ｌ～１３Ｎは、他の状態インジケータに向けられたジェスチャの検出に応答して表示される例示的なユーザインタフェースを示す。いくつかの実施形態では、他の状態インジケータに向けられたジェスチャは、図１３Ｌ～１３Ｎのそれぞれのユーザインタフェースを表示するために、ジェスチャ１３５０ｃ（例えば、押圧及び保持ジェスチャ）と同じタイプのジェスチャ又はジェスチャ１３５０ｆ（例えば、タップジェスチャ）と同じタイプのジェスチャであり得る。したがって、いくつかの実施形態では、デバイス７００は、ジェスチャのいずれかのタイプ（例えば、押圧及び保持ジェスチャ又はタップジェスチャ）の検出に応答して、図１３Ｌ～１３Ｎのそれぞれのユーザインタフェースを表示する。
13L-13N illustrate exemplary user interfaces displayed in response to detecting gestures directed at other status indicators. In some embodiments, gestures directed at other state indicators are the same type of gestures or gestures as
図１３Ｌは、ユーザインタフェース１３８２を表示するデバイス７００を示す。ユーザインタフェース１３７０は、デバイス７００が図１３Ａの一酸化炭素状態インジケータ１３１４ａに向けられたジェスチャを検出したことに応答して表示される。図１３Ｌに示すように、ユーザインタフェース１３８２は、外部デバイス制御７１８を含み、ここで各外部デバイス制御は、ホーム６０２に指定された一酸化炭素デバイスの状態を示す。ユーザインタフェース１３８２によって示すように、寝室一酸化炭素センサが（例えば、寝室一酸化炭素制御７１８ｋによって示されるように）トリガされ、キッチン一酸化炭素センサ及びリビングルーム一酸化炭素センサは、（一酸化炭素センサ７１８ｌ～７１８ｍによって示されるように）トリガされていない。したがって、デバイス７００が第４の状態インジケータカテゴリ（例えば、一酸化炭素状態インジケータ１３１４ａ）以外の状態インジケータカテゴリの状態インジケータに向けられたジェスチャの検出に応答して、デバイス７００は、それぞれのカテゴリの状態インジケータに対応する特定のタイプのデバイス制御を表示し、ここでデバイス制御は、それぞれの制御に対応するデバイスがある状態を示す１つ以上の視覚的見掛けを有する。いくつかの実施形態では、ユーザインタフェース１３７０は、図１３Ｄ～１３Ｅに関連して上述したものと類似の技術を使用して表示される。
FIG. 13L shows
図１３Ｍは、ユーザインタフェース１３８４を表示するデバイス７００を示す。ユーザインタフェース１３８４は、デバイス７００が図１３Ｂの気候状態インジケータ１３１４ｆに向けられたジェスチャを検出したことに応答して表示される。図１３Ｌに示すように、ユーザインタフェース１３８４は、気候状態インジケータ１３１４ｆが、（例えば、図１３Ｂに関して上述したように）複数のタイプのデバイスの状態を示すため、複数のタイプのデバイスに対応する制御を含む。例えば、図１３Ｌでは、ユーザインタフェース１３８４は、サーモスタットデバイスを制御するための制御（例えば、寝室サーモスタット制御７１８ｎ及びリビングルームサーモスタット制御７１８ｒ）、空気品質センサを制御するための制御（例えば、キッチン空気品質センサ制御７１８ｏ及びリビングルーム空気品質センサ制御７１８ｒ）、及び湿度センサを制御するための制御（例えば、キッチン湿度センサ制御７１８ｐ）を含む。
FIG. 13M shows
図１３Ｎは、ユーザインタフェース１３８６を表示するデバイス７００を示す。ユーザインタフェース１３８６は、デバイス７００が図１３Ｈの動きセンサ状態インジケータ１３１４ｋに向けられたジェスチャを検出したことに応答して表示される。１３Ｎに示すように、ユーザインタフェース１３８６は、ホーム６０２に指定された動きセンサに対応する制御を含む。ユーザインタフェース１３８６は、図１３Ｄ～１３Ｅ及び１３Ｌに関連して上述したものと類似の技術を使用して表示される。
FIG. 13N shows
図１４は、いくつかの実施形態に係る、コンピュータシステムを使用して外部デバイスを管理するための方法を示すフロー図である。方法１４００は、ディスプレイ生成構成要素（例えば、ディスプレイ）及び１つ以上の入力デバイス（例えば、タッチ感知ディスプレイスクリーン）と通信するコンピュータシステム（例えば、１００、３００、５００、６３４、６７４、７００、７０１、８５０）で実行される。方法１４００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
FIG. 14 is a flow diagram illustrating a method for managing external devices using a computer system, according to some embodiments. The
後述するように、方法１４００は、外部デバイスを管理するための直観的方法を提供する。本方法は、外部デバイスを管理するためのユーザの認識的負担を軽減し、それによって、より効率的なヒューマン－マシンインタフェースを作り出す。バッテリ動作式コンピューティングデバイスの場合、ユーザがより高速かつ効率的にデバイス状態を認識することを有効化することで、電力を節約し、バッテリ充電間の時間を延ばす。
As described below,
コンピュータシステムは、第１のアクセサリタイプの複数のアクセサリデバイス（例えば、電球、窓、スイッチ、アウトレット、ロック（例えば、ドアロック、窓ロック）、テレビ）が第１の状態（例えば、オン、オフ、開放、閉鎖、ロック、アンロック）にあることを示す（例えば、グラフィカル表現及び対応する文字（例えば、２つの電球がオンである））第１の状態インジケータ（例えば、１３１４ｇ、１３１４ｈ、１３１４ｉ）を、ディスプレイ生成構成要素を介して（（例えば、表示を含む）含む第１のユーザインタフェース（例えば、アクセサリデバイスの１組を制御するためのユーザインタフェース）の表示の一部として）表示する（例えば、１４０２）。第１のアクセサリタイプの複数のアクセサリデバイスは、第１のアクセサリタイプであり、第１の状態にある第１のアクセサリデバイス（１４０４）、及び第１のアクセサリタイプであり、第１の状態にある第２のアクセサリデバイス（１４０６）を含み、ここで第２のアクセサリデバイスは、第１のアクセサリデバイスとは異なる。いくつかの実施形態では、第１の状態インジケータは、第１の状態にない第１のアクセサリタイプのアクセサリデバイス（例えば、第２の状態）（例えば、第１の状態インジケータは、第１の状態にない（例えば、第２の状態の）第１のアクセサリタイプの１つ以上のデバイスを（例えば、選択されたときに）示さない又は制御しない）を示さない。いくつかの実施形態では、第１の状態インジケータは、第１のアクセサリタイプではないアクセサリタイプのアクセサリデバイスの現在の状態に関わらず、第１のアクセサリタイプではないアクセサリタイプのアクセサリデバイスを示さない。 A computer system determines that a plurality of accessory devices of a first accessory type (e.g., light bulbs, windows, switches, outlets, locks (e.g., door locks, window locks), televisions) are in a first state (e.g., on, off, Open, Closed, Locked, Unlocked (e.g., graphical representation and corresponding lettering (e.g., two bulbs are on)) a first status indicator (e.g., 1314g, 1314h, 1314i) , display (e.g., as part of a display of a first user interface (e.g., a user interface for controlling a set of accessory devices) including (e.g., including a display)) via a display generation component (e.g., 1402). The plurality of accessory devices of a first accessory type are a first accessory device (1404) of a first accessory type and in a first state, and a first accessory device (1404) of a first accessory type and in a first state. A second accessory device (1406) is included, wherein the second accessory device is different than the first accessory device. In some embodiments, the first state indicator is the accessory device of the first accessory type that is not in the first state (eg, the second state) (eg, the first state indicator is the do not show or control (eg, when selected) one or more devices of the first accessory type (eg, in a second state). In some embodiments, the first status indicator does not indicate the accessory device of the accessory type that is not the first accessory type, regardless of the current status of the accessory device of the accessory type that is not the first accessory type.
コンピュータシステムは、第１の状態インジケータを表示している間に、コンピュータシステムはジェスチャ（例えば、１３５０ａ～１３５０ｃ、１３５０ｆ）を（例えば、１つ以上の入力デバイスを介して）検出する（１４０８）。 The computer system detects (eg, via one or more input devices) gestures (eg, 1350a-1350c, 1350f) while the computer system is displaying the first status indicator (1408).
ジェスチャの検出（１４１０）に応答し、ジェスチャが第１のタイプのジェスチャ（例えば、１３５０ｆ）（例えば、タップジェスチャ）で、第１の状態インジケータ（例えば、１３５０ｈ）に（例えば、対応する場所で）向けられたとの判定に従って、コンピュータシステムは、第１のアクセサリデバイス（例えば、第１のアクセサリデバイスの状態を変更するアクションを実行するために）及び第２のアクセサリデバイスを（例えば、第２のアクセサリデバイスの状態を変更するアクションを実行するために）第１の状態とは異なる（例えば、（例えば、オン／オフ、ロック／アンロック、開閉）の反対）第２の状態に変更させる（１４１２）（例えば、プロセスを開始することを介して（及び、いくつかの実施形態では、プロセスは、１つ以上の命令を１つ以上のデバイス（例えば、サーバ、第１のアクセサリデバイス及び第２のアクセサリデバイスを含む複数のデバイスと通信するハブデバイス、第１のアクセサリデバイス、第２のアクセサリデバイス）に送信すること含む）。いくつかの実施形態では、第１のアクセサリデバイス及び第２のアクセサリデバイスを第２の状態にすることの一部として、コンピュータシステムは、（例えば、ジェスチャが検出される前に）第２の状態（又は、第１の状態とは異なる任意の状態）にある１つ以上のアクセサリデバイスに、任意のアクションを実行させない、及び／又は状態を変更させない。 In response to detecting (1410) a gesture, the gesture is a first type of gesture (e.g., 1350f) (e.g., tap gesture) to a first state indicator (e.g., 1350h) (e.g., at a corresponding location). In accordance with the determination that it is directed, the computer system directs the first accessory device (e.g., to perform an action that changes the state of the first accessory device) and the second accessory device (e.g., the second accessory device Cause the device to change 1412 to a second state that is different from the first state (e.g., as opposed to (e.g., on/off, locked/unlocked, open/closed)) to perform an action that changes the state of the device (1412). (e.g., via initiating a process (and in some embodiments, a process may send one or more instructions to one or more devices (e.g., a server, a first accessory device and a second a hub device, a first accessory device, a second accessory device that communicates with a plurality of devices, including the device), in some embodiments the first accessory device and the second accessory device; As part of entering the second state, the computer system causes one or more states to be in the second state (or any state different from the first state) (e.g., before the gesture is detected). accessory device to perform any action and/or change state.
ジェスチャの検出に（１４１０）応答し、ジェスチャが第１のタイプのジェスチャとは異なる第２のタイプのジェスチャ（例えば、１３５０ｃ）（例えば、長押しジェスチャ）で、第１の状態インジケータ（例えば、１３１４ｈ）に向けられたとの判定に従って、コンピュータシステムは、ディスプレイ生成構成要素を介して、第１のアクセサリデバイスに対応する第１のアクセサリ制御ユーザインタフェースオブジェクト対象（例えば、７１８ｂ、７１８ｆ～７１８ｊ）（例えば、第２のユーザインタフェースの表示の一部として）を表示し（１４１４）、ここで、第１のアクセサリ制御ユーザインタフェースオブジェクト対象の選択（例えば、１３５０ｄ）（第１のタイプのジェスチャ（例えば、タップジェスチャ）であるジェスチャを介して）によって、（例えば、第１のアクセサリデバイスの状態を変更するアクションを実行するために）第１のアクセサリデバイスを、第２のアクセサリデバイスを第２の状態に変更させることなく（例えば、第１のアクセサリデバイスを第１の状態にすることを完了した後に、第２のアクセサリデバイスは第１の状態であり続ける）第２の状態に変更させる（例えば、プロセスを開始することを介して（及び、いくつかの実施形態では、プロセスは、命令を１つ以上のデバイス（例えば、サーバ、複数のアクセサリデバイス（例えば、第１及び第２のアクセサリデバイスを含む）と通信するハブデバイス、第１のアクセサリデバイス（第２のアクセサリデバイスではない））。いくつかの実施形態では、第１のアクセサリデバイスに対応する第１のアクセサリ制御ユーザインタフェースオブジェクト対象を表示している間に、コンピュータシステムは、第１のアクセサリ制御ユーザインタフェースオブジェクト対象に向けられたジェスチャを検出し（例えば、第１のアクセサリ制御ユーザインタフェースオブジェクト対象に向けられた第１のタイプのジェスチャ）、第１のアクセサリ制御ユーザインタフェースオブジェクト対象に向けられたジェスチャの検出に応答して、コンピュータシステムは、（例えば、第１のアクセサリデバイスを変更するアクションを実行するために）第１のアクセサリデバイスを、第２のアクセサリデバイスを第２の状態にすることなく、第２の状態に変更するアクションを実行させる（例えば、第１のアクセサリデバイスを第１の状態にすることを完了した後に、第２のアクセサリデバイスは第１の状態であり続ける）。いくつかの実施形態では、第１の状態インジケータに向けられたジェスチャの検出に応答し、ジェスチャが第１のジェスチャとは異なる第２のジェスチャ（例えば、長押しジェスチャ）であるとの判定に従って、コンピュータシステムは、ディスプレイ生成構成要素を介して、第３のアクセサリデバイスに対応する第３のアクセサリ制御ユーザインタフェースオブジェクト対象を表示し、ここで第３のアクセサリデバイスは第１のアクセサリデバイスタイプで、第１の状態にはない（例えば、第２の状態にある）、及び第３のアクセサリ制御ユーザインタフェースオブジェクト対象に向けられたジェスチャの検出に応答して、コンピュータシステムは、第３のアクセサリデバイスを、第１のアクセサリデバイス及び第２のアクセサリデバイスの状態を変更することなく（例えば、第１のアクセサリデバイス及び第２のアクセサリデバイスを第２の状態にすることなく）、（例えば、第３のアクセサリデバイスを変更するアクションを実行するために）第１の状態にする。いくつかの実施形態では、第２のユーザインタフェースは、第１のタイプではない（例えば、第１のアクセサリタイプとは異なる第２のアクセサリタイプの）アクセサリデバイスに対応する（例えば、又は任意の）アクセサリ制御ユーザインタフェースオブジェクト対象を含まない。いくつかの実施形態では、第１の状態インジケータに向けられたジェスチャの検出に応答し、ジェスチャが、第１のジェスチャとは異なる第２のジェスチャ（例えば、長押しジェスチャ）であるとの判定に従って、コンピュータシステムは、第１のアクセサリタイプとは異なるアクセサリタイプからなり、第２のユーザインタフェースを介して表示されるアクセサリ制御ユーザインタフェースオブジェクト対象を表示しない）。いくつかの実施形態では、第１の状態インジケータに向けられたジェスチャの検出に応答し、ジェスチャが第１のジェスチャとは異なる第２のジェスチャ（例えば、長押しジェスチャ）であるとの判定に従って、コンピュータシステムは、第１の状態インジケータの表示を中止する。ジェスチャが第１の状態インジケータに向けられるとき、検出されたジェスチャのタイプに基づいて異なる動作を実行することにより、ユーザには、ユーザインタフェースを乱すことなく、より多くの制御オプションが提供される。表示される追加コントローラによってＵＩを雑然とさせることなく、システムの追加制御できるようにすることにより、システムの操作性が高められ、ユーザ－システムインタフェースを（例えば、システムを操作する／システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用することを有効化することによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。第１のアクセサリデバイス及び第２のアクセサリデバイスを、第１の状態とは異なる第２の状態に変更させることにより、複数のデバイスが状態を変化させる１つの制御をユーザに提供し、これにより、複数のデバイスに状態を変更させるために必要な入力の数が低減される。動作を実行するために必要な入力の数を低減することにより、システムの操作性を向上させ、（例えば、システムを操作する／システムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザ－システムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用することを有効化することによって、電力使用を低減し、システムのバッテリ寿命を改善する。 A second type of gesture (eg, 1350c) (eg, a long press gesture) in response to 1410 detecting a gesture, where the gesture is different from the first type of gesture, causes a first state indicator (eg, 1314h) ), the computer system, via the display generation component, directs a first accessory control user interface object target (eg, 718b, 718f-718j) corresponding to the first accessory device (eg, as part of the display of the second user interface) is displayed 1414, where the selection of the first accessory control user interface object target (eg, 1350d) (a first type of gesture (eg, tap gesture)). ) causes a first accessory device to change a second accessory device to a second state (eg, to perform an action that changes the state of the first accessory device). (e.g., a second accessory device continues to be in the first state after completing placing the first accessory device in the first state) without changing to a second state (e.g., starting a process). (and in some embodiments, the process communicates instructions to one or more devices (e.g., a server, multiple accessory devices (e.g., including first and second accessory devices) the hub device, the first accessory device (not the second accessory device).In some embodiments, while displaying the first accessory control user interface object target corresponding to the first accessory device Second, the computer system detects a gesture directed at the first accessory control user interface object target (e.g., a first type gesture directed at the first accessory control user interface object target) and performs a first In response to detecting a gesture directed at an accessory control user interface object target, the computer system moves the first accessory device (e.g., to perform an action that modifies the first accessory device) to the second accessory device. Cause an action to change to a second state without placing the accessory device in the second state (e.g., placing the first accessory device in the first state). After completing, the second accessory device remains in the first state). In some embodiments, in response to detecting a gesture directed at the first state indicator, and following determining that the gesture is a second gesture that is different from the first gesture (eg, a long press gesture): The computer system displays, via the display generating component, a third accessory control user interface object object corresponding to the third accessory device, where the third accessory device is of the first accessory device type and the Not in one state (e.g., in a second state) and in response to detecting a gesture directed at a third accessory control user interface object target, the computer system causes the third accessory device to: Without changing the state of the first accessory device and the second accessory device (e.g., without putting the first accessory device and the second accessory device into the second state) (e.g., the third accessory (to perform an action that modifies the device) to a first state. In some embodiments, the second user interface corresponds (eg, or any) to an accessory device that is not of the first type (eg, of a second accessory type that differs from the first accessory type). Does not include accessory control user interface object targets. In some embodiments, in response to detecting a gesture directed at the first state indicator, and following determining that the gesture is a second gesture (e.g., a long press gesture) that is different from the first gesture. , the computer system does not display an accessory control user interface object object that is of a different accessory type than the first accessory type and is displayed via the second user interface). In some embodiments, in response to detecting a gesture directed at the first state indicator, and following determining that the gesture is a second gesture that is different from the first gesture (eg, a long press gesture): The computer system ceases displaying the first status indicator. By performing different actions based on the type of gesture detected when a gesture is directed at the first state indicator, the user is provided with more control options without cluttering the user interface. By allowing additional control of the system without cluttering the UI with additional displayed controllers, the usability of the system is enhanced and the user-system interface (e.g., operating/interacting with the system by helping the user to provide the correct input at times and by reducing user error), as well as enabling the user to use the system more quickly and efficiently, Reduces system power usage and improves battery life. providing a user with one control over which multiple devices change states by causing the first accessory device and the second accessory device to change to a second state that is different from the first state, thereby: The number of inputs required to cause multiple devices to change state is reduced. Improves the usability of the system by reducing the number of inputs required to perform an action (e.g., prompting the user to provide appropriate input when operating/interacting with the system). It makes the user-system interface more efficient (by assisting and reducing user error), as well as reducing power usage by enabling users to use the system more quickly and efficiently. , to improve system battery life.
いくつかの実施形態では、ジェスチャが、第１のタイプのジェスチャとは異なり、第１の状態インジケータ（例えば、１３１４ｈ）に向けられた第２のタイプのジェスチャ（例えば、１３５０ｃ）であるとの判定に従って、コンピュータシステムは、ディスプレイ生成構成要素を介し、第１のアクセサリ制御ユーザインタフェースオブジェクト対象（例えば、７１８ｂ、７１８ｆ～７１８ｊ）と同時に、第２のアクセサリデバイスに対応する第２のアクセサリ制御ユーザインタフェースオブジェクト対象（例えば、７１８ｂ、７１８ｆ～７１８ｊ）を表示する。いくつかの実施形態では、第２のアクセサリ制御ユーザインタフェースオブジェクト対象の（例えば、第１のタイプのジェスチャ（例えば、タップジェスチャ）を介しての）選択によって、（例えば、プロセスを介して（及び、いくつかの実施形態では、プロセスは１つ以上のデバイス（例えば、サーバ、複数のアクセサリデバイス（例えば、第１及び第２のアクセサリデバイスを含む）と通信するハブデバイス、第２のアクセサリデバイス（第１のアクセサリデバイスではない）に命令を送信することを含む）第２のアクセサリデバイスを、第１のアクセサリデバイスを第２の状態に変更させることなく、第２の状態に変更させる。いくつかの実施形態では、第２のアクセサリデバイスに対応する第２のアクセサリ制御ユーザインタフェースオブジェクト対象を表示している間に、コンピュータシステムは、第１のアクセサリ制御ユーザインタフェースオブジェクト対象に向けられたジェスチャを検出し（例えば、第１のアクセサリ制御ユーザインタフェースオブジェクト対象に向けられた第１のタイプのジェスチャ）、第２のアクセサリ制御ユーザインタフェースオブジェクト対象に向けられたジェスチャの検出に応答して、コンピュータシステムは、（例えば、第２のアクセサリデバイスを変更するアクションを実行するために）第２のアクセサリデバイスを、第１のアクセサリデバイスを第２の状態にすることなく、第２の状態に変更するアクションを実行させる（例えば、第２のアクセサリデバイスを第１の状態にすることを完了した後に、第１のアクセサリデバイスは第１の状態であり続ける）。いくつかの実施形態では、第２のアクセサリ制御ユーザインタフェースオブジェクト対象に向けられたジェスチャの検出に応答して、第２のアクセサリ制御ユーザインタフェースオブジェクト対象は、第１の視覚的見掛け（例えば、文字、サイズ、色、押圧された状態（例えば、押し下げられた、押圧））を有することから、第１の視覚的見掛けとは異なる第２の視覚的見掛け（例えば、文字、サイズ、色、押圧された状態（例えば、押し下げられた、押圧））に変更される。第１のアクセサリデバイスに対応する第１のアクセサリ制御と同時に第２のアクセサリデバイスに対応する第２のアクセサリ制御ユーザインタフェースオブジェクト対象を表示することは（例えば、ジェスチャが第１のタイプのジェスチャとは異なり、第１の状態インジケータに向けられた第２のタイプのジェスチャであるとの判定に従って）、ユーザインタフェースを乱すことなく個々のアクセサリデバイスを制御するためのより多くの制御オプションをユーザに提供する。表示される追加コントローラによってＵＩを雑然とさせることなく、システムの追加制御できるようにすることにより、システムの操作性が高められ、ユーザ－システムインタフェースを（例えば、システムを操作する／システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用することを有効化することによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。 In some embodiments, determining that the gesture is a second type gesture (eg, 1350c) directed at the first state indicator (eg, 1314h), unlike the first type gesture Accordingly, the computer system, via the display generation component, concurrently displays a first accessory control user interface object object (eg, 718b, 718f-718j), and a second accessory control user interface object corresponding to the second accessory device. Display objects (eg, 718b, 718f-718j). In some embodiments, selection of a second accessory control user interface object target (e.g., via a first type of gesture (e.g., tap gesture)) causes (e.g., via a process (and In some embodiments, the process includes one or more devices (e.g., a server, a hub device communicating with a plurality of accessory devices (e.g., including first and second accessory devices), a second accessory device (e.g., a second sending a command to a second accessory device to change to a second state without causing the first accessory device to change to the second state; In an embodiment, while displaying a second accessory control user interface object target corresponding to a second accessory device, the computer system detects a gesture directed at the first accessory control user interface object target. (e.g., a first type gesture directed at a first accessory control user interface object target), in response to detecting a gesture directed at a second accessory control user interface object target, the computer system: causing a second accessory device to perform an action to change to a second state without bringing the first accessory device to the second state (e.g., to perform an action that changes the second accessory device); (For example, the first accessory device remains in the first state after completing placing the second accessory device in the first state.) In some embodiments, a second accessory control user interface. In response to the detection of a gesture directed at the object target, the second accessory control user interface object target displays the first visual appearance (e.g., character, size, color, pressed state (e.g., depressed , pressed)), is changed to a second visual appearance (e.g., character, size, color, pressed state (e.g., depressed, pressed)) that is different from the first visual appearance. Displaying a second accessory control user interface object target corresponding to a second accessory device concurrently with a first accessory control corresponding to a first accessory device (eg, the gesture is a first type of gesture) (as opposed to a gesture of the second type directed at the first status indicator), giving the user more control options for controlling individual accessory devices without disrupting the user interface. offer. By allowing additional control of the system without cluttering the UI with additional displayed controllers, the usability of the system is enhanced and the user-system interface (e.g., operating/interacting with the system by helping the user to provide the correct input at times and by reducing user error), as well as enabling the user to use the system more quickly and efficiently, Reduces system power usage and improves battery life.
いくつかの実施形態では、ジェスチャは、第１の状態インジケータと共に、第１のアクセサリタイプとは異なる、第２のアクセサリタイプの複数のアクセサリデバイスが第３の状態にあることを示す第２の状態インジケータ（例えば、１３１４ｇ、１３１４ｉ）を同時に表示している間に検出され、第２のアクセサリタイプの複数のアクセサリデバイスは、第２のアクセサリタイプであり、第３の状態（例えば、第１の状態及び第２の状態とは異なる状態）にある第３のアクセサリデバイス及び第２のアクセサリタイプであり、第３の状態にある第４のアクセサリデバイスを含む。いくつかの実施形態では、第２のアクセサリタイプであり、第２の状態にある第３のアクセサリデバイス及び第２のアクセサリタイプであり、第２の状態にある第４のアクセサリデバイスは、第１のアクセサリデバイス及び第２のアクセサリデバイスとは異なる。いくつかの実施形態では、ジェスチャが第１のタイプのジェスチャ（例えば、１３５０ｆと類似の）（例えば、タップジェスチャ）で、第２の状態インジケータ（例えば、１３１４ｇ、１３１４ｉ）に（例えば、対応する場所で）向けられたとの判定に従って、コンピュータシステムは、第３のアクセサリデバイス及び第４のアクセサリデバイスを第３の状態とは異なる（例えば、第１のアクセサリデバイス及び第２のアクセサリデバイスを異なる状態に変更させることなく（例えば、第１の状態とは異なる（例えば、（例えば、オン／オフ、ロック／アンロック、開閉）の反対）第２の状態）第４の状態に変更させる（例えば、プロセスを開始することを介して（及び、いくつかの実施形態では、プロセスは、１つ以上の命令を１つ以上のデバイス（例えば、サーバ、第１のアクセサリデバイス、第２のアクセサリデバイス、第３のアクセサリデバイス、及び第４のアクセサリデバイスを含む複数のデバイスと通信するハブデバイス）に送信すること含む）。いくつかの実施形態では、ジェスチャが第２のタイプのジェスチャ（例えば、１３５０ｃと類似の）（例えば、押圧及び保持ジェスチャ）で、第２の状態インジケータ（例えば、１３１４ｇ、１３１４ｉ）に（例えば、対応する場所で）向けられたとの判定に従って、コンピュータシステムは、ディスプレイ生成構成要素を介して、第３のアクセサリデバイスに対応する第３のアクセサリ制御ユーザインタフェースオブジェクト対象を（例えば、第２のユーザインタフェースを表示することの一部として）表示する。いくつかの実施形態では、第３のアクセサリ制御ユーザインタフェースオブジェクト対象の（ジェスチャの第１のタイプであるジェスチャ（例えば、タップジェスチャ）を介して）の選択により（例えば、プロセスを介して（及び、いくつかの実施形態では、プロセスは１つ以上のデバイス（例え、サーバ、（例えば、第１、第２、第３、及び第４のアクセサリデバイスを含む）複数のアクセサリデバイスと通信するハブデバイス、第３のアクセサリデバイス（第４のアクセサリデバイスではない）に命令を送信することを含む）、（例えば、第１のアクセサリデバイスの状態を変更するアクションを実行するために）第３のアクセサリデバイスを、第４のアクセサリデバイスを第４の状態に変更させることなく、第４の状態に変更させる（及び、いくつかの実施形態では、第１のアクセサリデバイス及び／又は第２のアクセサリ制御ユーザインタフェースオブジェクト対象に対応する（例えば、第２のユーザインタフェースを表示することの一部として）第１のアクセサリ制御ユーザインタフェースオブジェクト対象を、ディスプレイ生成構成要素を介して、表示することなく）（例えば、第４のアクセサリデバイスは、第３のアクセサリデバイスが第４の状態にあることを引き起こした後に第３の状態にあり続ける）。いくつかの実施形態では、ジェスチャが第２のタイプのジェスチャ（例えば、押圧及び保持ジェスチャ）で、第２の状態インジケータに（例えば、対応する場所で）向けられたとの判定に従って、コンピュータシステムは、第３のアクセサリ制御ユーザインタフェースオブジェクト対象と同時に第４のアクセサリ制御ユーザインタフェースオブジェクト対象を表示する。いくつかの実施形態では、第４のアクセサリ制御ユーザインタフェースオブジェクト対象が選択されると、コンピュータシステムは、（例えば、プロセスを介して（及び、いくつかの実施形態では、プロセスは１つ以上のデバイス（例えば、サーバ、複数のアクセサリデバイス（例えば、第１、第２、第３、第４のアクセサリデバイスを含む）と通信するハブデバイス、第４のアクセサリデバイス（第３のアクセサリデバイスではない）に命令を送信することを含む）第４のアクセサリデバイスを、第３のアクセサリデバイスを第４の状態に変更させることなく、第４の状態に変更させる。ジェスチャが向けられた状態インジケータ及び検出されたジェスチャのタイプに基づいて異なる動作を実行することにより、ユーザインタフェースを乱すことなく、異なるアクセサリデバイスタイプを制御するためのより多くの制御オプションがユーザに提供される。表示される追加コントローラによってＵＩを雑然とさせることなく、システムの追加制御できるようにすることにより、システムの操作性が高められ、ユーザ－システムインタフェースを（例えば、システムを操作する／システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用することを有効化することによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。第３のアクセサリデバイス及び第４のアクセサリデバイスを第４の状態に変更させることにより、複数のデバイスが状態を変化させる１つの制御がユーザに提供され、複数のデバイスに状態を変更させるために必要な入力の数が低減される。動作を実行するために必要な入力の数を低減することにより、システムの操作性を向上させ、（例えば、システムを操作する／システムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザ－システムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用することを有効化することによって、電力使用を低減し、システムのバッテリ寿命を改善する。 In some embodiments, the gesture along with the first state indicator is in a second state indicating that the plurality of accessory devices of a second accessory type, different from the first accessory type, are in a third state. A plurality of accessory devices of a second accessory type detected while simultaneously displaying indicators (eg, 1314g, 1314i) are of the second accessory type and are in a third state (eg, the first state and a state different from the second state) and a second accessory type, including a fourth accessory device in the third state. In some embodiments, the third accessory device of the second accessory type and in the second state and the fourth accessory device of the second accessory type and in the second state are the first and a second accessory device. In some embodiments, the gesture is a first type of gesture (e.g., similar to 1350f) (e.g., a tap gesture) to a second state indicator (e.g., 1314g, 1314i) (e.g., corresponding location ), the computer system places the third accessory device and the fourth accessory device in a different state than the third state (e.g., places the first accessory device and the second accessory device in a different state). change to a fourth state (eg process (and in some embodiments, the process sends one or more instructions to one or more devices (e.g., server, first accessory device, second accessory device, third and a hub device that communicates with multiple devices, including a fourth accessory device).In some embodiments, the gesture is a second type gesture (e.g., similar to 1350c ) (e.g., press and hold gestures) directed (e.g., at corresponding locations) to the second state indicators (e.g., 1314g, 1314i), the computer system, via the display generation component, , displays a third accessory control user interface object target corresponding to a third accessory device (eg, as part of displaying the second user interface) In some embodiments, the third accessory By selecting (e.g., via a process (and in some embodiments, a process the above devices (e.g., a server; a hub device that communicates with a plurality of accessory devices (e.g., including first, second, third, and fourth accessory devices); a third accessory device (e.g., a fourth accessory device); a third accessory device (e.g., to perform an action that changes the state of the first accessory device), a fourth accessory device to a fourth state change to a fourth state (and In some embodiments, a first accessory control user corresponding to a first accessory device and/or a second accessory control user interface object target (eg, as part of displaying the second user interface) without displaying the interface object target via a display generation component (e.g., a fourth accessory device enters a third state after causing a third accessory device to be in a fourth state). continue to exist). In some embodiments, upon determining that the gesture is a second type of gesture (e.g., press and hold gestures) and directed at a second state indicator (e.g., at a corresponding location), the computer system: A fourth accessory control user interface object object is displayed concurrently with the third accessory control user interface object object. In some embodiments, when a fourth accessory control user interface object target is selected, the computer system (e.g., via a process (and in some embodiments, the process is one or more devices (e.g., a server, a hub device that communicates with a plurality of accessory devices (e.g., including first, second, third, and fourth accessory devices), a fourth accessory device (but not a third accessory device) sending a command) causes a fourth accessory device to change to a fourth state without causing a third accessory device to change to a fourth state, a state indicator to which the gesture was directed and a detected state indicator; By performing different actions based on the type of gesture, the user is provided with more control options for controlling different accessory device types without cluttering the user interface. By allowing additional control of the system without clutter, the usability of the system is enhanced and the user-system interface (e.g., to provide appropriate input when operating/interacting with the system). (by assisting the user and reducing user error), and in addition reducing the power usage of the system by enabling the user to use the system more quickly and efficiently, Battery life is improved.By having a third accessory device and a fourth accessory device change to a fourth state, the user is provided with one control for multiple devices to change state, allowing multiple devices to change states. The number of inputs required to change state is reduced.By reducing the number of inputs required to perform an action, the operability of the system is improved (e.g., operating the system/ make the user-system interface more efficient (by assisting the user in providing appropriate input and reducing user error when interacting with the Reduce power usage and improve system battery life by enabling the use of
いくつかの実施形態では、第５のアクセサリデバイス（例えば、図１３Ａの７１８ｂによって表されるデバイス）が第１のアクセサリデバイスタイプで、第５のアクセサリデバイス（例えば、図１３Ａの７１８ｂによって表されるデバイス）が第１の状態であるとの判定に従って、第１のアクセサリタイプの複数のアクセサリデバイスは（例えば、１３１４ｈで示されるように）（例えば、第１のアクセサリデバイス及び第２のアクセサリデバイスとは異なる）第５のアクセサリデバイスを含む。いくつかの実施形態では、第５のアクセサリデバイス（例えば、図１３Ａの７１８ｇによって表されるデバイス）が第１のアクセサリデバイスタイプで、第５のアクセサリデバイス（例えば、図１３Ａの７１８ｇによって表されるデバイス）は第１の状態にはないとの判定に従って、第１のアクセサリタイプの複数のアクセサリデバイスは、（例えば、１３１４ｈで示されるように）第５のアクセサリデバイスを含まない。いくつかの実施形態では、第５のアクセサリデバイスが第１のアクセサリデバイスタイプではなく、第５のアクセサリデバイスが第１の状態にあるとの判定に従って、第５のアクセサリタイプの複数のアクセサリデバイスは第５のアクセサリデバイスを含まない。いくつかの実施形態では、第５のアクセサリデバイスが第１のアクセサリデバイスタイプではなく、第５のアクセサリデバイスが第１の状態にはないとの判定に従って、第１のアクセサリタイプの複数のアクセサリデバイスは第５のアクセサリデバイスを含まない。第１の状態にある第１のアクセサリデバイスタイプのアクセサリデバイスを制御し、第１の状態にはない第１のアクセサリデバイスタイプのアクセサリデバイスを制御しない状態インジケータを提供することにより、特定の予め定められた条件を見た満たすアクセサリデバイスを制御する状態インジケータがユーザに提供される。更なるユーザ入力を必要とせずに条件の１組が満たされたときに動作を実行することにより、システムの操作性が高められ、ユーザ－システムインタフェースを（例えば、システムを操作する／システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用することを有効化することによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。 In some embodiments, the fifth accessory device (eg, the device represented by 718b in FIG. 13A) is of the first accessory device type and the fifth accessory device (eg, represented by 718b in FIG. 13A) device) is in the first state, the plurality of accessory devices of the first accessory type (eg, as indicated at 1314h) (eg, the first accessory device and the second accessory device). different) includes a fifth accessory device. In some embodiments, the fifth accessory device (eg, the device represented by 718g in FIG. 13A) is of the first accessory device type and the fifth accessory device (eg, represented by 718g in FIG. 13A) device) is not in the first state, the plurality of accessory devices of the first accessory type does not include a fifth accessory device (eg, as indicated at 1314h). In some embodiments, following determining that the fifth accessory device is not of the first accessory device type and that the fifth accessory device is in the first state, the plurality of accessory devices of the fifth accessory type Does not include a fifth accessory device. In some embodiments, the plurality of accessory devices of the first accessory type according to determining that the fifth accessory device is not of the first accessory device type and the fifth accessory device is not in the first state. does not include the fifth accessory device. By providing a state indicator to control accessory devices of the first accessory device type that are in the first state and not to control accessory devices of the first accessory device type that are not in the first state, a specific predetermined A user is provided with a status indicator to control the accessory device that meets the specified condition. System operability is enhanced by performing actions when a set of conditions are met without the need for further user input, allowing the user-system interface (e.g., operating/interacting with the system (by helping users to provide the appropriate input when they do this, by reducing user error), as well as enabling users to use the system more quickly and efficiently. , which reduces system power usage and improves battery life.
いくつかの実施形態では、第１のタイプのジェスチャは、タップジェスチャ（例えば、１３５０ｆ）（例えば、所定の時間の期間未満で（例えば、１つ以上の入力デバイスを介して）検出されるジェスチャ）である。いくつかの実施形態では、第２のタイプのジェスチャは、押圧及び保持ジェスチャ（例えば、１３５０ｃ）（例えば、所定の時間の期間よりも長い間（例えば、１つ以上の入力デバイスを介して）検出されるジェスチャ）である。 In some embodiments, the first type of gesture is a tap gesture (eg, 1350f) (eg, a gesture detected (eg, via one or more input devices) in less than a predetermined period of time). is. In some embodiments, the second type of gesture is a press and hold gesture (eg, 1350c) (eg, detected (eg, via one or more input devices) for longer than a predetermined period of time). gesture).
いくつかの実施形態では、ジェスチャの検出に応答して、ジェスチャが第３のタイプのジェスチャ（例えば、１３５０ａ）（例えば、スワイプジェスチャ、ある方向（例えば、横方向）に移動するジェスチャ）（例えば、及び第１の状態インジケータに向けられている）との判定に従って、コンピュータシステムは、以前に表示されなかった状態インジケータ（例えば、図１３Ｂの１３１４ｆ）を（例えば、状態インジケータをスクロールすることによって）表示する（例えば、以前に表示されなかった状態インジケータは、第１のアクセサリデバイスタイプとは異なるアクセサリの複数のアクセサリデバイスが同じ状態にあることを示す）。いくつかの実施形態では、ジェスチャが第３のタイプのジェスチャであるとの判定に従って、（例えば、第１の状態インジケータを検視外にスクロールすることによって）第１の状態インジケータの表示を停止する。いくつかの実施形態では、ジェスチャが第３のタイプのジェスチャであるとの判定に従って、複数の表示された状態インジケータを（例えば、ジェスチャの方向（例えば、左、右、上、下など）に移動させ、それにより、複数の状態インジケータが移動された後、第１の状態インジケータは表示を中止し、一方、第３のタイプのジェスチャを検出する前に表示されなかった１つ以上の状態インジケータが表示される。いくつかの実施形態では、状態インジケータ（例えば、シーン制御、外部アクセサリデバイス制御）ではない１つ以上の制御は、ジェスチャが検出された後に表示されたままである。第３のタイプのジェスチャが第１の状態インジケータに向けられるときに異なる動作を実行することにより、ユーザには、ユーザインタフェースを乱すことなく、より多くの制御オプション（例えば、より多くの状態インジケータ）が提供される。表示される追加コントローラによってＵＩを雑然とさせることなく、システムの追加制御できるようにすることにより、システムの操作性が高められ、ユーザ－システムインタフェースを（例えば、システムを操作する／システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用することを有効化することによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。 In some embodiments, in response to detecting the gesture, the gesture is a third type of gesture (e.g., 1350a) (e.g., swipe gesture, gesture that moves in a direction (e.g., sideways)) (e.g., and directed to the first state indicator), the computer system displays (e.g., by scrolling through the state indicators) the previously undisplayed state indicator (e.g., 1314f in FIG. 13B). (eg, a previously undisplayed status indicator indicates that multiple accessory devices of accessories different than the first accessory device type are in the same status). In some embodiments, display of the first state indicator is stopped (eg, by scrolling the first state indicator out of view) upon determining that the gesture is the third type of gesture. In some embodiments, a plurality of displayed state indicators (e.g., moving in the direction of the gesture (e.g., left, right, up, down, etc.) in accordance with determining that the gesture is the third type of gesture so that after the plurality of state indicators have been moved, the first state indicator ceases to be displayed, while one or more state indicators that were not displayed before detecting the third type gesture are In some embodiments, one or more controls that are not state indicators (e.g., scene controls, external accessory device controls) remain displayed after the gesture is detected. By performing a different action when the gesture is directed at the first state indicator, the user is provided with more control options (eg, more state indicators) without cluttering the user interface. By allowing additional control of the system without cluttering the UI with additional displayed controllers, the usability of the system is enhanced and the user-system interface (e.g., operating/interacting with the system by helping the user to provide the correct input at times and by reducing user error), as well as enabling the user to use the system more quickly and efficiently, Reduces system power usage and improves battery life.
いくつかの実施形態では、第１のアクセサリデバイス及び第２のアクセサリデバイスを第２の状態に変更させることの一部として、コンピュータシステムは、第１のアクセサリデバイス及び第２のアクセサリデバイスに第１のアクセサリタイプ（例えば、光、ドアロック、ブラインド、温度制御）に基づくタイプのアクションを実行させる（例えば、光のオフ、ドアロックのアンロック、ブラインドを特定のパーセント開放、ＡＣ／加熱のオフ）。第１のアクセサリデバイス及び第２のアクセサリデバイスに、第１のアクセサリタイプに基づくタイプのアクションを実行させることにより、コンピュータシステムは、特定の予め定められた条件に基づく特定のアクションを実行することが可能になる。更なるユーザ入力を必要とせずに条件の１組が満たされたときに動作を実行することにより、システムの操作性が高められ、ユーザ－システムインタフェースを（例えば、システムを操作する／システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用することを有効化することによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。 In some embodiments, as part of causing the first accessory device and the second accessory device to change to the second state, the computer system causes the first accessory device and the second accessory device to change the first state. perform a type of action based on the type of accessory (e.g. lights, door locks, blinds, temperature control) (e.g. turn off lights, unlock door locks, open blinds a certain percentage, turn off AC/heat) . By having the first accessory device and the second accessory device perform a type of action based on the first accessory type, the computer system can perform a particular action based on particular predetermined conditions. be possible. System operability is enhanced by performing actions when a set of conditions are met without the need for further user input, allowing the user-system interface (e.g., operating/interacting with the system (by helping users to provide the appropriate input when they do this, by reducing user error), as well as enabling users to use the system more quickly and efficiently. , which reduces system power usage and improves battery life.
いくつかの実施形態では、ジェスチャを検出する前に、コンピュータシステムは、第１の状態インジケータに隣接する第３の状態インジケータ（例えば、１３１４ｂ）（例えば、第２のアクセサリタイプ（例えば、第１のアクセサリタイプとは異なる）の複数のアクセサリデバイスが第３の状態にあることを示す）及び第３の状態インジケータ（例えば、１３１４ｅ）に隣接する第４の状態インジケータ（例えば、１３１４ｃ）（例えば、第３のアクセサリタイプ（例えば、第２のアクセサリタイプ及び第１のアクセサリタイプとは異なる）の複数のアクセサリデバイスが第４の状態にあることを示す）を表示する。いくつかの実施形態では、第１の状態インジケータ、第３の状態インジケータ、及び第４の状態インジケータは、それぞれ対応する状態インジケータ（例えば、各それぞれの状態インジケータが入っているそれぞれの状態インジケータカテゴリ）に対応するそれぞれの状態インジケータカテゴリ（例えば、アラーム（例えば、ｃｏ、ｃｏ２、スモーク、漏れ、アラーム）、必要なアクション（例えば、応答しないアクセサリ、アカウントエラー、低バッテリ、利用可能な更新されたもの）、重要な状態（重要なもの：ホーム温度、ドア又は窓の開放）、クイックアクション（例えば、アクセサリの状態の反転、ドアのアンロック、窓の開放、５つの光のオン、２つのファンのオンを行うカテゴリ）、センサ（例えば、湿度レベル、光レベル「３４ルクス」など））に基づく順序で表示される。いくつかの実施形態では、第１の状態インジケータ、第３の状態インジケータ、及び第４の状態インジケータを順序で表示している間に、コンピュータシステムは、第５の状態インジケータが表示されるべきであるという示唆を受信し（例えば、（例えば、第１の状態インジケータ、第２の状態インジケータ、及び第３の状態インジケータによって示されるアクセサリデバイスタイプとは）異なるアクセサリデバイスタイプのうちの任意の１つ以上の状態が変更された）、並びに第５の状態インジケータが表示されるべきであるという示唆のインジケータの受信に応答して、（１）第５の状態インジケータが第１の状態インジケータカテゴリにあるという判定に従って（例えば、第１の状態インジケータと同じ状態インジケータカテゴリ）、コンピュータシステムは、第５の状態インジケータを第１の位置に表示し（例えば、第１の状態インジケータに隣接する場所）、（２）第５の状態インジケータが第２の状態インジケータカテゴリ（例えば、第１の状態インジケータカテゴリとは異なる状態インジケータカテゴリ）（例えば、第３の状態インジケータと同じ状態インジケータカテゴリ）にあるとの判定に従って、第１の場所とは異なる第２の場所（例えば、第３の状態インジケータに隣接する場所）で第５の状態インジケータを表示すること、及び（３）第５の状態インジケータが第３の状態インジケータカテゴリ（例えば、第１の状態インジケータカテゴリ及び第３の状態インジケータカテゴリとは異なる状態インジケータカテゴリ）（例えば、第４の状態インジケータと同じ状態インジケータカテゴリ）にあるとの判定に従って、第１の場所及び第２の場所とは異なる第３の場所（例えば、第４の状態インジケータに隣接する場所）で第５の状態インジケータを表示することである。それぞれのカテゴリに基づいて、状態インジケータを順序で表示することにより、特定の状態インジケータの重要性又はカテゴリに関する改善されたフィードバックをユーザに提供し、ユーザが、特定の状態インジケータが対応するカテゴリを素早く認識することを可能にする。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ－システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用することを有効化することによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。 In some embodiments, prior to detecting the gesture, the computer system detects a third state indicator (eg, 1314b) adjacent to the first state indicator (eg, second accessory type (eg, first accessory type)). and a fourth status indicator (eg, 1314c) adjacent to the third status indicator (eg, 1314e) (eg, a fourth status indicator (eg, 1314c) indicating that a plurality of accessory devices of different accessory types are in a third status) (eg, 1314e). 3 accessory types (e.g., indicating that a plurality of accessory devices of a second accessory type and a different than the first accessory type are in a fourth state). In some embodiments, the first state indicator, the third state indicator, and the fourth state indicator each have a corresponding state indicator (e.g., a respective state indicator category in which each respective state indicator falls). corresponding to each status indicator category (e.g. alarm (e.g. co, co2, smoke, leak, alarm), action required (e.g. accessory not responding, account error, low battery, updated available) , critical status (important: home temperature, door or window open), quick actions (e.g., reversing accessory status, door unlock, window open, 5 lights on, 2 fans on category), sensor (e.g. humidity level, light level "34 lux", etc.)). In some embodiments, while sequentially displaying the first state indicator, the third state indicator, and the fourth state indicator, the computer system determines that the fifth state indicator should be displayed. any one of a different accessory device type (e.g., from the accessory device type indicated by the first, second, and third status indicators) In response to receiving an indicator that the above conditions have changed) and an indication that a fifth condition indicator should be displayed: (1) the fifth condition indicator is in the first condition indicator category; (e.g., the same state indicator category as the first state indicator), the computer system displays the fifth state indicator in a first position (e.g., adjacent to the first state indicator) and ( 2) according to determining that the fifth status indicator is in a second status indicator category (eg, a different status indicator category than the first status indicator category) (eg, the same status indicator category as the third status indicator); , displaying a fifth status indicator at a second location that is different from the first location (e.g., a location adjacent to the third status indicator); and (3) the fifth status indicator is in the third state. A first location according to a determination that it is in an indicator category (eg, a different status indicator category than the first status indicator category and the third status indicator category) (eg, the same status indicator category as the fourth status indicator category). and displaying the fifth status indicator at a third location (eg, adjacent to the fourth status indicator) different from the second location. Displaying the status indicators in order based on their respective categories provides the user with improved feedback regarding the importance or category of a particular status indicator, allowing the user to quickly identify the category to which a particular status indicator corresponds. make it possible to recognize Improve the usability of the computer system by providing the user with improved visual feedback (e.g., assist the user in providing appropriate input when operating/interacting with the computer system) reduce power usage by making the user-system interface more efficient (by reducing user errors), as well as enabling users to use computer systems more quickly and efficiently and improve the battery life of your computer system.
いくつかの実施形態では、コンピュータシステムは、第１のアクセサリタイプのそれぞれのアクセサリデバイスの状態の変化を検出する。いくつかの実施形態では、第１のアクセサリタイプのそれぞれのアクセサリデバイスの状態の変化の検出に応答して、それぞれのアクセサリデバイスの状態が第１の状態に変更されたとの判定に従って、コンピュータシステムは、それぞれのアクセサリデバイスを、第１の状態にある第１のアクセサリタイプ（例えば、電球、窓、スイッチ、アウトレット、ロック（例えば、ドアロック、窓ロック）、テレビ）の複数のアクセサリデバイスに追加する。いくつかの実施形態では、第１のアクセサリタイプのそれぞれのアクセサリデバイスの状態の変化の検出に応答して、それぞれのアクセサリデバイスの状態が第２の状態に変更された（又は、代替の、第１の状態ではないように変更された）との判定に従って、コンピュータシステムは、それぞれのアクセサリデバイスを、第１の状態にある第１のアクセサリタイプ（例えば、電球、窓、スイッチ、アウトレット、ロック（例えば、ドアロック、窓ロック）、テレビ）の複数のアクセサリデバイスから除去する。したがって、それぞれのタイプの追加のアクセサリがそれぞれの状態にあることが検出されると、追加のアクセサリがそれぞれの状態インジケータに追加され、それにより、追加のアクセサリは、状態インジケータをアクティブにすることによって制御され、それぞれのタイプのいくつかのアクセサリがそれぞれの状態にあることがもはや検出されないと、アクセサリがそれぞれの状態インジケータから除去され、それにより、除去されたアクセサリは、状態インジケータをアクティブにすることによって制御されない。アクセサリの状態に基づいて複数のアクセサリデバイスを更新することにより、システムは、ユーザが同じタイプ及び状態のアクセサリの状態を素早く変更することを可能にし、（例えば、押圧及び保持を介して）アクセサリに個別にアクセスすることを可能にする。表示される追加コントローラによってＵＩを雑然とさせることなく、システムの追加制御できるようにすることにより、システムの操作性が高められ、ユーザ－システムインタフェースを（例えば、システムを操作する／システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用することを有効化することによって、システムの電力使用が抑えられ、バッテリ寿命が改善される In some embodiments, the computer system detects a change in state of each accessory device of the first accessory type. In some embodiments, in response to detecting a change in state of each accessory device of the first accessory type, following determining that the state of each accessory device has changed to the first state, the computer system comprises: , adding each accessory device to a plurality of accessory devices of a first accessory type (e.g., light bulb, window, switch, outlet, lock (e.g., door lock, window lock), television) in a first state. . In some embodiments, the state of the respective accessory device of the first accessory type is changed to the second state in response to detecting a change in state of the respective accessory device (or alternatively, the second state). 1 state), the computer system sets each accessory device to a first accessory type (e.g., light bulb, window, switch, outlet, lock (e.g., light bulb, window, switch, outlet, lock)) in the first state. e.g. door locks, window locks), televisions) from multiple accessory devices. Thus, when additional accessories of each type are detected to be in their respective states, the additional accessories are added to their respective state indicators, thereby allowing the additional accessories to activate their state indicators. An accessory is removed from its respective status indicator when it is no longer detected that some accessories of each type are controlled and in their respective states, whereby the removed accessory activates the status indicator. not controlled by By updating multiple accessory devices based on accessory status, the system allows users to quickly change the status of accessories of the same type and status, allowing the accessory to (e.g., via press and hold) allow individual access. By allowing additional control of the system without cluttering the UI with additional displayed controllers, the usability of the system is enhanced and the user-system interface (e.g., operating/interacting with the system by helping the user to provide the correct input at times and by reducing user error), as well as enabling the user to use the system more quickly and efficiently, Reduces system power usage and improves battery life
いくつかの実施形態では、第１の状態インジケータは、第１の状態にある第１のアクセサリタイプの現在のアクセサリデバイスの数に基づいて表示される（又は更新される）多数のアクセサリデバイスの示唆を含む。いくつかの実施形態では、ジェスチャを検出する前に、第１の状態インジケータは、第１の数のアクセサリデバイス（例えば、第１のアクセサリタイプであり、第１の状態にある）の示唆を含む。いくつかの実施形態では、第１のアクセサリデバイスタイプである第１０のアクセサリデバイスが第１の状態に変更されたとの判定に従って、コンピュータシステムは、第１の数のアクセサリデバイスの示唆とは異なる第２の数のアクセサリデバイス（例えば、第２のアクセサリタイプであり、第２の状態にある）の示唆を含むように、第１の状態インジケータを更新する。いくつかの実施形態では、第２のアクセサリが第１の状態に変更されていないとの判定に従って、コンピュータシステムは、第１の数のアクセサリデバイスの示唆及び第２の数のアクセサリデバイスの示唆とは異なる第３の数のアクセサリデバイスの示唆を含むように、第１の状態インジケータを更新する。いくつかの実施形態では、第２の数のアクセサリデバイスは、第１の数のアクセサリデバイスよりも多く、第３の数のアクセサリデバイスは、第１の数のアクセサリデバイス未満である。現在の数のアクセサリデバイスに基づく示唆を含む状態インジケータを表示することにより、状態インジケータによって示された状態が対応するデバイスの数をユーザが素早く認識することを可能にし、状態インジケータ上に入力されたどのくらいの数のデバイスが可能性として影響し得るかに関する改善されたフィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ－システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用することを有効化することによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。 In some embodiments, the first state indicator is displayed (or updated) based on the number of current accessory devices of the first accessory type that are in the first state. including. In some embodiments, prior to detecting the gesture, the first state indicator includes an indication of a first number of accessory devices (eg, of a first accessory type and in a first state). . In some embodiments, upon determining that a tenth accessory device of the first accessory device type has changed to the first state, the computer system outputs a first accessory device type different than the first number of accessory device indications. Update the first status indicator to include an indication of accessory devices number two (eg, of a second accessory type and in a second state). In some embodiments, upon determining that the second accessory has not changed to the first state, the computer system suggests a first number of accessory devices and suggests a second number of accessory devices and updates the first status indicator to include an indication of a different third number of accessory devices. In some embodiments, the second number of accessory devices is greater than the first number of accessory devices and the third number of accessory devices is less than the first number of accessory devices. Displaying the status indicator with suggestions based on the current number of accessory devices allows the user to quickly recognize the number of devices to which the status indicated by the status indicator corresponds, and the number of devices entered on the status indicator. Provide users with improved feedback on how many devices can potentially be affected. Improve the usability of the computer system by providing the user with improved visual feedback (e.g., assist the user in providing appropriate input when operating/interacting with the computer system) reduce power usage by making the user-system interface more efficient (by reducing user errors), as well as enabling users to use computer systems more quickly and efficiently and improve the battery life of your computer system.
いくつかの実施形態では、ジェスチャが第１のタイプのジェスチャ（例えば、１３５０ｆ）で、第１の状態インジケータ（例えば、１３５０ｈ）に向けられたとの判定に従って、コンピュータシステムは、所定の時間の期間（例えば、１秒、５秒、３０秒）（例えば、ジェスチャが検出された後の所定の時間の期間）の後に、第１の状態インジケータの表示を中止する（例えば、図１３Ｇの１３５０ｈは図１３Ｈに表示されることが中止されている）。いくつかの実施形態では、第１のタイプのジェスチャである第２のジェスチャが、第１のタイプであるジェスチャを受信した後、所定の時間の前に受信されるとの判定に従って、第１の状態インジケータの表示の中止を取り止める。いくつかの実施形態では、ジェスチャが第１のタイプのジェスチャで、第１の状態インジケータに向けられたとの判定に従い、状態インジケータが第１のカテゴリにあるとの判定に従って、コンピュータシステムは、状態インジケータによって表されるアクセサリデバイスが、第２の所定の時間の期間の後及び／又は所定の時間の期間後に、（例えば、光がオフ、ドアがロックされる、アラームがアクティブではないなど）特定の状態に変更された状態インジケータによって表されるとき、状態インジケータを表示することを中止する。いくつかの実施形態では、ジェスチャが第１のタイプのジェスチャで、第１の状態インジケータに向けられたとの判定に従い、状態インジケータが第１のカテゴリとは異なる第２のカテゴリにあるとの判定に従って、コンピュータシステムは、状態インジケータによって表されるアクセサリデバイスが、第２の所定の時間の期間の後及び／又は所定の時間の期間後に、（例えば、光がオフ、ドアがロックされる、アラームがアクティブではないなど）特定の状態に変更された状態インジケータによって表されるとき、状態インジケータを表示することを中止しない。第１のタイプのジェスチャの入力を検出した後に、状態インジケータを表示することを停止することにより、状態インジケータを介して制御されたアクセサリデバイスの状態を変更するアクションが実行されたという視覚的フィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ－システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用することを有効化することによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。 In some embodiments, upon determining that the gesture is a first type of gesture (e.g., 1350f) and directed at a first state indicator (e.g., 1350h), the computer system performs a predetermined period of time (e.g., 1350h). (e.g., 1 second, 5 seconds, 30 seconds) (e.g., a predetermined period of time after the gesture is detected) before discontinuing display of the first status indicator (e.g., 1350h in FIG. 13G is the same as in FIG. 13H). has been discontinued). In some embodiments, according to determining that the second gesture of the first type gesture is received before a predetermined amount of time after receiving the gesture of the first type, the first Stops displaying the status indicator. In some embodiments, following determining that the gesture is a first type of gesture and directed at a first state indicator, following determining that the state indicator is in the first category, the computer system: after a second predetermined period of time and/or after a predetermined period of time (e.g., lights are off, doors are locked, alarms are not active, etc.). Stop displaying the state indicator when represented by the state indicator changed to state. In some embodiments, according to determining that the gesture is a first type of gesture and directed at the first state indicator, according to determining that the state indicator is in a second category different from the first category. , the computer system determines whether the accessory device represented by the status indicator is activated after a second predetermined period of time and/or after a predetermined period of time (e.g., lights off, door locked, alarm Do not stop displaying the state indicator when represented by the state indicator changed to a particular state (such as not active). Stopping displaying the state indicator after detecting input of the first type of gesture provides visual feedback that an action has been performed that changes the state of the accessory device controlled via the state indicator. Provide to users. Improve the usability of the computer system by providing the user with improved visual feedback (e.g., assist the user in providing appropriate input when operating/interacting with the computer system) reduce power usage by making the user-system interface more efficient (by reducing user errors), as well as enabling users to use computer systems more quickly and efficiently and improve the battery life of your computer system.
いくつかの実施形態では、ジェスチャが検出されると、第１の状態インジケータ（例えば、１３１４ｈ）が第１の場所で表示される。いくつかの実施形態では、ジェスチャが第１のタイプのジェスチャ（例えば、１３５０ｆ）で、第１の状態インジケータ（例えば、１３１４ｈ）に向けられたとの判定に従って、コンピュータシステムは、第１の場所で第１の状態インジケータ（例えば、１３１４ｈ）の表示を中止し、第１の場所で第６の状態インジケータ（例えば、図１３Ｈの１３１４ｉ）（例えば、第１の状態インジケータとは異なる）を表示する。いくつかの実施形態では、第６の状態インジケータは、ジェスチャが検出される前に、第１の状態インジケータに隣接していた。いくつかの実施形態では、第１の場所で第１の状態インジケータとは異なる状態インジケータを表示することは、アニメーションを介して、第１の状態インジケータとは異なる状態インジケータを第３の場所から第１の場所へ移動させることを含む。状態インジケータの表示を停止し、第１のタイプのジェスチャの入力を検出した後にその場所に隣接する状態インジケータを表示することにより、状態インジケータを削除し、ディスプレイ上に（例えば、ディスプレイ生成構成要素を介して）新しい状態インジケータ（例えば、隣接する状態インジケータ）を表示するために必要とされる入力の数が低減される。動作を実行するために必要な入力の数を低減することにより、システムの操作性を向上させ、（例えば、システムを操作する／システムと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザ－システムインタフェースをより効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用することを有効化することによって、電力使用を低減し、システムのバッテリ寿命を改善する。 In some embodiments, a first state indicator (eg, 1314h) is displayed at a first location when the gesture is detected. In some embodiments, upon determining that the gesture is a first type of gesture (eg, 1350f) and directed at the first state indicator (eg, 1314h), the computer system performs the first Stop displaying one status indicator (eg, 1314h) and display a sixth status indicator (eg, 1314i in FIG. 13H) (eg, different from the first status indicator) in the first location. In some embodiments, the sixth state indicator was adjacent to the first state indicator before the gesture was detected. In some embodiments, displaying a state indicator that is different from the first state indicator at the first location includes displaying the state indicator that is different from the first state indicator from the third location to the third location via animation. Including moving to one location. Remove the state indicator by stopping displaying the state indicator and displaying a state indicator adjacent to its place after detecting the input of the first type of gesture, and remove the state indicator on the display (e.g., the display generating component The number of inputs required to display a new status indicator (eg, an adjacent status indicator) is reduced. Improves the usability of the system by reducing the number of inputs required to perform an action (e.g., prompting the user to provide appropriate input when operating/interacting with the system). It makes the user-system interface more efficient (by assisting and reducing user error), as well as reducing power usage by enabling users to use the system more quickly and efficiently. , to improve system battery life.
いくつかの実施形態では、ジェスチャが第１のタイプのジェスチャ（例えば、１３５０ｉ）で、第１の状態インジケータ（例えば、１３１４ｈ）に向けられたとの判定に従って、コンピュータシステムは、第１の状態インジケータが、第１のアクセサリタイプの複数のアクセサリデバイスが状態を変更したこと（例えば、第１の状態ではない、第２の状態（例えば、又は第１の視覚的見掛けとは異なる第２の視覚的見掛けで表示される））を示すために、第１のアクセサリタイプの複数のアクセサリデバイスが第１の状態（例えば、又は第１の視覚的見掛けで表示されている）にあることを示すことから変更されるように、第１の状態インジケータを視覚的に更新する（例えば、図１３Ｇの１３１４ｈ）。いくつかの実施形態では、第１の状態インジケータは、視覚的に更新された後の所定の時間の期間、表示を中止する。いくつかの実施形態では、ジェスチャが第２のタイプのジェスチャ（又は、第３のタイプのジェスチャ）で、第１の状態インジケータに向けられたとの判定に従って、コンピュータシステムは、第１のアクセサリタイプの複数のアクセサリデバイスが第２の状態にあることを示す（及び／又は第１の状態インジケータを維持する（例えば、第１のアクセサリタイプの複数のアクセサリデバイスが第１の状態にあることを示すように））第１の状態インジケータを更新することを取り止める。第１のタイプのジェスチャの入力を検出した後に、複数のアクセサリデバイスが状態を変化したことを示す状態インジケータを更新することにより、状態インジケータを介して制御されたアクセサリデバイスの状態を変更するアクションが実行されたという視覚的フィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ－システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用することを有効化することによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。 In some embodiments, upon determining that the gesture is a first type of gesture (eg, 1350i) and directed at the first state indicator (eg, 1314h), the computer system determines that the first state indicator is , that a plurality of accessory devices of the first accessory type have changed state (e.g., not the first state, a second state (e.g., or a second visual appearance that differs from the first visual appearance). changed from indicating that a plurality of accessory devices of a first accessory type are in a first state (e.g., or displayed in a first visual appearance) to indicate Visually updates the first status indicator (eg, 1314h in FIG. 13G) so that the In some embodiments, the first status indicator ceases display for a predetermined period of time after being visually updated. In some embodiments, upon determining that the gesture is a second type gesture (or a third type gesture) and directed at the first status indicator, the computer system controls the indicate that the plurality of accessory devices are in the second state (and/or maintain a first state indicator (eg, indicate that the plurality of accessory devices of the first accessory type are in the first state); d)) stop updating the first state indicator. The action of changing the state of the accessory device controlled via the state indicator by updating the state indicator to indicate that the plurality of accessory devices have changed state after detecting input of the first type of gesture. Provide visual feedback to the user that it has been done. Improve the usability of the computer system by providing the user with improved visual feedback (e.g., assist the user in providing appropriate input when operating/interacting with the computer system) reduce power usage by making the user-system interface more efficient (by reducing user errors), as well as enabling users to use computer systems more quickly and efficiently and improve the battery life of your computer system.
いくつかの実施形態では、第１の状態インジケータ（例えば、１３１４ｈ）は、第１のユーザインタフェース（例えば、７１０）上に表示される。いくつかの実施形態では、コンピュータシステムは、第１のユーザインタフェース（例えば、７１０）とは異なる第２のユーザインタフェース（例えば、１３６０）を表示する要求（例えば、１３５０ｈ）を（例えば、第１のユーザインタフェース上に第１の状態インジケータを表示する間に）受信する。いくつかの実施形態では、第２のユーザインタフェースを表示する要求（例えば、１３５０ｈ）の受信に応答して、コンピュータシステムは、第１のアクセサリタイプの１つ以上のアクセサリデバイスが第１の状態にあることを示す状態インジケータ（例えば、図１３Ｉの１３５０ｉ）を含む第２のユーザインタフェース（例えば、１３６０）を表示し、ここで、第２のユーザインタフェース（例えば、１３６０）（例えば、現在表示されているユーザインタフェース）が第１のグループのアクセサリデバイス（例えば、部屋（例えば、建物（例えば、ホーム）の一部（例えば、部屋（例えば、寝室、リビングルーム、オフィス、ガレージ）、ポーチ）を表すグループに指定されたデバイスのグループ）に対応し、及び第１のアクセサリデバイスが第１のグループのアクセサリデバイス（例えば、第１のアクセサリデバイスが第１の状態にある間）に対応するとの判定に従って、第１のアクセサリタイプの１つ以上のアクセサリデバイスは、第１のアクセサリデバイスを含み、第２のユーザインタフェース（例えば、１３６０）（例えば、現在表示されているユーザインタフェース）は、第１のグループのアクセサリデバイスに対応し、第１のアクセサリデバイスは第１のグループのアクセサリデバイスに対応せず（例えば、第１のアクセサリデバイスが第１の状態にある間）、第１のアクセサリタイプの１つ以上のアクセサリデバイスは、第１のアクセサリデバイスを含まない。いくつかの実施形態では、第２のユーザインタフェースを表示する要求の受信に応答して、コンピュータシステムは、第１のユーザインタフェースを含む第１のユーザインタフェースの表示を中止する。特定の予め定められた条件が満たされたときに、複数のデバイスの状態を示す状態インジケータを表示すること（例えば、状態を含むユーザインタフェースがアクセサリデバイスのグループに対応するかどうか、及び状態インジケータに関連する特定のデバイス（例えば、同じ状態及びアクセサリタイプ）がアクセサリデバイスのグループに対応するかどうか）により、アクセサリデバイスの特定のグループに対応するユーザインタフェースに関連する複数のデバイスを示す状態インジケータがユーザに自動的に提供される。更なるユーザ入力を必要とせずに条件の１組が満たされたときに動作を実行することにより、システムの操作性が高められ、ユーザ－システムインタフェースを（例えば、システムを操作する／システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用することを有効化することによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。状態を含むユーザインタフェースが、アクセサリデバイスのグループに対応するかどうか、及び状態インジケータに関連する特定のデバイス（例えば、同じ状態及びアクセサリタイプ）が、アクセサリデバイスのグループに対応するかどうかに基づく、複数のデバイスの状態の状態インジケータを表示することにより、表示されている特定のユーザインタフェースに関連するデバイスを示す状態インジケータに関する視覚フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、コンピュータシステムの操作性を向上させ、（例えば、コンピュータシステムを操作する／コンピュータシステムと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ－システムインタフェースをより効率的にし、加えて、ユーザがコンピュータシステムをより素早くかつ効率的に使用することを有効化することによって、電力使用量を削減し、コンピュータシステムのバッテリ寿命を改善する。 In some embodiments, the first status indicator (eg, 1314h) is displayed on the first user interface (eg, 710). In some embodiments, the computer system sends a request (eg, 1350h) to display a second user interface (eg, 1360) that is different from the first user interface (eg, 710) (eg, the first while displaying the first status indicator on the user interface). In some embodiments, in response to receiving a request to display a second user interface (eg, 1350h), the computer system causes one or more accessory devices of the first accessory type to enter the first state. display a second user interface (eg, 1360) including a status indicator (eg, 1350i in FIG. 13I) indicating that the second user interface (eg, 1360) (eg, currently displayed user interface) represents a first group of accessory devices (e.g., rooms (e.g., parts of a building (e.g., home) (e.g., rooms (e.g., bedroom, living room, office, garage), porch)). group of devices specified in the device), and the first accessory device corresponds to the first group of accessory devices (e.g., while the first accessory device is in the first state), The one or more accessory devices of the first accessory type include the first accessory device, and the second user interface (eg, 1360) (eg, the currently displayed user interface) is of the first group. corresponding accessory devices, the first accessory device not corresponding to the first group of accessory devices (eg, while the first accessory device is in the first state), and one or more of the first accessory type does not include a first accessory device, hi some embodiments, in response to receiving a request to display a second user interface, the computer system comprises a first user interface including a first user interface display a status indicator that indicates the status of multiple devices when certain pre-determined conditions are met (e.g., a user interface that includes status for a group of accessory devices). associated with a user interface corresponding to a particular group of accessory devices, depending on whether they correspond and whether a particular device associated with the status indicator (e.g., same state and accessory type) corresponds to a group of accessory devices. A user is automatically provided with status indicators to indicate multiple devices, and the system is highly operable by performing actions when a set of conditions are met without requiring further user input. make the user-system interface more efficient (e.g., by helping the user to provide appropriate input and reducing user error when operating/interacting with the system); By enabling users to use the system more quickly and efficiently, system power usage is reduced and battery life is improved. Based on whether the user interface containing the state corresponds to a group of accessory devices, and whether the particular device (e.g., same state and accessory type) associated with the state indicator corresponds to the group of accessory devices. By displaying status indicators of the device status of the user, visual feedback is provided to the user regarding the status indicators that indicate the devices associated with the particular user interface being displayed. Improve the usability of the computer system by providing the user with improved visual feedback (e.g., assist the user in providing appropriate input when operating/interacting with the computer system) reduce power usage by making the user-system interface more efficient (by reducing user errors), as well as enabling users to use the computer system more quickly and efficiently and improve the battery life of your computer system.
いくつかの実施形態では、ジェスチャ（例えば、１３５０ａ～１３５０ｃ及び１３５０ｆ）を検出する前に、第３のアクセサリタイプの１つ以上のアクセサリデバイスが第７の状態（例えば、オン／オフ、開放、閉鎖）にあることを示す第８の状態インジケータが表示される。いくつかの実施形態では、１つ以上のアクセサリデバイスは、第３のアクセサリタイプの第８のアクセサリデバイスを含む。いくつかの実施形態では、ジェスチャ（例えば、１３５０ｆ、１３５０ｉ）が第２のタイプのジェスチャ（例えば、押圧及び保持ジェスチャ）で、第８の状態インジケータ（例えば、１３１４ｈ）に（例えば、対応する場所で）向けられたとの判定に従い、第８の状態インジケータ（例えば、図１３Ｉの１３１４ｈ）が第７の状態にある（例えば、第３のアクセサリタイプの１つのアクセサリのみが第７の状態にある）第３のアクセサリタイプのアクセサリデバイスの所定の数未満（例えば、２未満）に対応する（及び／又は示す）との判定に従って、コンピュータシステムは、第８のアクセサリデバイスに対応する第８のアクセサリ制御ユーザインタフェースオブジェクト対象（例えば、１３１８）（例えば、第９のアクセサリ制御ユーザインタフェースオブジェクト対象よりも高い制御及び／又は精細度を有する）を表示する。いくつかの実施形態では、第８のアクセサリ制御ユーザインタフェースオブジェクト対象の選択により、第８のアクセサリデバイスを、第８の状態（例えば、８０％の輝度、２０％の輝度、４０％の開放、２０％の開放、第７の状態とは完全に反対ではない状態、第７の状態に対応する特性（例えば、オン／オフ）よりもデバイスによって表され得る異なる特性に対応する状態（例えば、光の色（例えば、青色、赤色、緑色、黄色、白色））に変更させる。いくつかの実施形態では、ジェスチャ（例えば、１３５０ｆ、１３５０ｉ）が第２のタイプのジェスチャ（例えば、押圧及び保持ジェスチャ）で、第８の状態インジケータ（例えば、１３１４ｈ）に（例えば、対応する場所で）向けられたとの判定に従い、第８の状態インジケータ（例えば、図１３Ｉの１３１４ｈ）が第７の状態にある第３のアクセサリタイプのアクセサリデバイスの所定の数以上（例えば、２以上）に対応する（及び／又は示す）との判定に従って、コンピュータシステムは、第８のアクセサリデバイスに対応する第９のアクセサリ制御ユーザインタフェースオブジェクト対象（例えば、例えば、７１８ｈのように制御）を表示する。いくつかの実施形態では、第９のアクセサリ制御ユーザインタフェースオブジェクト対象を選択により、第８のアクセサリデバイスを（例えば、第８のアクセサリ制御ユーザインタフェースオブジェクト対象を表示せずに）第８の状態とは異なる第９の状態（例えば、オン／オフ、開放／閉鎖、第７の状態とは反対の状態）に変更させる。いくつかの実施形態では、第８のアクセサリデバイスに対応するアクセサリユーザインタフェース制御オブジェクト対象の数は、第８の状態インジケータが、第３のアクセサリタイプの所定の数未満（例えば、２）が第７の状態にあることを示すとの判定が行われる場合よりも、第８の状態インジケータが、第３のアクセサリタイプの所定の数未満（例えば、２）が第７の状態にあることを示すとの判定が行われる場合の方が大きい。いくつかの実施形態では、第８のアクセサリ制御ユーザインタフェースオブジェクト対象は、第９のアクセサリ制御ユーザインタフェースオブジェクト対象よりも大きい。選択されたとき、状態インジケータによって表される制御の数に基づいて、アクセサリデバイスを異なるように変更する制御を表示することにより、デバイスは、ＵＩを乱すことなく、いくつかの状況で追加の又は異なる制御を提供することが可能になる。表示される追加コントローラによってＵＩを雑然とさせることなく、システムの追加制御できるようにすることにより、システムの操作性が高められ、ユーザ－システムインタフェースを（例えば、システムを操作する／システムと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがシステムをより素早くかつ効率的に使用することを有効化することによって、システムの電力使用が抑えられ、バッテリ寿命が改善される。 In some embodiments, one or more accessory devices of the third accessory type are in a seventh state (eg, on/off, open, closed) before detecting the gesture (eg, 1350a-1350c and 1350f). ) is displayed. In some embodiments, the one or more accessory devices include an eighth accessory device of the third accessory type. In some embodiments, the gesture (eg, 1350f, 1350i) is a second type of gesture (eg, press and hold gesture) to the eighth state indicator (eg, 1314h) (eg, at a corresponding location). ), the eighth state indicator (e.g., 1314h in FIG. 13I) is in the seventh state (e.g., only one accessory of the third accessory type is in the seventh state). Upon determining that less than a predetermined number (e.g., less than two) of accessory devices of three accessory types are supported (and/or indicated), the computer system directs an eighth accessory control user corresponding to an eighth accessory device. Display an interface object target (eg, 1318) (eg, having more control and/or definition than the ninth accessory control user interface object target). In some embodiments, selection of an eighth accessory control user interface object target causes the eighth accessory device to enter an eighth state (e.g., 80% brightness, 20% brightness, 40% open, 20 % open, a state that is not completely opposite to the seventh state, a state that corresponds to a different property that can be exhibited by the device than the property that corresponds to the seventh state (e.g., on/off) color (e.g., blue, red, green, yellow, white).In some embodiments, the gestures (e.g., 1350f, 1350i) are second type gestures (e.g., press and hold gestures). , the third state indicator (eg, 1314h in FIG. 13I) is in the seventh state, according to the determination that the eighth state indicator (eg, 1314h) is directed (eg, at a corresponding location). Upon determining (and/or indicating) that it supports (and/or indicates) a predetermined number or more (e.g., two or more) of accessory devices of the accessory type, the computer system creates a ninth accessory control user interface object corresponding to an eighth accessory device. Display a target (e.g., control as in 718h) In some embodiments, selection of a ninth accessory control user interface object target causes an eighth accessory device (e.g., eighth accessory control change to a ninth state (e.g., on/off, open/closed, opposite to the seventh state) that is different from the eighth state (without displaying a user interface object object). In a form, the number of accessory user interface control object targets corresponding to the eighth accessory device is in the seventh state if the eighth state indicator is less than a predetermined number (eg, two) of the third accessory type A determination is made that the eighth state indicator indicates that less than a predetermined number (e.g., two) of the third accessory type is in the seventh state than a determination is made that a In some embodiments, the eighth accessory control user interface object target is larger than the ninth accessory control user interface object target When selected, the control represented by the state indicator By displaying controls that change the accessory device differently based on the number of without having to provide additional or different controls in some situations. By allowing additional control of the system without cluttering the UI with additional displayed controllers, the usability of the system is enhanced and the user-system interface (e.g., operating/interacting with the system by helping the user to provide the correct input at times and by reducing user error), as well as enabling the user to use the system more quickly and efficiently; Reduces system power usage and improves battery life.
いくつかの実施形態では、単一のアクセサリデバイスに対応するそれぞれの状態インジケータ（例えば、第８の状態インジケータ）に従って、それぞれの状態インジケータは、アクセサリデバイスの名前（例えば、英数字文字）を含む。複数のアクセサリデバイスに対応するそれぞれの状態インジケータ（例えば、第８の状態インジケータ）に従って、それぞれの状態インジケータは、表されるアクセサリデバイスの数の示唆（例えば、数字表現）を含む。 In some embodiments, along with each status indicator (eg, eighth status indicator) corresponding to a single accessory device, each status indicator includes the accessory device's name (eg, alphanumeric characters). Following each status indicator (eg, eighth status indicator) corresponding to multiple accessory devices, each status indicator includes an indication (eg, a numeric representation) of the number of accessory devices represented.
いくつかの実施形態では、コンピュータシステムは、別のタイプの状態インジケータ（例えば、１３１４ａ～１３１４ｆ及び１３１４ｊ～１３１４ｌ）（例えば、気候制御、センサ（例えば、異なるタイプのセンサが単一の状態インジケータで組み合わされてもよい））上のタップを検出し、タップの検出に応答して、他のタイプの状態インジケータに関連する複数のタイプのデバイスを制御するためのユーザインタフェース（例えば、１３８２、１３８４、１３８６）を表示する。いくつかの実施形態では、デバイス７００は、タップを検出した後に、他のタイプの制御を表示することを中止しない。
In some embodiments, the computer system controls the operation of another type of status indicator (eg, 1314a-1314f and 1314j-1314l) (eg, climate control, sensor (eg, different types of sensors combined in a single status indicator). user interface (e.g., 1382, 1384, 1386 ). In some embodiments,
方法１４００に関して上述したプロセス（例えば、図１４）の詳細はまた、上述した方法にも類似の方式で適用可能であることに留意されたい。例えば、方法１４００は、任意選択的に、方法８００及び１０００に関して前述した様々な方法の特性のうちの任意の１つ以上を含む。別の例では、方法８００で送信された音声メッセージは、方法１４００に関連して上述したように、変更又はより多くの状態インジケータであり得る。簡潔にするために、これらの詳細は、以下で繰り返さない。
Note that the details of the process (eg, FIG. 14) described above with respect to
図１５Ａ～１５Ｆは、いくつかの実施形態に係る、音声メッセージを再生するための例示的なユーザインタフェースを示す。これらの図のユーザインタフェースは、図１６のプロセスを含む後述のプロセスを例示するために使用される。 15A-15F illustrate exemplary user interfaces for playing voice messages, according to some embodiments. The user interfaces of these figures are used to illustrate the processes described below, including the process of FIG.
図１５Ａは、アフォーダンス７０４を含むユーザインタフェース７０２を表示するデバイス７００を示す。図１５Ａに示すように、マルチキャスト通知１５０２は、ユーザインタフェース７０２の一部の上に表示される。マルチキャスト通知１５０２は、音声マルチキャストメッセージがジョン及び３人の他者から、デバイス７００を含む、ホーム６０２に指定されたデバイスのグループに送信されたことを示す。換言すれば、デバイス７００がホーム６０２に指定されているため、デバイス７００は、ジョン及び３人の他者から音声マルチキャストメッセージを受信している。マルチキャスト通知１５０２は、再生表現１５０４を含む。いくつかの実施形態では、再生表現１５０４は選択可能である。いくつかの実施形態では、マルチキャスト通知１５０２は、上述の他のマルチキャストメッセージ（例えば、マルチキャスト通知７０８ａ、マルチキャスト通知７０８、マルチキャスト通知９０４、マルチキャスト通知９０６ａ、マルチキャスト通知９０６ｂ、マルチキャスト通知９０８ａ、マルチキャスト通知９０８ｂ、マルチキャスト通知９０８ｃ、マルチキャスト通知９１０）に関連して上述したように、１つ以上の特徴を含むことができる。いくつかの実施形態では、上記の他のマルチキャストメッセージは、マルチキャスト通知１５０２の１つ以上の特徴（例えば、再生表現１５０４）を含み得る。図１５Ａでは、デバイス７００は、マルチキャスト通知１５０２上でタップジェスチャ１５５０ａを検出する。
FIG. 15A shows
図１５Ｂ～１５Ｆは、（例えば、自動的に）音声マルチキャストメッセージを再生するための例示的なユーザインタフェースを示す。いくつかの実施形態では、図１５Ｂ～１５Ｆに関連して説明されるユーザインタフェースは、９Ｉ～９Ｊのユーザインタフェース及び／又は９Ｍ～９Ｐのユーザインタフェースなどの、上記の１つ以上のユーザインタフェースの代わりに表示することができる。 15B-15F illustrate exemplary user interfaces for playing (eg, automatically) audio multicast messages. In some embodiments, the user interfaces described in connection with FIGS. 15B-15F replace one or more of the user interfaces described above, such as the user interfaces of 9I-9J and/or the user interfaces of 9M-9P. can be displayed in
図１５Ｂに示すように、タップジェスチャ１５５０ａの検出に応答して、デバイス７００は、ユーザインタフェース７０２の一部にオーバーレイされたユーザインタフェース１５２０を表示し、（例えば、タップジェスチャ１５５０ａを検出した後にユーザ入力を介在させることなく）、現在の送信者示唆１３２２ａによって示されるように、ジョンから受信した音声マルチキャストメッセージの再生を開始する。いくつかの実施形態では、音声の再生を開始する一部として、デバイス７００は、デバイス７００に電子的に結合された１つ以上のスピーカを介して音声を出力する。
As shown in FIG. 15B, in response to detecting
図１５Ｂに示すように、ユーザインタフェース１５２０は、ホーム６０２に関連付けられたデバイスのグループに送信された音声マルチキャストメッセージが再生されていることを示す、マルチキャストホーム識別子１５３２を含む。ユーザインタフェース１５２０はまた、マルチキャスト記録アフォーダンス７３６、現在の送信者示唆１５２２ａ、グラフィカル送信者示唆１５２４、及びカウント示唆９３０を含む。いくつかの実施形態では、デバイス７００は、上述のマルチキャスト記録アフォーダンス７３６、現在の送信者示唆９２２ａ～９２２ｂ、グラフィカル送信者示唆９２４ａ～９２４ｂ、及びカウント示唆９３０を考慮して、それぞれ、表示及び動作するために使用する、マルチキャスト記録アフォーダンス７３６、現在の送信者示唆１５２２ａ、グラフィカル送信者示唆１５２４、及びカウント示唆９３０を考慮して表示及び動作するために、デバイス７００は上述の１つ以上の技術を使用する。
As shown in FIG. 15B,
図１５Ａを再び見ると、通知１５０２は、４つの音声マルチキャストメッセージが受信され（例えば、「ジョン及び３人の他者」）、再生されたことを示している。したがって、図１５Ｂでは、ユーザインタフェース１５２０は、受信メッセージの一部に対応するグラフィカル送信者示唆１５２４を含む。図１５Ｂでは、グラフィカル送信者示唆１５２４は、グラフィカル送信者示唆１５２４ａ～１５２４ｃを含む。グラフィカル示唆１５２４ａは、「ジョン」から受信した、第１の音声マルチキャストメッセージに対応する。グラフィカル示唆１５２４ｂは、第１の音声マルチキャストメッセージの後に受信された（又は送信された）第２の音声マルチキャストメッセージに対応する。グラフィカル示唆１５２４ｃは、第２の音声マルチキャストメッセージの後に受信された（又は送信された）第３の音声マルチキャストメッセージに対応する。特に、図１５Ａでは、ユーザインタフェース１５２０は、所定の数（例えば、３）のグラフィック示唆が同時に表示されるべきであると判定されたため、第４の音声マルチキャストメッセージに対応するグラフィカル示唆を含まない。
15A,
グラフィカル示唆１５２４ａ～１５２４ｃは、異なる表現を図示するグラフィカル示唆１５２４ａ～１５２４ｃによって示される、異なるユーザ（又はデバイス）によって送信された、異なるマルチキャストメッセージに対応する。グラフィカル示唆１５２４ａは、第１の音声マルチキャストメッセージの送信者（例えば、「ジョン」）（例えば、判定された送信者）の視覚的表現を含む。グラフィカル示唆１５２４ｂは、第２の音声マルチキャストメッセージを記録したデバイス（例えば、スピーカ）の視覚的表現を含む。グラフィカル示唆１５２４ｃは、第３の音声マルチキャストメッセージの送信者（例えば、「エマアップルシード（Emma Appleseed）」を表す「ＥＡ」で、図７ＡＢに示すようにホーム６０２に関連付けられた人物）に対応する文字の視覚的表現を含む。グラフィカル示唆１５２４ｂは、第２の音声マルチキャストメッセージを生成した人物が判定され得ないため、送信者の視覚的表現の代わりにデバイスの視覚的表現を含む。グラフィカル示唆１５２４ｃは、デバイス７００がユーザの視覚的表現（例えば、エミリー）へのアクセスを有さないため、ユーザの視覚的表現の代わりに文字の視覚的表現を含む。いくつかの実施形態では、複数のグラフィカル示唆は、グラフィカル示唆に対応する音声マルチキャストメッセージが同じ送信者によって送信されたとの判定が行われると、同じ視覚的表現を含む。
図１５Ｂに示されるように、グラフィカル示唆１５２４ａは、ユーザインタフェース１５２０上に表示された最大のグラフィカル示唆であり、音声示唆１５２４ａ１（例えば、グラフィカル示唆１５２４ａを取り囲む円）と共に表示される。現在の送信者示唆１５２２ａによって示すように、ジョンからの第１の音声マルチキャストメッセージは、現在再生されている。したがって、グラフィカル示唆１５２４ａは、最大のグラフィック表現であり、ジョンからの音声マルチキャストメッセージが現在再生されていることを示す音声示唆１５２４ａ１と共に表示される。いくつかの実施形態では、音声示唆１５２４ａ１は動的であり、再生されている第１の音声マルチキャストメッセージに従ってサイズが変化する。グラフィカル示唆１５２４ｂは、第２の音声マルチキャストメッセージが、デバイス７００によって再生されるキューの次の音声マルチキャストメッセージであるため、ユーザインタフェース１５２０上に表示される第２の最大のグラフィカル示唆である。グラフィカル示唆１５２４ｃは、第３の音声マルチキャストメッセージが、第２の音声マルチキャストメッセージの後にデバイス７００によって再生されるキューの次の音声マルチキャストメッセージであるため、ユーザインタフェース１５２０上に表示される第３の最大のグラフィカル示唆である。図１５Ｂでは、デバイス７００は、第１の音声マルチキャストメッセージが所定の時間の期間内に終了する（例えば、０秒、１秒）（又は次のメッセージ（例えば、第２のメッセージ）が所定の時間の期間内に開始する）と判定する。
As shown in FIG. 15B,
第１の音声マルチキャストメッセージが所定の時間の期間内に終了する（又は終了した）と判定することに応答して（例えば、スキップアフォーダンス１５３４上のタップジェスチャに基づいて、ユーザ入力なしで）、デバイス７００は、グラフィカル示唆１５２４ｂ～１５２４ｃを反時計回りに回転させ、グラフィカル示唆１５２４ａの表示を中止する。図１５Ｃに示すように、第１の音声マルチキャストメッセージが所定の時間の期間内に終了する（又は終了した）との判定に応答して、グラフィカル示唆１５２４ｂは、グラフィック表現１５２４ａが図１５Ｂに以前に表示された場所に表示され、グラフィカル示唆１５２４ｃは、グラフィック表現１５２４ｂが図１５Ｂに以前に表示された場所に表示される。図１５Ｃに示すように、グラフィカル示唆１５２４ａは、グラフィック示唆１５２４ｂが図１５Ｂに以前に表示された同じサイズで表示され、グラフィカル示唆１５２４ｃは、グラフィカル示唆１５２４ｂが図１５Ｂに以前に表示された同じサイズで表示される。
In response to determining that the first audio multicast message ends (or has ended) within a predetermined period of time (eg, based on a tap gesture on
図１５Ｃに示すように、現在の送信者示唆１５２２ｂは、図１５Ｂに以前に表示された、現在の送信者示唆１５２２ａに置き換えられている。したがって、図１５Ｃでは、図１５Ｃのユーザインタフェース１５２０が表示される時間によって第１の音声マルチキャストメッセージの再生が完了しているため、デバイス７００は現在、第２の音声マルチキャストメッセージを再生している。図１５Ｃに示すように、ここで、グラフィカル示唆１５２４ｂは、音声示唆１５２４ａ１に関連して上述したものと類似の技術を使用して表示される、音声示唆１５２４ｂ１と共に表示される。図１５Ｃに示すように、グラフィカル示唆１５２４ｃは、デバイス７００が現在、第３の音声マルチキャストメッセージ（例えば、グラフィカル示唆１５２４ｃに対応する音声マルチキャストメッセージ）を現在出力していないので、グラフィカル示唆１５２４ｃを取り囲む音声示唆を有さない。いくつかの実施形態では、デバイス６００は、１５Ｂのユーザインタフェース１５２０の表示と図１５Ｃのユーザインタフェース１５２０の表示の間で遷移している間に、グラフィカル示唆１５２４ｂ～１５２４ｃのサイズを徐々に増大させるアニメーションを表示する。
As shown in FIG. 15C,
図１５Ｃに示すように、デバイス７００は、グラフィカル示唆１５２４ａ（例えば、第１の音声マルチキャストメッセージが終了した）を表示することを中止しているので、デバイス７００は、ジェーンによって送信された第４の音声マルチキャストメッセージに対応する、（図１５Ｅの現在の送信者示唆１５２２ｄによって示すように）グラフィカル示唆１５２４ｄを新たに表示する。グラフィカル示唆１５２４ｄは、図１５Ｂのグラフィカル示唆１５２４ｃと同じサイズで、同じ場所に表示される（例えば、グラフィカル示唆１５２４ｄは、ここで音声再生のキューで第２であるため）。図１５Ｃでは、デバイス７００は、第２の音声マルチキャストメッセージが所定の時間の期間内に終了する（例えば、０～１秒）（又は次のメッセージ（例えば、第３の音声マルチキャストメッセージ）が所定の時間の期間内に開始する）（又は終了した）と判定する。
As shown in FIG. 15C ,
第２の音声マルチキャストメッセージが所定の時間の期間内に終了する（又は終了した）と判定することに応答して、デバイス７００は、グラフィカル示唆１５２４ｃ～１５２４ｄを反時計回りに回転させ、グラフィカル示唆１５２４ｂの表示を中止する。図１５Ｄに示すように、第２の音声マルチキャストメッセージが所定の時間の期間内に終了するとの判定に応答して、グラフィカル示唆１５２４ｃは、グラフィック表現１５２４ｂが図１５Ｃに以前に表示された場所及びサイズで表示され、グラフィカル示唆１５２４ｄは、グラフィック表現１５２４ｃが図１５Ｃに以前に表示された場所及びサイズで表示される。
In response to determining that the second audio multicast message ends (or has ended) within the predetermined period of time,
図１５Ｄに示すように、現在の送信者示唆１５２２ｃは、図１５Ｃに以前に表示された、現在の送信指示１５２２ｂに置き換えられている。したがって、図１５Ｄでは、図１５Ｄのユーザインタフェース１５２０が表示される時間によって第２の音声マルチキャストメッセージの再生が完了しているため、デバイス７００は現在、第３の音声マルチキャストメッセージを再生している。デバイス７００は、第２の音声マルチキャストメッセージの再生の終了後の所定の時間の期間に、入力の介在なしに、第３の音声マルチキャストメッセージを自動的に再生する。いくつかの実施形態では、デバイス７００は、再生されるマルチキャストメッセージ間で所定のサウンド（例えば、チャイム、バズ、階調）を再生する。例えば、デバイス７００は、第２の音声マルチキャストメッセージの再生を自動的に開始する前に第１のサウンドを再生することができ、第３の音声マルチキャストメッセージの再生を自動的に開始する前に、第２のサウンド（例えば、同じチャイム）を再生することができる。いくつかの実施形態では、デバイス６００は、所定のサウンドを再生している間（その後又は前に）、ユーザインタフェースを遷移する（例えば、図１５Ｃのユーザインタフェース１５２０を図１５Ｄのユーザインタフェース１５２０に遷移する）。いくつかの実施形態では、図１５Ｃのスキップアフォーダンス１５３４上の入力の検出に応答して、デバイス７００は、第２の音声メッセージの再生（例えば、図１５Ｃで再生されている）を終了し（第２の音声メッセージの端部に到達する前に）、第３の音声メッセージの再生を開始し、ユーザインタフェースを遷移する（例えば、図１５Ｃのユーザインタフェース１５２０を図１５Ｄのユーザインタフェース１５２０に遷移する）。図１５Ｄでは、デバイス７００は、第３の音声マルチキャストメッセージが所定の時間の期間内に終了する（例えば、０～１秒）（又は次のメッセージ（例えば、第４の音声マルチキャストメッセージ）が所定の時間の期間内に開始する）（又は終了した）と判定する。
As shown in FIG. 15D, the
第３の音声マルチキャストメッセージが所定の時間の期間内に終了する（又は終了した）と判定することに応答して、デバイス７００は、グラフィカル示唆１５２４ｄを移動させ（例えば、の位置を変更して）、反時計回りに拡大し、グラフィカル示唆１５２４ｃの表示を中止する。図１５Ｅに示すように、グラフィカル示唆１５２４ｄは、唯一の表示されたグラフィカル示唆であるため、デバイス７００は、グラフィカル示唆１５２４ｄのサイズを、グラフィカル示唆１５２４ｃが以前に表示されたサイズよりも大きいサイズに増大させる。いくつかの実施形態では、グラフィカル示唆１５２４ｄは、図１５Ｂのグラフィカル示唆１５２４ａの場所と比較して、図１５Ｅの異なる場所（例えば、１５２４の中心に）で表示される。図１５Ｅに示すように、現在の送信者示唆１５２２ｄは、図１５Ｄに以前に表示された、現在の送信指示１５２２ｃに置き換えられている。したがって、図１５Ｅでは、図１５Ｅのユーザインタフェース１５２０が表示される時間によって第３の音声マルチキャストメッセージの再生が完了したことから、デバイス７００は現在、第４の音声マルチキャストメッセージ（例えば、グラフィカル示唆１５２４ｄに対応する音声マルチキャストメッセージ）を再生している。デバイス７００は、第３の音声マルチキャストメッセージの再生の終了後（例えば、第３の音声マルチキャストメッセージが終了してから）の所定の時間の期間に、入力の介在なしに、第４の音声マルチキャストメッセージを自動的に再生する。
In response to determining that the third audio multicast message ends (or has ended) within a predetermined period of time,
図１５Ｆに示すように、第４の音声メッセージの再生が終了したと判定した後に、デバイス７００は、追加のメディア（又はマルチキャスト音声メッセージ）を再生することなく、グラフィカル示唆１５２４ａ～１５２４ｃを含むようにユーザインタフェース１５２０を更新する。グラフィカル示唆１５２４ａ～１５２４ｃを再表示することに加えて、デバイス７００は再生アフォーダンス９２６を表示する。いくつかの実施形態では、再生アフォーダンス９２６上でタップジェスチャ１５５０ｆ１を検出したことに応答して、デバイス７００は、第１の音声マルチキャストメッセージの再生を開始し、図１５Ｂ～１５Ｅに記載されたフローを繰り返す。いくつかの実施形態では、マルチキャストアフォーダンスマルチキャスト記録アフォーダンス７３６上でタップジェスチャ１５５０ｆ２（又は、押圧及び保持ジェスチャ）を検出することに応答して、デバイス７００は、（例えば、マルチキャスト音声メッセージ（例えば、第１、第２、第３、第４の音声マルチキャストメッセージ）が送信されたデバイスのグループに返信するために）ホーム６０２に関連付けられたデバイスのグループに音声メッセージを記録し、送信するためのユーザインタフェースを表示する。したがって、いくつかの実施形態では、デバイス７００は、マルチキャスト記録アフォーダンス７３６上でのタップジェスチャの検出に応答して、図７Ｃ１のユーザインタフェース７４１、図７Ｃのユーザインタフェース７３０、又は図７Ｄのユーザインタフェース７４０を表示する。いくつかの実施形態では、マルチキャスト記録アフォーダンス７３６上のタップジェスチャは、端部記録入力（例えば、別のタップジェスチャ）が検出されるまで音声録音を開始する。端部記録入力が検出されると、記録された音声メッセージは、デバイスのグループに送信される。いくつかの実施形態では、マルチキャスト記録アフォーダンス７３６上で、押圧及び保持ジェスチャが検出される。押圧及び保持ジェスチャが検出されると、音声記録が開始される。押圧及び保持ジェスチャの端部（例えば、リフトオフ）が検出されると、音声記録が終了し、記録された音声メッセージがデバイスのグループに送信される。いくつかの実施形態では、図１５Ｂ～１５Ｅのユーザインタフェースのうちのいずれかでマルチキャスト記録アフォーダンス７３６のアクティブ化（例えば、タップジェスチャ、タップアンドホールドジェスチャ）を検出することにより、現在の再生メッセージの再生を停止させ、デバイスのグループに送信するために音声メッセージを記録するためのプロセスを開始させる。
As shown in FIG. 15F, after determining that playback of the fourth voice message has ended,
図１６は、いくつかの実施形態に係る、コンピュータシステムを使用して音声メッセージを再生するための方法を示すフロー図である。方法１６００は、ディスプレイ生成構成要素（例えば、一体型ディスプレイ、接続されたディスプレイ）及び１つ以上の入力デバイス（例えば、タッチ感知面）と通信するコンピュータシステム（例えば、１００、３００、５００、６３４、６７４、７００、７０１、８５０）で実行される。方法１６００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
FIG. 16 is a flow diagram illustrating a method for playing a voice message using a computer system, according to some embodiments. The
後述するように、方法１６００は、メディアコンテンツを再生するための直観的方法を提供する。本方法は、メディアメッセージを再生するユーザの認識的負担を軽減し、それにより、より効率的なヒューマン－マシンインタフェースを作成する。バッテリ動作式コンピューティングデバイスの場合、ユーザがより高速かつ効率的にメディアコンテンツを再生することを有効化することで、電力を節約し、バッテリ充電間の時間を延ばす。
As discussed below,
コンピュータシステム（例えば、７００）は、ディスプレイ生成構成要素を介して、メディアユーザインタフェース（例えば、１５２０）を表示し（１６０２）、それには、第１の場所で、第１のメディアメッセージ（例えば、音声メディア、視覚的メディア、オーディオビジュアルメディア）の第１の表現（１６０４）（例えば、図１５Ｂの１５２４ａ）、及び第１の場所とは異なる第２の場所で、第２のメディアメッセージの第２の表現（１６０６）（例えば、図１５Ｂの１５２４ｂ）が含まれる。いくつかの実施形態では、メディアユーザインタフェースは、メディアのグループ（例えば、メディアのグループが順序付けられた１組にある）の複数の（例えば、いくつかの、全てではない）メディアメッセージの表現を含む。 A computer system (e.g., 700) displays (1602) a media user interface (e.g., 1520) via a display generation component that includes, at a first location, a first media message (e.g., voice media, visual media, audiovisual media), and a second representation (1604) (e.g., 1524a in FIG. 15B) of the second media message at a second location different from the first location. A representation (1606) (eg, 1524b in FIG. 15B) is included. In some embodiments, the media user interface includes a representation of multiple (e.g., some, but not all) media messages of a group of media (e.g., the group of media is in an ordered set). .
メディアユーザインタフェースを表示したこと、及びメディアユーザインタフェース（例えば、１５２０）に対応するユーザ入力に基づいていないことに応答して、コンピュータシステム（例えば、７００）は、第１のメディアメッセージを再生する（１６０８）（例えば、第１のメディアメッセージの音声及び／又はビデオを出力する）。 In response to displaying the media user interface and not based on user input corresponding to the media user interface (eg, 1520), the computer system (eg, 700) plays a first media message ( 1608) (eg, output audio and/or video of the first media message).
第１のメディアメッセージの再生の完了（例えば、第１のメディアメッセージの端部まで再生することによって第１のメディアメッセージの端部に到達したこと）の検出に応答して、コンピュータシステム（例えば、７００）は、ディスプレイ生成構成要素を介して、（例えば、図１５Ｃのような）第１のメディアメッセージに対応する表現（例えば、１５２４ａ）（例えば、任意の表現）を表示することなく、（例えば、図１５Ｃのような）第２のメディアメッセージの第２の表現（例えば、１５２４ｂ）を表示する（１６１０）。 In response to detecting completion of playback of the first media message (e.g., reaching the end of the first media message by playing to the end of the first media message), the computer system (e.g., 700) via the display generation component (eg, as in FIG. 15C) without displaying a representation (eg, 1524a) corresponding to the first media message (eg, any representation) (eg, , FIG. 15C) displays 1610 a second representation (eg, 1524b) of the second media message.
異なる場所で様々なメディアメッセージの表現を表示することは、ユーザに、メディアメッセージの順序に関するフィードバック、そして例えば、どのメディアメッセージが現在再生中で、どのメディアメッセージが次に再生するかを提供する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ－デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。 Displaying representations of various media messages at different locations provides the user with feedback on the order of the media messages and, for example, which media message is currently playing and which media message will play next. Improve the usability of the device by providing improved visual feedback to the user (e.g., assist the user in providing appropriate input when operating/interacting with the device, reduce power usage and device battery life by making the user-device interface more efficient (by reducing errors in the improve.
いくつかの実施形態では、複数の（例えば、いくつかの、全てではない、３つの）メディアメッセージの表現は、順序付けられた１組の順序に基づいて様々なサイズで表示される。いくつかの実施形態では、より早くメディアメッセージが順序付けられた１組にあると、対応するメディアメッセージの表現はより大きくなる（例えば、現在再生しているメディアメッセージの表現は最大であり、次に再生されるメディアメッセージの表現はその次に最大であるなど）。したがって、メディアメッセージの順序は、それらの対応する表示描像の比較サイズで反映される。 In some embodiments, multiple (eg, some, but not all, three) representations of media messages are displayed in varying sizes based on an ordered set of orders. In some embodiments, the earlier a media message is in the ordered set, the larger the corresponding representation of the media message (e.g., the representation of the currently playing media message is the largest, then The representation of the media message that is played is the next largest, etc.). Therefore, the order of media messages is reflected in the relative size of their corresponding display images.
いくつかの実施形態によれば、第１のメディアメッセージ（例えば、音声メディア、視覚的メディア、オーディオビジュアルメディア）の第１の表現（例えば、図１５Ｂの１５２４ａ）を第１の場所で表示することは、第１のメディアメッセージ（例えば、音声メディア、視覚的メディア、オーディオビジュアルメディア）の第１の表現（例えば、１５２４ａ）を第１の場所及び第１のサイズ（例えば、図１５Ｂのように）で表示することを含む。いくつかの実施形態によれば、第２の場所での第２のメディアメッセージの第２の表現（例えば、図１５Ｂの１５２４ｂ）を表示することは、第２の場所及び（例えば、図１５Ｂのように）第１のサイズとは異なる（例えば、より小さい）第２のサイズで第２のメディアメッセージの第２の表示（例えば、１５２４ｂ）を表示することを含む。 According to some embodiments, displaying a first representation (eg, 1524a in FIG. 15B) of a first media message (eg, audio media, visual media, audiovisual media) at a first location. places a first representation (eg, 1524a) of a first media message (eg, audio media, visual media, audiovisual media) in a first location and a first size (eg, as in FIG. 15B). Including displaying in According to some embodiments, displaying the second representation of the second media message at the second location (eg, 1524b of FIG. 15B) is performed at the second location and (eg, 1524b of FIG. 15B). displaying a second representation (eg, 1524b) of the second media message at a second size that is different (eg, smaller) than the first size (such as).
異なるサイズで様々なメディアメッセージの表現を表示することは、ユーザに、メディアメッセージの順序に関するフィードバック（例えば、順序付けられた１組でサイズが大きいほどより早い）、そして例えば、どのメディアメッセージが現在再生中で、どのメディアメッセージが次に再生するかを提供する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ－デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。 Displaying representations of various media messages at different sizes provides the user with feedback regarding the order of the media messages (e.g., larger size is earlier in an ordered set) and e.g. which media message is currently playing. In it, provide which media message to play next. Improve the usability of the device by providing improved visual feedback to the user (e.g., assist the user in providing appropriate input when operating/interacting with the device; reduce power usage and device battery life by making the user-device interface more efficient (by reducing errors in the improve.
いくつかの実施形態によれば、コンピュータシステム（例えば、７００）は、ディスプレイ生成構成要素を介して、第１の場所での第１のメディアメッセージの第１の表現及び第２の場所での第２のメディアメッセージの第２の表現と同時に、第１のサイズとは異なる（及び、任意選択的に、第２のサイズとは異なる）第３のサイズ（例えば、第２のサイズと同じ、第２のサイズより小さい）及び第１の場所及び第２の場所とは異なる第３の場所で、第３のメディアメッセージの第３の表現（例えば、１５２４ｃ）を表示する。第１のメディアメッセージの再生の完了（例えば、第１のメディアメッセージの端部まで再生することによって第１のメディアメッセージの端部に到達したこと）の検出に応答して、コンピュータシステム（例えば、７００）は、ディスプレイ生成構成要素を介して、第１のメディアメッセージの第１の表現（例えば、１５２４ａ）を表示することなく、第１のサイズ及び第１の場所で、（例えば、図１５Ｃのような）第２のメディアメッセージの第２の表現（例えば、１５２４ｂ）を表示し、コンピュータシステム（例えば、７００）は、第２のサイズ及び第２の場所で、（例えば、図１５Ｃのような）第３のメディアメッセージの第３の表現（例えば、１５２４ｃ）を表示する。 According to some embodiments, a computer system (eg, 700), via a display generation component, renders a first representation of a first media message at a first location and a second representation at a second location. 2 media message simultaneously with a third size different from the first size (and optionally different from the second size), e.g. 2 size) and at a third location different from the first and second locations, displaying a third representation (eg, 1524c) of the third media message. In response to detecting completion of playback of the first media message (e.g., reaching the end of the first media message by playing to the end of the first media message), the computer system (e.g., 700) via the display generating component, without displaying the first representation (eg, 1524a) of the first media message in the first size and first location (eg, in FIG. 15C). The computer system (eg, 700) displays a second representation (eg, 1524b) of the second media message (eg, 1524b) in a second size and in a second location (eg, FIG. 15C). ) displays a third representation (eg, 1524c) of the third media message.
異なる場所及び異なるサイズで様々なメディアメッセージの表現を表示することにより、再生されるべきメディアメッセージの順序に関するフィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ－デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。 By displaying representations of various media messages in different locations and different sizes, feedback is provided to the user regarding the order in which the media messages should be played. Improve the usability of the device by providing improved visual feedback to the user (e.g., assist the user in providing appropriate input when operating/interacting with the device, reduce power usage and device battery life by making the user-device interface more efficient (by reducing errors in the improve.
いくつかの実施形態によると、コンピュータシステム（例えば、７００）は、第１のリモートユーザからの（例えば、コンピュータシステムを含む、デバイスの目標グループ（例えば、ホームの複数のデバイス（例えば、ホーム自動化システム））に向けられた）第１の（例えば、音声）メッセージである第１のメディアメッセージ、及び第１のリモートユーザとは異なる第２のリモートユーザからの（例えば、コンピュータシステムを含む、デバイスの目標グループ（例えば、ホームの複数のデバイス（例えば、ホーム自動化システム））に向けられた）第２の（例えば、音声）メッセージである第２のメディアメッセージを含む、メディアメッセージ（例えば、メディアのグループ、第１、第２、第３、及び第４のメディアメッセージ）に対応するデータ（第１、第２、第３、第４のデータ）を（例えば、無線ネットワークを介して）受信する。コンピュータシステム（例えば、７００）は、ディスプレイ生成構成要素を介して、メディアメッセージに対応する通知（例えば、１５０２）を（例えば、（更に詳細に上述しているように）時間周期の端部までデータの受信に応答して）表示する。通知（例えば、１５０２）を表示している間に、コンピュータシステム（例えば、７００）は、１つ以上の入力デバイスを介して、通知（例えば、ロックスクリーン上に表示された通知のアクティブ化、メディアのグループに対応する通知、メディアのグループが順序付けられた１組にある）の選択（例えば、１５５０ａ）を受信する。いくつかの実施形態では、メディアユーザインタフェースを表示することが、通知（例えば１５０２）の選択（例えば、１５５０ａ）の受信に応答して発生する。いくつかの実施形態では、第１のメディアメッセージを再生することが、通知（例えば１５０２）の選択（例えば、１５５０ａ）の受信に応答して発生する。 According to some embodiments, a computer system (eg, 700) receives a target group of devices (eg, home multiple devices (eg, home automation system ))), and from a second remote user different from the first remote user (e.g., a device, including a computer system). A media message (e.g., a group of media) including a second media message that is a second (e.g., voice) message directed to a target group (e.g., a plurality of devices in a home (e.g., a home automation system)) , first, second, third, and fourth media messages) is received (eg, via a wireless network). A computer system (e.g., 700), via a display generation component, sends a notification (e.g., 1502) corresponding to a media message (e.g., data to the end of a time period (as described in further detail above)). display) in response to receipt of While displaying the notification (eg, 1502), the computer system (eg, 700) may, via one or more input devices, receive the notification (eg, activation of the notification displayed on the lock screen, media , a selection (eg, 1550a) corresponding to a group of media, the group of media being in an ordered set. In some embodiments, displaying the media user interface occurs in response to receiving the selection (eg, 1550a) of the notification (eg, 1502). In some embodiments, playing the first media message occurs in response to receiving the selection (eg, 1550a) of the notification (eg, 1502).
メディアユーザインタフェースを表示し、通知の選択に応答して第１のメディアメッセージを自動的に再生することによって、同じ入力に応答して、コンピュータシステムが２つの機能（表示及び再生）を実行することが可能になり、それによって、コンピュータシステムが再生を開始するために追加の入力を受信する必要性を低減する。動作を実行するために必要な入力の数を低減することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザ－デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用を低減し、デバイスのバッテリ寿命を改善する。 Displaying a media user interface and automatically playing a first media message in response to notification selection, thereby causing the computer system to perform two functions (display and playback) in response to the same input. , thereby reducing the need for the computer system to receive additional input to initiate playback. Improve device usability by reducing the number of inputs required to perform an action (e.g., prompt the user to provide appropriate input when manipulating/interacting with the device). It reduces power usage by making the user-device interface more efficient (by assisting and reducing user error), as well as enabling users to use the device more quickly and efficiently, thereby reducing power usage and improve battery life.
いくつかの実施形態では、第１の表示（例えば、１５２４ａ）、第２の表現（例えば、１５２４ｂ）、及び第３の表現（例えば、１５２４ｃ）は、１つの線に表示されない（例えば、第１、第２、及び第３の場所は全て１つの線上にあるとは限らない）。いくつかの実施形態では、表示されるメディアの表現は、（例えば、表現が削除され、新しい表現が追加されると）１行に表示されない。 In some embodiments, the first representation (eg, 1524a), the second representation (eg, 1524b), and the third representation (eg, 1524c) are not displayed in one line (eg, the first , second and third places are not all on one line). In some embodiments, representations of displayed media are not displayed in one line (eg, as representations are deleted and new representations are added).
別の実施形態によると、第１のサイズは、第２のサイズよりも大きい。いくつかの実施形態では、第２のサイズは、第３のサイズより大きい。いくつかの実施形態では、第２のサイズ及び第３のサイズは、同じサイズである。いくつかの実施形態では、現在再生しているメディアファイルの表現（例えば、図１５Ｂの１５２４ａ、図１５Ｃの１５２４ｂ）は、メディアメッセージの複数の他の（例えば、全て）表示描像のサイズよりも大きいサイズで表示される。 According to another embodiment, the first size is larger than the second size. In some embodiments, the second size is larger than the third size. In some embodiments, the second size and the third size are the same size. In some embodiments, a representation of the currently playing media file (eg, 1524a in FIG. 15B, 1524b in FIG. 15C) is larger than the size of multiple other (eg, all) display representations of the media message. displayed in size.
様々なメディアメッセージの表現を、ますます大きいサイズで表示することにより、メディアメッセージの順序に関するフィードバックがユーザに提供される。例えば、対応するメディアメッセージがより早ければ、表現がより大きくなることは、メディアメッセージの順序付けられた１組にあり、（例えば）最大表現は現在再生中のメディアアイテムである。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ－デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。 By displaying representations of various media messages in larger and larger sizes, feedback is provided to the user regarding the order of the media messages. For example, the earlier the corresponding media message, the larger the representation is in the ordered set of media messages, where (for example) the largest representation is the currently playing media item. Improve the usability of the device by providing improved visual feedback to the user (e.g., assist the user in providing appropriate input when operating/interacting with the device, reduce power usage and device battery life by making the user-device interface more efficient (by reducing errors in the improve.
いくつかの実施形態によれば、第１のメディアメッセージの再生の完了（例えば、第１のメディアメッセージの端部まで再生することによって第１のメディアメッセージの端部に到達すること）を検出したことに応答して、更なるユーザ入力を受信（又は必要と）することなく、第２のメディアメッセージを再生する（例えば、第２のメディアの音声及び／又はビデオを出力する）。いくつかの実施形態では、第２のメディアメッセージは、第１のサイズ及び第１の場所で、第２のメディアメッセージの第２の表現を表示することと共に再生される。 According to some embodiments, completion of playback of the first media message (e.g., reaching the end of the first media message by playing to the end of the first media message) is detected In response, play the second media message (eg, output the audio and/or video of the second media) without receiving (or requiring) further user input. In some embodiments, the second media message is played with displaying a second representation of the second media message at the first size and at the first location.
第１のメディアメッセージの完了に応答して第２のメディアメッセージを自動的に再生することにより、コンピュータシステムが第２のメディアメッセージの再生を開始するために追加の入力を受信する必要がなくなる。動作を実行するために必要な入力の数を低減することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザ－デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用を低減し、デバイスのバッテリ寿命を改善する。 By automatically playing the second media message in response to completion of the first media message, the computer system does not need to receive additional input to begin playing the second media message. Improve device usability by reducing the number of inputs required to perform an action (e.g., prompt the user to provide appropriate input when manipulating/interacting with the device). It reduces power usage by making the user-device interface more efficient (by assisting and reducing user error), as well as enabling users to use the device more quickly and efficiently, thereby reducing power usage and improve battery life.
いくつかの実施形態では、第２のメディアメッセージの再生の完了を検出したことに応答して（例えば、第２のメディアメッセージの端部に到達した、第１のメディアの残りをスキップする）、コンピュータシステムは、更なるユーザ入力を受信（又は必要と）することなく、第３のメディアメッセージを再生する（例えば、第３のメディアメッセージの音声及び／又はビデオを出力する）。いくつかの実施形態では、第３のメディアメッセージは、第１のサイズ及び第１の場所で、第３のメディアメッセージの第３の表現を表示することと共に再生される。いくつかの実施形態では、第５のメディアの第５の表現は、第２のメディアメッセージの再生の完了を検出した後には表示されない。 In some embodiments, in response to detecting completion of playback of the second media message (e.g., skipping the remainder of the first media upon reaching the end of the second media message), The computer system plays the third media message (eg, outputs audio and/or video of the third media message) without receiving (or requiring) further user input. In some embodiments, the third media message is played with displaying a third representation of the third media message at the first size and at the first location. In some embodiments, the fifth representation of the fifth media is not displayed after detecting completion of playing the second media message.
いくつかの実施形態によると、第１のメディアメッセージの再生の完了を検出する前に、第４のメディアメッセージ（例えば、音声メディア、視覚的メディア、オーディオビジュアルメディア）の第４の表現（例えば、１５２４ｄ）は、第１のメディアの第１の表示と同時に表示されない（例えば、図１５Ｂに示すように、メディアユーザインタフェース内に）。第１のメディアメッセージの再生の完了（例えば、第１のメディアメッセージの端部まで再生することによって第１のメディアメッセージの端部に到達したこと）の検出の後（例えば、応答して）、（いくつかの実施形態では、第１のメディアメッセージの再生の完了の検出に応答して）、コンピュータシステム（例えば、７００）は、ディスプレイ生成構成要素を介して、（例えば、メディアユーザインタフェース（例えば、１５２０）の）第４のメディアメッセージの第４の表現（例えば、１５２４ｄ）を（例えば、第３のサイズ及び第３の場所で）表示する（いくつかの実施形態では、第４のメディアメッセージは、メディアメッセージの第２及び第３の表現と同時に表示される）。 According to some embodiments, a fourth representation (e.g., audio media, visual media, audiovisual media) of a fourth media message (e.g., audio media, visual media, audiovisual media) prior to detecting completion of playback of the first media message. 1524d) is not displayed concurrently with the first display of the first media (eg, in the media user interface, as shown in FIG. 15B). after (eg, in response to) detection of completion of playback of the first media message (eg, reaching the end of the first media message by playing to the end of the first media message); In some embodiments, in response to detecting completion of playback of the first media message, the computer system (e.g., 700), via the display generation component, (e.g., media user interface (e.g., , 1520)) of the fourth media message (e.g., 1524d) (e.g., in a third size and in a third location) (in some embodiments, the fourth media message is displayed simultaneously with the second and third representations of the media message).
メディアメッセージが再生され、再生されたメディアメッセージの表現が除去されるまで、メディアのグループの追加のメディアメッセージの表現を表示することなく、メディアメッセージのグループの第１の所定の数のメディアメッセージの表現を表示することにより、ユーザインタフェースを乱すことなく、追加のメディアメッセージが再生のために利用可能であるというフィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ－デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。 playing a first predetermined number of media messages of a group of media messages without displaying additional media message representations of the group of media until the media message is played and the representation of the played media message is removed; Displaying the representation provides feedback to the user that additional media messages are available for playback without disrupting the user interface. Improve the usability of the device by providing improved visual feedback to the user (e.g., assist the user in providing appropriate input when operating/interacting with the device, reduce power usage and device battery life by making the user-device interface more efficient (by reducing errors in the improve.
いくつかの実施形態では、メディアユーザインタフェースが最初に表示されるとき（例えば、表示された通知の選択に応答して）、メディアユーザインタフェースは、第４の表現を含むことなく、第１の表現、第２の表現、及び第３の表現を含む。 In some embodiments, when the media user interface is first displayed (e.g., in response to selecting a displayed notification), the media user interface displays the first representation without including the fourth representation. , a second representation, and a third representation.
いくつかの実施形態では、第３のメディアメッセージの再生の完了を検出したことに応答して（例えば、第３のメディアメッセージの端部に到達した、第３のメディアメッセージの残りをスキップする）、第１のサイズとは異なる（例えば、より大きい）サイズ及び第１の場所とは異なる場所で、第４のメディアメッセージの第４の表現（例えば、１５２４ｄ）を表示し、（例えば、図１５Ｅに示すように）ユーザ入力を受信（又は必要と）することなく、第４のメディアメッセージを再生する。 In some embodiments, in response to detecting completion of playback of the third media message (eg, reaching the end of the third media message, skipping the remainder of the third media message). , displaying a fourth representation (eg, 1524d) of the fourth media message (eg, 1524d) at a different (eg, larger) size than the first size and at a different location than the first, and (eg, FIG. 15E ) without receiving (or requiring) user input.
いくつかの実施形態によると、第２のメディアメッセージを再生している間に、コンピュータシステム（例えば、７００）は、メディアユーザインタフェース（例えば、１５２０）に次のメディアユーザインタフェースオブジェクト対象（例えば、１５３４）を表示し、アクティブ化すると（例えば、タップオンの検出）、第２のメディアメッセージの再生を完了させる（例えば、現在再生しているメディアメッセージの再生を停止する、第２のメディアメッセージの残りの再生を取り止める、第２のメディアメッセージの残りを過ぎてスキップする）（及び任意選択的に、第３のメディアメッセージの再生を開始する）。第２のメディアメッセージを再生している間に、コンピュータシステム（例えば、７００）は、１つ以上の入力デバイスを介して、次のメディアユーザインタフェースオブジェクト対象（例えば、１５３４）のアクティブ化（例えば、タップオン）を受信する。次のメディアユーザインタフェースオブジェクト対象（例えば、１５３４）のアクティブ化の受信に応答して、コンピュータシステム（例えば、７００）は、ディスプレイ生成構成要素を介して、第２のメディアメッセージの第２の表現を表示することなく、第１の場所に（及び任意選択的に、第１のサイズで）第３のメディアメッセージの第３の表現を、ディスプレイ生成構成要素を介して表示する。いくつかの実施形態では、第３のメディアメッセージは、第１のサイズで第１の場所で第３のメディアメッセージの第３の表現を表示することと共に再生される。いくつかの実施形態では、次のメディアユーザインタフェースオブジェクト対象は、アクティブ化されると、現在再生しているメディアメッセージを完了させる。いくつかの実施形態では、現在再生しているメディアメッセージの完了を検出することにより（例えば、現在再生しているメディアメッセージがメディアのグループの最終メディアメッセージである場合を除いて）、技術によって、順序付けられた１組の次のメディアメッセージの再生に進む。いくつかの実施形態では、次のメディアユーザインタフェースオブジェクト対象（例えば、１５３４）のアクティブ化の受信に応答して、コンピュータシステムは、（例えば、第２のメディアメッセージの端部まで再生することなく）第２のメディアメッセージの再生を中止し、第３のメディアメッセージを再生する。 According to some embodiments, while playing the second media message, the computer system (eg, 700) prompts the media user interface (eg, 1520) for the next media user interface object target (eg, 1534). ) and, when activated (e.g., detecting a tap-on), causes playback of the second media message to complete (e.g., stops playing the currently playing media message, remaining of the second media message). Stop playing, skip past the rest of the second media message) (and optionally start playing a third media message). While playing the second media message, the computer system (eg, 700) activates (eg, tap on). In response to receiving activation of the next media user interface object target (eg, 1534), the computer system (eg, 700) renders a second representation of the second media message via the display generation component. Without displaying, a third representation of the third media message is displayed at the first location (and optionally at the first size) via the display generating component. In some embodiments, the third media message is played with displaying a third representation of the third media message at the first location at the first size. In some embodiments, the next media user interface object target completes the currently playing media message when activated. In some embodiments, by detecting the completion of the currently playing media message (e.g., unless the currently playing media message is the last media message of a group of media), the technology: Proceed to play the next media message in the ordered set. In some embodiments, in response to receiving activation of the next media user interface object object (eg, 1534), the computer system (eg, without playing to the end of the second media message) Stop playing the second media message and play a third media message.
次のメディアユーザインタフェースオブジェクト対象を表示することにより、コンピュータシステムは、現在再生しているメディアメッセージの残りを再生する追加時間を費やすことなく、スキップして次のメディアメッセージを再生するためのユーザ入力の受信を可能にする。この追加の制御をユーザに提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ－デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを有効化することによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。 By displaying the next media user interface object target, the computer system receives user input to skip and play the next media message without spending additional time playing the remainder of the currently playing media message. enable the reception of Providing the user with this additional control improves the usability of the device (e.g., assists the user in providing appropriate input when operating/interacting with the device, and reduces the risk of user error). reduce power usage and device battery life by making the user-device interface more efficient by reducing improve.
いくつかの実施形態では、コンピュータシステムは、（例えば、第２のメディアを再生すると同時に）以前のメディアユーザインタフェースオブジェクト対象を（例えば、メディアユーザインタフェースで）表示せず、アクティブ化すると（例えば、タップオンの検出）、（例えば、第２の）メディアメッセージの再生を完了させ、以前の（例えば、第１の）メディアメッセージの再生を開始する。いくつかの実施形態では、コンピュータシステムは、（例えば、図１５Ｅのように）（例えば、メディアのグループの）最後（例えば、第４）のメディアメッセージが再生している時に、次のメディアユーザインタフェースオブジェクト対象を表示することを取り止める。 In some embodiments, the computer system does not display (e.g., in the media user interface) previous media user interface object targets (e.g., while playing the second media) and upon activation (e.g., tapping on detection), complete playback of the (eg, second) media message and begin playback of the previous (eg, first) media message. In some embodiments, the computer system prompts the next media user interface when the last (eg, fourth) media message (eg, of a group of media) is playing (eg, as in FIG. 15E). Stop displaying the object target.
いくつかの実施形態では、第１のメディアメッセージ、第２のメディアメッセージ、及び第３のメディアメッセージは、メディアのグループの一部である。いくつかの実施形態によれば、最終メディアメッセージを再生した後（例えば、完了の検出に応答して）（例えば、メディアのグループの全てのメディアメッセージを再生又はスキップした後）、コンピュータシステム（例えば、７００）は、ディスプレイ生成構成要素を介して、メディアユーザインタフェースの再生ユーザインタフェースオブジェクト対象を（例えば、９２６、第１の場所で、第４のメディアメッセージの第４の表現が表示された場所で）表示し、アクティブ化されると（例えば、１５５０ｆ１、タップオンの検出）、後続のメディアメッセージ（例えば、第２、第３、及び第４のメディアメッセージ）の再生に進む前に、第１のメディアメッセージを再生する（例えば、第１のメディアメッセージの音声及び／又はビデオを出力する）。いくつかの実施形態では、再生ユーザインタフェースオブジェクト対象のアクティブ化によって、メディアのグループのメディアメッセージを再生するために再びプロセスが再開される。いくつかの実施形態では、（例えば、メディアのグループの）最終メディアメッセージを再生した後、コンピュータシステムは、コンピュータシステムから第１、第２、及び第３のメディアメッセージ（及び、任意選択的に第４のメディアメッセージ）を（例えば、所定の持続時間が経過した後に）削除する（又はそうでなければ、メディアメッセージをユーザからアクセス不能にする）。 In some embodiments, the first media message, the second media message and the third media message are part of a group of media. According to some embodiments, after playing the final media message (e.g., in response to detecting completion) (e.g., after playing or skipping all media messages of a group of media), the computer system (e.g., , 700), via the display generation component, renders the playback user interface object object of the media user interface (e.g., 926, at the first location, at the location where the fourth representation of the fourth media message was displayed). ) and, when activated (e.g., 1550f1, tap-on detection), before proceeding to playback of subsequent media messages (e.g., second, third, and fourth media messages). Play the message (eg, output audio and/or video of the first media message). In some embodiments, activation of the play user interface object target restarts the process again to play the media message of the group of media. In some embodiments, after playing a final media message (eg, of a group of media), the computer system retrieves first, second, and third media messages (and optionally a third media message) from the computer system. 4 media message) (eg, after a predetermined duration) (or otherwise render the media message inaccessible to the user).
ユーザインタフェースオブジェクト対象（例えば、再生ボタン）を表示して、メディアメッセージのグループのメディアメッセージを再生することにより、再生のために各メディアメッセージを個別に選択する必要なく、メディアメッセージを再生する（及び再リッスンする、再視聴する）ことが可能になる。表示される追加コントローラによってＵＩを雑然とさせることなく、追加制御オプションを提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインタフェースを（例えば、デバイスを操作する／デバイスと対話するときにユーザを適切な入力を付与するのを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Play media messages (and re-listen, re-view) becomes possible. By providing additional control options without cluttering the UI with additional controllers being displayed, the usability of the device is enhanced and the user-device interface (e.g., when operating/interacting with the device making the device more efficient (by helping the user to give the correct input and reducing user error), as well as by enabling the user to use the device more quickly and efficiently Reduced usage and improved battery life.
いくつかの実施形態によると、第１のメディアメッセージ、第２のメディアメッセージ、及び第３のメディアメッセージ（及び、任意選択的に、第４のメディアメッセージ）は、コンピュータシステムを含むデバイス（例えば、ホームの複数のデバイス（例えば、ホーム自動化システム））の目標グループに向けられた。いくつかの実施形態によると、コンピュータシステム（例えば、７００）は、ディスプレイ生成構成要素を介して、メディアユーザインタフェースにマルチキャストアフォーダンス（例えば、７３６）を表示し、アクティブ化されたとき（例えば、１５５０ｆ２、タップオンの検出）、音声マルチキャストメッセージをデバイスの目標グループに送信するプロセスを開始する。いくつかの実施形態では、音声マルチキャストメッセージを送信するプロセスは、図７Ｃ１のユーザインタフェースを表示することを含み、図７Ｃ１に関して説明される。いくつかの実施形態では、１つ以上のデバイスは、第１、第２、及び第３のメディアメッセージが向けられた電子デバイスのグループの一部である電子デバイスである。 According to some embodiments, the first media message, the second media message, and the third media message (and optionally the fourth media message) are transmitted from a device comprising a computer system (e.g., Aimed at a target group of multiple devices in the home (eg, home automation systems). According to some embodiments, a computer system (eg, 700) displays a multicast affordance (eg, 736) on a media user interface via a display generation component and when activated (eg, 1550f2, tap-on detection), which initiates the process of sending an audio multicast message to a target group of devices. In some embodiments, the process of sending an audio multicast message includes displaying the user interface of FIG. 7C1 and is described with respect to FIG. 7C1. In some embodiments, the one or more devices are electronic devices that are part of a group of electronic devices to which the first, second, and third media messages are directed.
音声マルチキャストメッセージを１つ以上のデバイスに送信するプロセスを開始するマルチキャストアフォーダンスを表示することにより、どのユーザ／デバイスがメッセージを受信するかを個別に選択する必要なく、メッセージを含むメディアメッセージに応答する能力をユーザに提供し、それによって、応答を提供するためにユーザが必要とする入力の数を低減する。動作を実行するために必要な入力の数を低減することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザ－デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用を低減し、デバイスのバッテリ寿命を改善する。 Respond to media messages containing messages by presenting a multicast affordance that initiates the process of sending an audio multicast message to one or more devices, without having to individually select which users/devices will receive the message It provides the user with capabilities, thereby reducing the number of inputs required by the user to provide a response. Improve device usability by reducing the number of inputs required to perform an action (e.g., prompting the user to provide appropriate input when manipulating/interacting with the device). It reduces power usage by making the user-device interface more efficient (by assisting and reducing user error), as well as enabling users to use the device more quickly and efficiently, thereby reducing power usage and improve battery life.
いくつかの実施形態では、音声マルチキャストメッセージを送信するプロセスは、コンピュータシステムで音声メッセージを記録することを含む。いくつかの実施形態では、音声メッセージは、（例えば、メディアのグループの一部として）コンピュータシステムでの再生のために利用可能にされる。いくつかの実施形態では、コンピュータシステムは、音声マルチキャストメッセージを送信することと共に、コンピュータシステムから第１、第２、及び第３のメディアメッセージ（及び任意選択的に、第４のメディアメッセージ）をコンピュータシステムから削除する（又はそうでなければ、メディアメッセージをユーザからアクセス不能にする）。 In some embodiments, the process of sending the audio multicast message includes recording the audio message with a computer system. In some embodiments, voice messages are made available for playback on a computer system (eg, as part of a group of media). In some embodiments, the computer system transmits the audio multicast message and also sends the first, second, and third media messages (and optionally a fourth media message) from the computer system to the computer. Delete from the system (or otherwise render the media message inaccessible to the user).
いくつかの実施形態によれば、それぞれのメディアメッセージ（例えば、第１のメディアメッセージ、第２のメディアメッセージ）を再生している間に、コンピュータシステム（例えば、７００）は、ディスプレイ生成構成要素を介し、メディアユーザインタフェースで、それぞれのメディアメッセージが受信された、それぞれのユーザの名前（例えば、１５２４ａ、１５２４ｂ、１５２４ｃ、１５２４ｄ）を表示する。いくつかの実施形態では、再生中のメディアメッセージが変更されると、それぞれのユーザの名前が置き換えられる（例えば、以前の名前、現在の名前、次の名前は同じ場所で表示される）。 According to some embodiments, while playing respective media messages (eg, first media message, second media message), computer system (eg, 700) causes the display generation component to via the media user interface to display the name of each user (eg, 1524a, 1524b, 1524c, 1524d) from whom each media message was received. In some embodiments, each user's name is replaced when the playing media message changes (eg, previous name, current name, next name are displayed in the same place).
現在再生しているメディアが受信されたそれぞれのユーザの名前を表示することにより、コンピュータシステムが現在再生しているメディアメッセージを受信したソースに関するフィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザ－デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。 Displaying the name of each user from whom the currently playing media was received provides feedback to the user as to the source from which the computer system received the currently playing media message. Improve the usability of the device by providing improved visual feedback to the user (e.g., assist the user in providing appropriate input when operating/interacting with the device, reduce power usage and device battery life by making the user-device interface more efficient (by reducing errors in the improve.
いくつかの実施形態によると、現在再生しているメディアメッセージ（例えば、図１５Ｂの１５２４ａ、図１５Ｃの１５２４ｂ）の表現は、現在再生していないメディアメッセージのそれぞれの表示描像の背景色（例えば、図１５Ｂの１５２４ｂ及び１５２４ｃ、図１５Ｃの１５２４ｃ及び１５２４ｄ）の背景色とは異なる第１の背景色（例えば、緑色）で表示される。 According to some embodiments, the representation of the currently playing media message (e.g., 1524a in FIG. 15B, 1524b in FIG. 15C) is the background color (e.g., 1524b and 1524c in FIG. 15B and 1524c and 1524d in FIG. 15C) in a first background color (eg, green) different from the background color.
いくつかの実施形態によると、メディアメッセージは、音声メッセージ（例えば、マルチキャスト音声メッセージ）である。いくつかの実施形態では、音声メッセージ（例えば、第１のメディアメッセージ）は、外部デバイスで（マイクロフォンを使用して）記録され、外部デバイスによってデバイスのグループに送信された音声メッセージ及び／又はコンピュータシステムを含む複数の外部デバイスに向けられた（例えば、送信された）音声メッセージである）。いくつかの実施形態では、第２のメディアメッセージは、第２の複数の外部デバイス（例えば、複数の外部デバイスとは異なる、複数の外部デバイスと同じ）に向けられた（又は送信された）第２の音声メッセージである。 According to some embodiments, the media message is an audio message (eg, a multicast audio message). In some embodiments, a voice message (e.g., the first media message) is recorded (using a microphone) with an external device and sent by the external device to a group of devices and/or a computer system. is a voice message intended (eg, sent) to multiple external devices, including In some embodiments, the second media message is directed to (or sent to) a second plurality of external devices (eg, the same plurality of external devices, different from the plurality of external devices). 2 voice message.
会話の複数の音声メッセージを自動的に（例えば、順序で）再生することにより、ユーザが個別に特定の音声メッセージを選択して再生することを必要とせずに、コンピュータシステムに会話（例えば、複数の参加者間の音声会話）の出力を可能にし、それにより、必要な入力の数を低減する。動作を実行するために必要な入力の数を低減することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに、適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザ－デバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用を低減し、デバイスのバッテリ寿命を改善する。 By automatically playing (e.g., in sequence) multiple voice messages of a conversation, a computer system can play a conversation (e.g., multiple voice conversations between participants), thereby reducing the number of inputs required. Improve device usability by reducing the number of inputs required to perform an action (e.g., prompt the user to provide appropriate input when manipulating/interacting with the device). It reduces power usage by making the user-device interface more efficient (by assisting and reducing user error), as well as enabling users to use the device more quickly and efficiently, thereby reducing power usage and improve battery life.
いくつかの実施形態では、メディアのグループのメディアメッセージの合計カウント（例えば、図１５Ｂの９３０の「４の１」の「４」）が表示される。いくつかの実施形態では、現在再生しているメディアの数が（例えば、合計カウントと共に）（例えば、図１５Ｂの９３０の「４の１」内の「１」、メディアのグループの順序付けられた１組で）表示される（例えば、図１５Ｄのような「４の３」）。 In some embodiments, the total count of media messages for the group of media (eg, "4" in "1 of 4" at 930 in FIG. 15B) is displayed. In some embodiments, the number of media currently playing (e.g., along with the total count) (e.g., "1" in "1 of 4" at 930 in FIG. 15B, the ordered 1 of the group of media) in pairs) (eg, “3 of 4” as in FIG. 15D).
いくつかの実施形態では、メディアメッセージ（例えば、第１のメディアメッセージ）は、マルチユーザデバイス（例えば、複数のユーザ用に構成されたデバイス、特定のユーザ用には構成されていないデバイス）に対応する。いくつかの実施形態では、メディアメッセージ（例えば、第２のメディアメッセージ）は、単一ユーザデバイス（例えば、単一のユーザ用に構成されたデバイス）に対応する。いくつかの実施形態では、メディアメッセージの対応するユーザの視覚指示子（例えば、１５２２ａ、１５２４ａ、１５２２ｃ、１５２４ｃ）は、ユーザに対応するメディアメッセージを再生すると同時に表示される。いくつかの実施形態では、マルチユーザデバイスに対応するメディアメッセージを再生している間に、マルチユーザデバイスを示す視覚指示子（例えば、１５２２ｂ、１５２４ｂ）が表示される。 In some embodiments, the media message (eg, the first media message) corresponds to a multi-user device (eg, a device configured for multiple users, a device not configured for a particular user). do. In some embodiments, the media message (eg, the second media message) corresponds to a single user device (eg, a device configured for a single user). In some embodiments, the corresponding user visual indicators (eg, 1522a, 1524a, 1522c, 1524c) of the media message are displayed to the user concurrently with playing the corresponding media message. In some embodiments, visual indicators (eg, 1522b, 1524b) are displayed to indicate the multi-user devices while playing media messages corresponding to the multi-user devices.
方法１６００に関して上述したプロセス（例えば、図１６）の詳細はまた、上述した方法にも類似の方式で適用可能であることに留意されたい。例えば、方法１６００は、任意選択的に、方法８００、１０００及び１４００に関して前述した様々な方法の特性のうちの任意の１つ以上を含む。別の例では、方法８００の音声メッセージは、方法１６００で送信される音声メッセージと同じであり得る。別の例では、方法８００に関して記載の表示された通知は、方法１６００で表示された同じ通知であり得る。別の例では、方法１２００に関して１つ以上のデバイスに送信される音声入力は、方法１６００のコンピュータシステムで受信及び再生される同じ音声メッセージであり得る。簡潔性のために、これらの詳細は、ここでは繰り返さない。
Note that the details of the processes described above with respect to method 1600 (eg, FIG. 16) are also applicable in an analogous manner to the methods described above. For example,
上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、又は開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正及び変形が可能である。これらの実施形態は、本技術の原理、及びその実際の適用を最もよく説明するために、選択及び記載されている。それにより、他の当業者は、意図された具体的な用途に適するような様々な修正を用いて、本技術及び様々な実施形態を最も良好に利用することが可能となる。 The foregoing, for purposes of explanation, has been described with reference to specific embodiments. However, the illustrative discussion above is not intended to be exhaustive or to limit the invention to the precise forms disclosed. Many modifications and variations are possible in light of the above teaching. These embodiments were chosen and described in order to best explain the principles of the technology and its practical application. This enables others skilled in the art to best utilize the technology and various embodiments, with various modifications as appropriate for the particular application intended.
添付図面を参照して、本開示及び例を十分に説明してきたが、様々な変更及び修正が、当業者には明らかとなるであろうことに留意されたい。そのような変更及び修正は、特許請求の範囲によって定義されるような、本開示及び例の範囲内に含まれるものとして理解されたい。 Having fully described the present disclosure and examples with reference to the accompanying drawings, it should be noted that various changes and modifications will become apparent to those skilled in the art. Such changes and modifications are intended to be included within the scope of this disclosure and examples as defined by the claims.
上述のように、本技術の一態様は、様々なソースから入手可能なデータを収集及び使用して、ユーザへのビジュアルコンテンツ（例えば、視覚的な指示）又は音声入力が１つ以上のデバイスに音声メッセージとして送信されるかどうかに関する情報をユーザに提供する任意の他のコンテンツの伝送を改善することである。本開示は、いくつかの例において、この収集されたデータは、特定の人を一意に特定する個人情報データ、又は特定の人に連絡する若しくはその所在を突き止めるために使用できる個人情報データを含み得ることを想到している。 As noted above, one aspect of the present technology is the ability to collect and use data available from various sources to provide visual content (e.g., visual instructions) or voice input to users on one or more devices. To improve the transmission of any other content that provides the user with information as to whether it will be sent as a voice message. This disclosure indicates that, in some instances, this collected data includes personal information data that uniquely identifies a particular person or that can be used to contact or locate a particular person. I am thinking of getting.
本開示は、本技術における個人情報データの使用がユーザの利益になる使用であり得る点を認識するものである。例えば、個人情報データは、それぞれのユーザが音声メッセージとして音声入力が送信されるかどうかを判定することができるように、示唆のディスプレイを改善するために使用することができる。したがって、そのような個人情報データの使用は、ユーザによる音声メッセージの送信についての計算された制御を可能にする。更には、ユーザに利益をもたらす、個人情報データに関する他の使用もまた、本開示によって想到される。 This disclosure recognizes that the use of personal information data in the technology may be a use to the benefit of the user. For example, personal information data can be used to improve the display of suggestions so that each user can determine whether voice input is sent as a voice message. The use of such personal information data thus allows calculated control over the transmission of voice messages by the user. Furthermore, other uses for personal information data that benefit users are also contemplated by the present disclosure.
本開示は、そのような個人情報データの収集、分析、開示、伝送、記憶、又は他の使用に関与するエンティティが、確固たるプライバシーポリシー及び／又はプライバシー慣行を遵守するものとなることを想到する。具体的には、そのようなエンティティは、個人情報データを秘密として厳重に保守するための、業界又は政府の要件を満たしているか又は上回るものとして一般に認識されている、プライバシーのポリシー及び慣行を実施し、一貫して使用するべきである。そのようなポリシーは、ユーザによって容易にアクセス可能とするべきであり、データの収集及び／又は使用が変化するにつれて更新されるべきである。ユーザからの個人情報は、そのエンティティの合法的かつ正当な使用のために収集されるべきであり、それらの合法的使用を除いては、共有又は販売されるべきではない。更には、そのような収集／共有は、ユーザに告知して同意を得た後に実施されるべきである。更には、そのようなエンティティは、そのような個人情報データへのアクセスを保護して安全化し、その個人情報データへのアクセスを有する他者が、それらのプライバシーポリシー及び手順を遵守することを保証するための、あらゆる必要な措置を講じることを考慮するべきである。更には、そのようなエンティティは、広く受け入れられているプライバシーのポリシー及び慣行に対する自身の遵守を証明するために、第三者による評価を自らが受けることができる。更には、ポリシー及び慣行は、収集及び／又はアクセスされる具体的な個人情報データのタイプに適合されるべきであり、また、管轄権固有の考慮事項を含めた、適用可能な法令及び規格に適合されるべきである。例えば、アメリカ合衆国では、特定の健康データの収集又はアクセスは、医療保険の相互運用性と説明責任に関する法律（Health Insurance Portability and Accountability Act、ＨＩＰＡＡ）などの、連邦法及び／又は州法によって管理することができ、その一方で、他国における健康データは、他の規制及びポリシーの対象となり得るものであり、それに従って対処されるべきである。それゆえ、各国の異なる個人データのタイプに関して、異なるプライバシー慣行が保たれるべきである。 The present disclosure contemplates that entities involved in the collection, analysis, disclosure, transmission, storage, or other use of such personal information data will adhere to robust privacy policies and/or practices. Specifically, such entities implement privacy policies and practices that are generally recognized as meeting or exceeding industry or governmental requirements to keep personal data confidential and strictly maintained. and should be used consistently. Such policies should be readily accessible by users and should be updated as data collection and/or use changes. Personal information from users should be collected for the entity's lawful and legitimate use and should not be shared or sold except for those lawful uses. Moreover, such collection/sharing should be done after informing and obtaining consent from the user. In addition, such entities protect and secure access to such Personal Data and ensure that others who have access to that Personal Data comply with their privacy policies and procedures. should consider taking all necessary steps to Further, such entities may themselves be evaluated by third parties to certify their adherence to widely accepted privacy policies and practices. In addition, policies and practices should be adapted to the specific types of personal information data collected and/or accessed and comply with applicable laws and standards, including jurisdiction-specific considerations. should be adapted. For example, in the United States, collection or access to certain health data may be governed by federal and/or state laws, such as the Health Insurance Portability and Accountability Act (HIPAA). However, health data in other countries may be subject to other regulations and policies and should be dealt with accordingly. Different privacy practices should therefore be maintained for different types of personal data in each country.
前述のことがらにも関わらず、本開示はまた、個人情報データの使用又は個人情報データへのアクセスを、ユーザが選択的に阻止する実施形態も想到する。すなわち、本開示は、そのような個人情報データへのアクセスを防止又は阻止するように、ハードウェア要素及び／又はソフトウェア要素を提供することができると想到する。例えば、ユーザから音声入力を受信する場合、本技術は、ユーザが、サービスの登録中又はその後のいつでも、個人情報データの収集への参加の「オプトイン」又は「オプトアウト」を選択できるように構成され得る。別の例では、ユーザは、表示されている示唆に基づいて音声メッセージとして送信される音声入力を提供しないことを選択することができる。更に別の例では、ユーザは、表示されている示唆に基づいて、音声入力に対応する音声メッセージのコンテンツを制限するように選択することができる。「オプトイン」及び「オプトアウト」の選択肢を提供することに加えて、本開示は、個人情報のアクセス又は使用に関する通知を提供することを想到する。例えば、ユーザの個人情報データにアクセスすることとなるアプリのダウンロード時にユーザに通知され、その後、個人情報データがアプリによってアクセスされる直前に再びユーザに注意してもよい。 Notwithstanding the foregoing, the present disclosure also contemplates embodiments in which a user selectively prevents use of or access to personal information data. That is, the present disclosure contemplates that hardware and/or software elements may be provided to prevent or block access to such personal information data. For example, when receiving voice input from a user, the technology is configured to allow the user to choose to "opt-in" or "opt-out" of participation in the collection of personal information data during registration for the service or at any time thereafter. can be In another example, the user may choose not to provide voice input that is sent as a voice message based on the displayed suggestions. In yet another example, the user may choose to limit the content of the voice message corresponding to the voice input based on the displayed suggestions. In addition to providing "opt-in" and "opt-out" options, this disclosure contemplates providing notice regarding access or use of personal information. For example, the user may be notified upon download of an app that will access the user's personal data, and then reminded again just before the personal data is accessed by the app.
更には、本開示の意図は、個人情報データを、非意図的若しくは無許可アクセス又は使用の危険性を最小限に抑える方法で、管理及び処理するべきであるという点である。データの収集を制限し、データがもはや必要とされなくなった時点で削除することによって、危険性を最小限に抑えることができる。更には、適用可能な場合、特定の健康関連アプリケーションにおいて、ユーザのプライバシーを保護するために、データの非特定化を使用することができる。非特定化は、適切な場合には、特定の識別子（例えば、生年月日など）を除去すること、記憶されたデータの量又は特異性を制御すること（例えば、位置データを住所レベルよりも都市レベルで収集すること）、データがどのように記憶されるかを制御すること（例えば、データをユーザ全体にわたって情報集約すること）及び／又は他の方法によって、容易にすることができる。 Furthermore, it is the intent of this disclosure that personal information data should be managed and processed in a manner that minimizes the risk of unintentional or unauthorized access or use. Risks can be minimized by limiting data collection and deleting data when it is no longer needed. Additionally, where applicable, data de-identification can be used to protect user privacy in certain health-related applications. De-identification may include, where appropriate, removing certain identifiers (e.g. date of birth, etc.), controlling the amount or specificity of data stored (e.g. location data rather than address level). city level), controlling how data is stored (eg, aggregating data across users), and/or in other ways.
それゆえ、本開示は、１つ以上の様々な開示された実施形態を実施するための、個人情報データの使用を広範に網羅するものではあるが、本開示はまた、そのような個人情報データにアクセスすることを必要とせずに、それらの様々な実施形態を実施することもまた可能であることを想到している。すなわち、本技術の様々な実施形態は、そのような個人情報データの全て又は一部分が欠如することにより、実施不可能となるものではない。例えば、視覚的な指示は、ユーザに関連付けられたデバイスによりリクエストされたコンテンツ、音声メッセージ送信サービスで使用可能な他の非個人情報、若しくは公的に使用可能な情報などの、非個人情報データ又は個人情報の最小限の量のみに基づいて、ユーザに表示することができる。 Thus, while this disclosure broadly covers the use of personal information data to implement one or more of the various disclosed embodiments, this disclosure also covers the use of such personal information data. It is contemplated that it is also possible to implement the various embodiments without requiring access to the . That is, various embodiments of the present technology are not rendered inoperable by the lack of all or part of such personal information data. For example, visual instructions may be non-personal data or information, such as content requested by a device associated with a user, other non-personal information available for voice messaging services, or publicly available information. Only a minimal amount of personal information can be displayed to the user.
Claims (18)
ディスプレイ生成構成要素と通信するコンピュータシステムにおいて、
前記ディスプレイ生成構成要素を介して、
第１の選択可能なユーザインタフェースオブジェクト対象であって、前記第１の選択可能なユーザインタフェースオブジェクト対象の選択が、１組の外部デバイスによって出力されるべき第１の音声メッセージを記録し、送信するためのプロセスを開始するものであって、前記１組の外部デバイスは、１つ以上の外部デバイスの第１の１組及び１つ以上の外部デバイスの第２の１組を含む、第１の選択可能なユーザインタフェースオブジェクト対象と、
第１の外部アクセサリデバイスに対応する第１のアクセサリ制御ユーザインタフェースオブジェクト対象であって、前記第１のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、前記第１の外部アクセサリデバイスの状態を変更する命令を送信するプロセスを開始する、第１のアクセサリ制御ユーザインタフェースオブジェクト対象とを含む、第１のユーザインタフェースを表示することと、
前記第１のユーザインタフェースを表示している間に、第２のユーザインタフェースを表示する要求に対応する入力を受信することと、
前記第２のユーザインタフェースを表示する前記要求を受信することに応答して、前記第２のユーザインタフェースを表示することであって、前記第２のユーザインタフェースが、
第２の選択可能なユーザインタフェースオブジェクト対象であって、前記第２の選択可能なユーザインタフェースオブジェクト対象の選択が、１つ以上の外部デバイスの前記第１の１組によって出力されるべき第２の音声メッセージを送信することなく、１つ以上の外部デバイスの前記第２の１組によって出力されるべき前記第２の音声メッセージを記録し、送信するためのプロセスを開始する、第２の選択可能なユーザインタフェースオブジェクト対象と、
第２の外部アクセサリデバイスに対応する第２のアクセサリ制御ユーザインタフェースオブジェクト対象であって、前記第２のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、前記第２の外部アクセサリデバイスの状態を変更する命令を送信するプロセスを開始する、第２のアクセサリ制御ユーザインタフェースオブジェクト対象とを含む、第２のユーザインタフェースを表示することと、
を含む、方法。 a method,
In a computer system in communication with a display generation component,
Via said display generation component,
A first selectable user interface object object, wherein selection of said first selectable user interface object object records and transmits a first audio message to be output by a set of external devices. wherein the set of external devices includes a first set of one or more external devices and a second set of one or more external devices a selectable user interface object target;
A first accessory control user interface object target corresponding to a first external accessory device, wherein selection of said first accessory control user interface object target causes instructions to change the state of said first external accessory device. displaying a first user interface including a first accessory control user interface object object that initiates the sending process;
receiving input corresponding to a request to display a second user interface while displaying the first user interface;
displaying the second user interface in response to receiving the request to display the second user interface, the second user interface comprising:
a second selectable user interface object target, wherein a selection of said second selectable user interface object target is to be output by said first set of one or more external devices; a second selectable to initiate a process for recording and transmitting said second voice message to be output by said second set of one or more external devices without transmitting a voice message; user interface object targets, and
a second accessory control user interface object target corresponding to a second external accessory device, wherein selection of said second accessory control user interface object target causes instructions to change the state of said second external accessory device; displaying a second user interface including a second accessory control user interface object object that initiates the sending process;
A method, including
前記第１のユーザインタフェースは、第３の外部アクセサリデバイスに対応する第３のアクセサリ制御ユーザインタフェースオブジェクト対象を含むものであって、前記第３のアクセサリ制御ユーザインタフェースオブジェクト対象の選択が、前記第３の外部アクセサリデバイスの状態を変更する命令を送信するプロセスを開始させ、
前記第３の外部アクセサリデバイスは、前記１組の外部デバイスに含まれず、前記第１の選択可能なユーザインタフェースオブジェクト対象の選択は、前記第３の外部アクセサリデバイスによって出力されるべき前記第１の音声メッセージを送信するプロセスを開始しない、
請求項１から３のいずれか一項に記載の方法。 said first external accessory device being included in said set of external devices;
The first user interface includes a third accessory control user interface object target corresponding to a third external accessory device, wherein selection of the third accessory control user interface object target corresponds to the third start a process that sends commands to change the state of external accessory devices in
The third external accessory device is not included in the set of external devices, and the selection of the first selectable user interface object target is the first external accessory device to be output by the third external accessory device. do not start the process of sending voice messages,
4. A method according to any one of claims 1-3.
１つ以上の外部デバイスの前記第２の１組によって出力されるべき音声メッセージを送信することを無効にする前記入力を受信することに応答して、前記第１の選択可能なユーザインタフェースオブジェクト対象の選択を介して、及び前記第２の選択可能なユーザインタフェースオブジェクト対象の選択を介して、１つ以上の外部デバイスの前記第２の１組によって出力されるべき音声メッセージを送信することを無効にすることと、
を更に含む、請求項１から１０のいずれか一項に記載の方法。 receiving input to disable sending voice messages to be output by the second set of one or more external devices after displaying the second user interface;
said first selectable user interface object target in response to receiving said input to disable sending voice messages to be output by said second set of one or more external devices. and via selection of said second selectable user interface object subject to disabling transmission of voice messages to be output by said second set of one or more external devices. and
11. The method of any one of claims 1-10, further comprising:
前記コンピュータシステムと通信するマイクロフォンにおいて、デジタルアシスタントの自然言語要求を含むオーディオ入力を受信することであって、前記オーディオ入力が、
音声メッセージを送信するプロセスを開始する命令と、
場所識別子と、
音声メッセージとを含む、受信することと、
前記場所識別子が前記トップレベルの場所に対応するとの判定に従って、
１つ以上の外部デバイスの前記第１の１組及び１つ以上の外部デバイスの前記第２の１組を含む、１つ以上の外部デバイスの前記１組での再生のために、外部デバイスの前記１組の任意のデバイスとの全二重音声通信チャネルを確立することなく、前記音声メッセージを送信することと、
前記場所識別子が前記サブ場所に対応するとの判定に従って、
１つ以上の外部デバイスの前記第２の１組で再生し、１つ以上の外部デバイスの前記第１の１組で再生しないために、外部デバイスの前記１組の任意のデバイスとの全二重音声通信チャネルを確立することなく、前記音声メッセージを送信することと、
を更に含む、請求項１から１１のいずれか一項に記載の方法。 the first user interface corresponds to a top-level location, the second user interface corresponds to a sub-location of the top-level location;
receiving, at a microphone in communication with the computer system, audio input comprising natural language requests of a digital assistant, the audio input comprising:
instructions for initiating a process of sending a voice message;
a location identifier;
receiving, including voice messages;
According to determining that the location identifier corresponds to the top-level location,
for playback on said set of one or more external devices, including said first set of one or more external devices and said second set of one or more external devices; sending the voice message without establishing a full-duplex voice communication channel with any device of the set;
According to determining that the location identifier corresponds to the sub-location,
to play on said second set of one or more external devices and not play on said first set of one or more external devices; transmitting the voice message without establishing a voice communication channel;
12. The method of any one of claims 1-11, further comprising:
更なるユーザ入力なしで、新しい音声メッセージの前記記録を開始することと、
記録されている音声の１つ以上の動的示唆を含む記録ユーザインタフェースを表示することと、
を含む、請求項１から１２のいずれか一項に記載の方法。 initiating respective processes for recording and transmitting respective voice messages to be output by the set of external devices;
starting said recording of a new voice message without further user input;
displaying a recording user interface including one or more dynamic suggestions of recorded speech;
13. A method according to any one of claims 1 to 12, comprising
前記マイクロフォンを介して、第２のオーディオ入力を受信することと、
前記第１の音声メッセージを前記１組の外部デバイスに送信することであって、前記第１の音声メッセージは前記第２のオーディオ入力に基づく、送信することと、
を含む、請求項１から１３のいずれか一項に記載の方法。 said computer system communicating with one or more input devices including a microphone, said process for recording and transmitting said first voice message to be output by said set of external devices; ,
receiving a second audio input via the microphone;
sending said first voice message to said set of external devices, said first voice message being based on said second audio input;
14. A method according to any one of claims 1 to 13, comprising
前記メモリに格納された前記コンピュータプログラムを実行可能な１つ以上のプロセッサとを備えるコンピュータシステム。 a memory storing the computer program according to claim 16 ;
and one or more processors capable of executing said computer programs stored in said memory.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023028786A JP2023088908A (en) | 2020-05-11 | 2023-02-27 | User interface for audio message |
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202063023225P | 2020-05-11 | 2020-05-11 | |
| US63/023,225 | 2020-05-11 | ||
| US202063041979P | 2020-06-21 | 2020-06-21 | |
| US63/041,979 | 2020-06-21 | ||
| DKPA202070617A DK202070617A1 (en) | 2020-05-11 | 2020-09-22 | User interface for audio message |
| DKPA202070617 | 2020-09-22 | ||
| JP2020159840A JP7121780B2 (en) | 2020-05-11 | 2020-09-24 | User interface for voice messages |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020159840A Division JP7121780B2 (en) | 2020-05-11 | 2020-09-24 | User interface for voice messages |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023028786A Division JP2023088908A (en) | 2020-05-11 | 2023-02-27 | User interface for audio message |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022180346A JP2022180346A (en) | 2022-12-06 |
| JP7236585B2 true JP7236585B2 (en) | 2023-03-09 |
Family
ID=78511629
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020159840A Active JP7121780B2 (en) | 2020-05-11 | 2020-09-24 | User interface for voice messages |
| JP2022125792A Active JP7236585B2 (en) | 2020-05-11 | 2022-08-05 | User interface for voice messages |
| JP2023028786A Pending JP2023088908A (en) | 2020-05-11 | 2023-02-27 | User interface for audio message |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020159840A Active JP7121780B2 (en) | 2020-05-11 | 2020-09-24 | User interface for voice messages |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023028786A Pending JP2023088908A (en) | 2020-05-11 | 2023-02-27 | User interface for audio message |
Country Status (3)
| Country | Link |
|---|---|
| JP (3) | JP7121780B2 (en) |
| KR (4) | KR102426564B1 (en) |
| AU (3) | AU2020239711C1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008099330A (en) | 2007-12-18 | 2008-04-24 | Sony Corp | Information processor, and portable telephone set |
| JP2014170982A (en) | 2013-03-01 | 2014-09-18 | J-Wave I Inc | Message transmission program, message transmission device, and message distribution system |
| US20170357425A1 (en) | 2016-06-12 | 2017-12-14 | Apple Inc. | Generating Scenes Based On Accessory State |
| JP2018007158A (en) | 2016-07-06 | 2018-01-11 | パナソニックＩｐマネジメント株式会社 | Display control system, display control method, and display control program |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7571014B1 (en) * | 2004-04-01 | 2009-08-04 | Sonos, Inc. | Method and apparatus for controlling multimedia players in a multi-zone system |
| JP2014071835A (en) * | 2012-10-01 | 2014-04-21 | Fujitsu Ltd | Electronic apparatus and processing control method |
| JP2014087126A (en) * | 2012-10-22 | 2014-05-12 | Sharp Corp | Power management device, method for controlling power management device, and control program for power management device |
| US10180776B2 (en) * | 2013-10-01 | 2019-01-15 | Ambient Consulting, LLC | Image grouping with audio commentaries system and method |
| US9888207B2 (en) * | 2014-03-17 | 2018-02-06 | Microsoft Technology Licensing, Llc | Automatic camera selection |
| US9537811B2 (en) * | 2014-10-02 | 2017-01-03 | Snap Inc. | Ephemeral gallery of ephemeral messages |
| DK179925B1 (en) * | 2016-06-12 | 2019-10-09 | Apple Inc. | User interface for managing controllable external devices |
| CN109688442B (en) | 2017-05-16 | 2021-06-04 | 苹果公司 | Method and interface for home media control |
| DK179560B1 (en) * | 2017-05-16 | 2019-02-18 | Apple Inc. | Far-field extension for digital assistant services |
| CN111052868B (en) * | 2017-06-15 | 2022-08-30 | 路创技术有限责任公司 | Communicating with and controlling a load control system |
| EP3583770B1 (en) * | 2018-05-07 | 2020-10-28 | Google LLC | Providing composite graphical assistant interfaces for controlling various connected devices |
-
2020
- 2020-09-24 JP JP2020159840A patent/JP7121780B2/en active Active
- 2020-09-24 AU AU2020239711A patent/AU2020239711C1/en active Active
- 2020-09-24 KR KR1020200123805A patent/KR102426564B1/en active IP Right Grant
-
2022
- 2022-03-04 AU AU2022201532A patent/AU2022201532B2/en active Active
- 2022-07-25 KR KR1020220091730A patent/KR102486885B1/en active IP Right Grant
- 2022-08-05 JP JP2022125792A patent/JP7236585B2/en active Active
-
2023
- 2023-01-05 KR KR1020230001668A patent/KR102698924B1/en active IP Right Grant
- 2023-02-27 JP JP2023028786A patent/JP2023088908A/en active Pending
- 2023-07-07 AU AU2023204396A patent/AU2023204396B2/en active Active
-
2024
- 2024-08-21 KR KR1020240112016A patent/KR20240132416A/en active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008099330A (en) | 2007-12-18 | 2008-04-24 | Sony Corp | Information processor, and portable telephone set |
| JP2014170982A (en) | 2013-03-01 | 2014-09-18 | J-Wave I Inc | Message transmission program, message transmission device, and message distribution system |
| US20170357425A1 (en) | 2016-06-12 | 2017-12-14 | Apple Inc. | Generating Scenes Based On Accessory State |
| JP2018007158A (en) | 2016-07-06 | 2018-01-11 | パナソニックＩｐマネジメント株式会社 | Display control system, display control method, and display control program |
Also Published As
| Publication number | Publication date |
|---|---|
| AU2023204396A1 (en) | 2023-08-03 |
| AU2022201532A1 (en) | 2022-03-24 |
| KR102486885B1 (en) | 2023-01-11 |
| AU2022201532B2 (en) | 2023-06-01 |
| JP2021179948A (en) | 2021-11-18 |
| AU2023204396B2 (en) | 2024-05-02 |
| AU2020239711C1 (en) | 2022-03-31 |
| KR20230011455A (en) | 2023-01-20 |
| KR20220110459A (en) | 2022-08-08 |
| KR102426564B1 (en) | 2022-07-29 |
| KR102698924B1 (en) | 2024-08-27 |
| AU2020239711A1 (en) | 2021-11-25 |
| KR20210137873A (en) | 2021-11-18 |
| KR20240132416A (en) | 2024-09-03 |
| AU2020239711B2 (en) | 2022-01-06 |
| JP2022180346A (en) | 2022-12-06 |
| JP7121780B2 (en) | 2022-08-18 |
| JP2023088908A (en) | 2023-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11513667B2 (en) | User interface for audio message | |
| US20220004356A1 (en) | User interface for audio message | |
| JP7126034B1 (en) | User interface for audio media control | |
| JP7231767B2 (en) | User interface for managing controllable external devices | |
| EP3959590B1 (en) | User interface for accessory control | |
| JP7236585B2 (en) | User interface for voice messages | |
| CN117957518A (en) | Media control user interface |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221005 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221005 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221111 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20221111 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230127 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230227 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7236585 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |