Nothing Special   »   [go: up one dir, main page]

CN117121478A - 包括多个相机的可穿戴电子装置 - Google Patents

包括多个相机的可穿戴电子装置 Download PDF

Info

Publication number
CN117121478A
CN117121478A CN202280026812.6A CN202280026812A CN117121478A CN 117121478 A CN117121478 A CN 117121478A CN 202280026812 A CN202280026812 A CN 202280026812A CN 117121478 A CN117121478 A CN 117121478A
Authority
CN
China
Prior art keywords
camera
interest
information
electronic device
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280026812.6A
Other languages
English (en)
Inventor
曹圭亨
宋俊荣
全真阿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210046436A external-priority patent/KR20220140221A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN117121478A publication Critical patent/CN117121478A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

根据本文件中公开的各个实施例的电子装置可以包括：框架；由框架支撑的窗口构件；用于向窗口构件输出视觉信息的显示器；第一相机，其具有第一分辨率且布置在框架中以拍摄框架的前方；第二相机，其具有不同于第一分辨率的第二分辨率且布置在框架的两侧以拍摄框架的前方；处理器，其可操作地连接到第一相机和第二相机。其中，处理器可以：以预设帧速率操作第二相机来获取用户身体的运动信息和前方图像信息；利用运动信息确认包括由用户身体指示的感兴趣对象的位置和大小的识别信息；基于识别信息确定包括感兴趣对象的拍摄区域；操作第一相机以获取关于感兴趣区域的感兴趣图像信息；利用感兴趣图像信息获取关于感兴趣对象的信息；以及利用显示器显示关于感兴趣对象的信息。各种其他实施例是可能的。

Description

包括多个相机的可穿戴电子装置
技术领域
本公开涉及一种包括多个相机的可穿戴电子装置。
背景技术
增强现实(AR)可以指通过将经过计算机图形处理生成的元素添加到现实中来呈现用户所识别的现实的一种技术。例如，现实中存在的对象可以通过使用AR技术在该对象上添加一个包含该对象的相关信息的虚拟对象来进行显示。
AR可以通过各种装置来实现。代表性地，AR可以通过可穿戴电子装置来实现，例如眼镜型可穿戴电子装置或头戴式显示器(HMD)。
为了在可穿戴电子装置的眼镜型可穿戴电子装置中实现AR，可以在眼镜的镜片上显示图像。通过将光投射到眼镜的镜片上，可以在眼镜的镜片上显示图像。例如，可以使用大小非常小的投影仪(例如，微型投影仪或迷你投影仪)。这种投影仪的示例可以包括激光扫描显示器(LSD)、数字微镜显示器(DMD)和硅上液晶(LCoS)。此外，可以通过使用透明显示器在镜片上显示图像。
发明内容
技术问题
为了实现AR，电子装置中可以包括多个相机。例如，电子装置中可以包括诸如用于拍摄前方的相机、用于跟踪特定对象的运动的相机、以及用于拍摄用户眼睛的相机的各种相机。这些相机可以依据在电子装置中执行的功能或角色被设置在不同的位置，并且其性能也可以不同。
在AR环境中，可以确定用户感兴趣的目标，并且可以显示关于目标的信息。为了实现这样的功能，必须获取用户感兴趣的目标的图像。通过使用各种方法分析所获取的图像，可以获取关于目标的各种信息。
图像的分析质量可以至少部分地由与原始数据相对应的图像的质量来确定。如果使用了具有良好质量的图像，则更平滑的图像分析是可能的。为了获取具有高质量的图像，通过高性能相机进行拍摄可能是必要的。
然而，操作这种高性能相机的过程中功耗可能很大。特别地，在大容量电池的部署有限并且其小大小是非常重要的可穿戴装置中，具有大功耗的电子部件的实时操作可能是负担。
本公开的各方面旨在至少解决上述问题和/或缺点，并至少提供下述优点。因此，本公开的一个方面是提供一种电子装置，该电子装置能够在获取具有高质量图像的同时降低归因于高性能相机的操作的功耗。
问题的解决方案
根据本公开的一个方面，提供了一种电子装置。该电子装置包括：框架；窗口构件，所述窗口构件由所述框架支撑；显示模块，所述显示模块向所述窗口构件输出视觉信息；第一相机，所述第一相机具有第一分辨率、设置在所述框架中并拍摄所述框架的前方；第二相机，所述第二相机具有不同于所述第一分辨率的第二分辨率、分别设置在所述框架的两侧并拍摄所述框架的前方；以及处理器，所述处理器可操作地联接到所述第一相机和所述第二相机。所述处理器：可以以预设帧速率操作第二相机来获取用户身体的运动信息和前方图像信息；可以基于所述运动信息确认包括由所述用户的身体指示的感兴趣对象的位置和大小的识别信息；可以基于所述识别信息来确认包括所述感兴趣对象的拍摄区域；可以通过操作所述第一相机来获取所述拍摄区域的感兴趣图像信息；可以基于所述感兴趣图像信息来获取关于所述感兴趣对象的信息；以及可以通过使用所述显示模块来显示关于所述感兴趣对象的所述信息。
根据本公开的另一个方面，提供了一种电子装置。该电子装置包括：框架；由所述框架支撑的窗口构件；向所述窗口构件输出视觉信息的显示模块；第一相机，所述第一相机具有第一分辨率、设置在所述框架中并拍摄所述框架的前方；第二相机，所述第二相机具有与所述第一分辨率不同的第二分辨率、设置在所述框架中的与所述第一相机的位置不同的位置处并拍摄所述框架的前方；以及处理器，所述处理器可操作地联接到所述第一相机和所述第二相机。所述处理器：可以以像素合并模式控制所述第一相机，在该模式中所述第一相机的输出分辨率被改变为不同于所述第一分辨率的分辨率；可以通过以预设帧速率在像素合并模式下操作第二相机和第一相机来获取用户身体的运动信息和前方图像信息；可以基于所述运动信息确认包括由用户身体指示的感兴趣对象的位置和大小的识别信息；可以基于所述识别信息确认包括感兴趣对象的拍摄区域；可以通过在基本模式下操作第一相机来获取所述拍摄区域的感兴趣图像信息，在所述基本模式中所述第一相机的输出分辨率回到所述第一分辨率；可以基于感兴趣图像信息来获取关于所述感兴趣对象的信息；以及可以通过使用显示模块来显示关于所述感兴趣对象的所述信息。
发明的有益效果
根据本文件中公开的各个实施例，由于使用具有高质量的图像来进行图像分析，因此可以更准确地获取关于用户感兴趣的目标的信息。此外，在获取用于图像分析的具有高质量的图像时，可以减少高性能相机的操作的功耗。
附图说明
通过结合附图进行以下描述，本公开的某些实施例的上述和其他方面的特征和优点将更加明显，其中：
图1是根据本公开的实施例的网络环境内的电子装置的框图。
图2是根据本公开的实施例的包括多个相机的电子装置的总体构造图。
图3a是根据本公开的实施例的本文件中公开的电子装置的图。
图3b是根据本公开的实施例的在图3a中的-Y方向上观察的图3a中所示出的电子装置的图。
图4是根据本公开的实施例的用于描述确认用户瞳孔的运动的方法的图。
图5是示出根据本公开的实施例的显示关于感兴趣对象的信息的操作的流程图。
图6a、图6b和图6c是根据本公开的各个实施例的用于描述基于身体的运动来确认拍摄区域的操作的图。
图7a、图7b、图7c和图7d是根据本公开的各个实施例的用于描述基于瞳孔的运动来确认拍摄区域的操作的图。
图8是根据本公开的实施例的施加到相机的控制信号的图。
图9a是根据本公开的实施例的电子装置的立体图。
图9b是根据本公开的实施例的用于描述第一相机的像素合并模式的图。
图10是根据本公开的实施例的显示感兴趣对象的信息的操作的流程图。
图11是根据本公开的实施例的用于描述由第一相机生成所确认的拍摄区域的感兴趣图像信息的方法之一的图。
具体实施方式
应该理解的是，本公开的各个实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。
对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。
如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
图1是示出根据各个实施例的网络环境100中的电子装置101的框图。参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108中的至少一个进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入模块150、声音输出模块155、显示模块160、音频模块170、传感器模块176、接口177、连接端178、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可从电子装置101中省略上述部件中的至少一个(例如，连接端178)，或者可将一个或更多个其它部件添加到电子装置101中。在一些实施例中，可将上述部件中的一些部件(例如，传感器模块176、相机模块180或天线模块197)实现为单个集成部件(例如，显示模块160)。
处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据存储到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))或者与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、神经处理单元(NPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。例如，当电子装置101包括主处理器121和辅助处理器123时，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为专用于特定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123(而非主处理器121)可控制与电子装置101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。根据实施例，辅助处理器123(例如，神经处理单元)可包括专用于人工智能模型处理的硬件结构。可通过机器学习来生成人工智能模型。例如，可通过人工智能被执行之处的电子装置101或经由单独的服务器(例如，服务器108)来执行这样的学习。学习算法可包括但不限于例如监督学习、无监督学习、半监督学习或强化学习。人工智能模型可包括多个人工神经网络层。人工神经网络可以是深度神经网络(DNN)、卷积神经网络(CNN)、循环神经网络(RNN)、受限玻尔兹曼机(RBM)、深度置信度网络(DBN)、双向循环深度神经网(BRDNN)或深度Q网络或其两个或更多个的组合，但不限于此。另外地或可选地，人工智能模型可包括除了硬件结构以外的软件结构。
存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。非易失性存储器134可以包括至少一个内部存储器136和外部存储器138。
可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入模块150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它部件(例如，处理器120)使用的命令或数据。输入模块150可包括例如麦克风、鼠标、键盘、键(例如，按钮)或数字笔(例如，手写笔)。
声音输出模块155可将声音信号输出到电子装置101的外部。声音输出模块155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的。接收器可用于接收呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示模块160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示模块160可包括被适配为检测触摸的触摸传感器或被适配为测量由触摸引起的力的强度的压力传感器。
音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入模块150获得声音，或者经由声音输出模块155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如传统蜂窝网络、5G网络、下一代通信网络、互联网或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
无线通信模块192可支持在4G网络之后的5G网络以及下一代通信技术(例如新无线电(NR)接入技术)。NR接入技术可支持增强型移动宽带(eMBB)、大规模机器类型通信(mMTC)或超可靠低延时通信(URLLC)。无线通信模块192可支持高频带(例如，毫米波带)以实现例如高数据传输速率。无线通信模块192可支持用于确保高频带上的性能的各种技术，诸如例如波束成形、大规模多输入多输出(大规模MIMO)、全维MIMO(FD-MIMO)、阵列天线、模拟波束成形或大规模天线。无线通信模块192可支持在电子装置101、外部电子装置(例如，电子装置104)或网络系统(例如，第二网络199)中指定的各种要求。根据实施例，无线通信模块192可支持用于实现eMBB的峰值数据速率(例如，20Gbps或更大)、用于实现mMTC的丢失覆盖(例如，164dB或更小)或者用于实现URLLC的U平面延迟(例如，对于下行链路(DL)和上行链路(UL)中的每一个为0.5ms或更小，或者1ms或更小的往返)。
天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，印刷电路板(PCB))中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块197可包括多个天线(例如，阵列天线)。在这种情况下，可由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(RFIC))可附加地形成为天线模块197的一部分。
根据各个实施例，天线模块197可形成毫米波天线模块。根据实施例，毫米波天线模块可包括印刷电路板、射频集成电路(RFIC)和多个天线(例如，阵列天线)，其中，RFIC设置在印刷电路板的第一表面(例如，底表面)上，或与第一表面相邻并且能够支持指定的高频带(例如，毫米波带)，所述多个天线设置在印刷电路板的第二表面(例如，顶部表面或侧表面)上，或与第二表面相邻并且能够发送或接收指定高频带的信号。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102或电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术、移动边缘计算(MEC)技术或客户机-服务器计算技术。电子装置101可使用例如分布式计算或移动边缘计算来提供超低延迟服务。在另一实施例中，外部电子装置104可包括物联网(IoT)装置。服务器108可以是使用机器学习和/或神经网络的智能服务器。根据实施例，外部电子装置104或服务器108可被包括在第二网络199中。电子装置101可应用于基于5G通信技术或IoT相关技术的智能服务(例如，智能家居、智能城市、智能汽车或医疗保健)。
图2是根据本公开的实施例的包括多个相机的电子装置(例如，图1中的电子装置)的总体构造图。
在各个实施例中，电子装置200可以是以佩戴在用户的头部的形式制造的电子装置200。例如，电子装置200可以被配置为以下至少一种形式：例如眼镜、护目镜、头盔或帽子，但是本公开不限于此。根据实施例，电子装置200可以包括与用户的双眼(例如，左眼和/或右眼)相对应的多个眼镜(例如，第一眼镜220和/或第二眼镜230)。
电子装置200可以向用户提供与增强现实(AR)服务相关的图像。根据实施例，电子装置200可以通过在第一眼镜220和/或第二眼镜230上投影或显示虚拟对象，使用户能够观看交叠了通过电子装置的第一眼镜220和/或第二眼镜230识别出的现实的至少一个虚拟对象。
参考图2，根据实施例的电子装置200可以包括主体部分223、支撑件(例如，第一支撑件221和第二支撑件222)和铰链部分(例如，第一铰链部分240-1和第二铰链部分240-2)。
根据各个实施例，主体部分223和支撑件221和222可以通过铰链部分240-1和240-2可操作地联接。主体部分223可以包括形成为至少部分地承托在用户的鼻子上的部分。
根据各个实施例，支撑件221、222可包括具有悬挂在用户的耳朵上的形式的支撑件。支撑件221、222可以包括承托在左耳上的第一支撑件221和/或承托在右耳上的第二支撑件222。
根据各个实施例，第一铰链部分240-1可以连接第一支撑件221和主体部分223，使得第一支撑件221围绕主体部分223可旋转。第二铰链部分240-2可以连接第二支撑件222和主体部分223，使得第二支撑件222围绕主体部分223可旋转。根据另一实施例，可以省略电子装置200的铰链部分240-1和240-2。例如，主体部分223和支撑件221和222可以直接连接到主体部分223。
根据各个实施例，主体部分223可以包括至少一个眼镜(例如，第一眼镜220或第二眼镜230)、至少一个显示器(例如，第一显示器214-1或第二显示器214-2)、至少一个相机(例如，前置拍摄相机213)、眼睛追踪相机模块(例如，第一眼睛追踪相机模块212-1和第二眼睛追踪相机模块212-2)、手势相机模块(例如，第一手势相机211-1和第二手势相机211-2)，以及至少一个麦克风(例如，第一麦克风241-1或第二麦克风241-2)。
在参考图2描述的电子装置200的情况下，由显示器214-1、214-2产生的光可以投射到眼镜220、230上，从而显示信息。例如，由第一显示器214-1产生的光可以被投射到第一眼镜220上。由第二显示器214-2产生的光可以被投射到第二眼镜230上。由于能够显示虚拟对象的光被投射到其至少一部分由透明材料制成的眼镜220、230上，因此用户可以识别与虚拟对象交叠的现实。在这种情况下，参考图1描述的显示器160可以被理解为包括图2中所示的电子装置200中的眼镜220、230和显示器214-1、214-2的至少一部分。然而，本公开中描述的电子装置不限于通过上述方法显示信息。可以使用各种方法将包括在电子装置中的显示器改变为包括信息显示方法的显示器。例如，如果包括由透明材料制成的照明LED的显示面板被嵌入到眼镜220、230中，则可以在没有单独的显示器(例如，第一显示器214-1或第二显示器214-2)的情况下显示信息。在这种情况下，参考图1描述的显示器160可以是指眼镜220、230和包括在眼镜中的显示面板。
根据各个实施例，通过显示器214-1、214-2输出的虚拟对象可以包括与在电子装置200中执行的应用程序相关的信息和/或与用户通过眼镜220、230识别并放置在实际空间中的外部对象相关的信息。外部对象可以包括存在于实际空间中的事物。用户通过眼镜220、230识别的实际空间在下文中被称为用户的“视场(FOV)区域”。例如，电子装置200可以在与通过电子装置200的相机(例如，前置拍摄相机213)获取的实际空间相关的图像信息中确认外部对象，该外部对象包括在被确认为用户的FOV区域的至少一部分中。电子装置200可以通过显示器214-1、214-2输出与所确认的外部对象相关的虚拟对象。
根据各个实施例，电子装置200还可以基于与通过电子装置200的前置拍摄相机213获取的实际空间相关的图像信息来显示与AR服务相关的虚拟对象。根据实施例，电子装置200可以通过根据用户的双眼设置的显示器(例如，对应于左眼的第一显示器214-1和/或对应于右眼的第二显示器214-2)来显示虚拟对象。根据实施例，电子装置200可以基于预设的配置信息(例如，分辨率、帧速率、亮度和/或显示区域)来显示虚拟对象。
根据各个实施例，眼镜220、230可以包括聚光透镜(未示出)和/或波导(未示出)。例如，第一波导可以部分地设置在第一眼镜220中，并且第二波导可以部分设置在第二眼镜230中。从显示器214-1、214-2发射的光可以入射在眼镜220、230的一个表面上。入射在眼镜220、230的一个表面上的光可以通过设置在眼镜220和230中的波导传递给用户。波导可以使用玻璃、塑料或聚合物制造，并且可以包括在其内侧或外侧的一个表面上形成的纳米图案。例如，纳米图案可以包括具有多边形或曲面形状的光栅结构。根据实施例，入射在眼镜220、230的一个表面上的光可以通过纳米图案在波导内传播或反射，并传递给用户。根据实施例，波导可以包括以下中的至少一个：至少一个衍射元件(例如，衍射光学元件(DOE)或全息光学元件(HOE))或反射元件(例如，反射镜)。根据实施例，通过使用至少一个衍射元件或反射元件，波导可以将从显示器214-1、214-2发射的光感应到用户的眼睛中。
根据各个实施例，电子装置200可以包括用于捕捉与用户的FOV相对应的图像和/或测量与对象的距离的前置拍摄相机213(例如，RGB相机)、用于确认用户观看的注视方向的眼睛追踪相机模块212-1、212-2和/或用于识别给定空间的手势相机模块211-1、211-2。例如，前置拍摄相机213可以拍摄电子装置200的前方方向。眼睛追踪相机模块212-1、212-2可以拍摄与前置拍摄相机213的拍摄方向相反的方向。例如，第一眼睛追踪相机模块212-1可以部分地拍摄用户的左眼，并且第二眼睛追踪相机模块212-2可以部分地拍摄用户的右眼。根据实施例，前置拍摄相机213可以包括高分辨率相机，例如高分辨率(HR)相机和/或照片视频(PV)相机。根据实施例，眼睛追踪相机模块212-1、212-2可以通过检测用户的瞳孔来跟踪注视的方向。跟踪的注视方向可以用于包括将根据注视方向运动的虚拟对象的虚拟图像的中心。根据实施例，手势相机模块211-1、211-2可以检测用户手势和/或预设距离内的给定空间(例如，给定空间)。手势相机模块211-1、211-2可以包括包含全局快门(GS)的相机。例如，手势相机模块211-1、211-2可以是包括GS的相机，该GS可以具有减少的滚动快门(RS)现象以检测或跟踪精细运动，诸如快速的手部运动和/或手指运动。
根据各个实施例，电子装置200可以通过使用至少一个相机211-1、211-2、212-1、212-2和213来检测左眼和/或右眼中的与注视眼睛和/或辅助眼睛相对应的眼睛。例如，电子装置200可以基于用户相对于外部对象或虚拟对象的凝视方向来检测与注视眼睛和/或辅助眼睛相对应的眼睛。
图2所示的电子装置200中包括的至少一个相机(例如，前置拍摄相机213、眼睛追踪相机模块212-1、212-2和/或手势相机模块211-1、211-2)的数量和位置可以不受限制。例如，至少一个相机(例如，前置拍摄相机213、眼睛追踪相机模块212-1、212-2和/或手势相机模块211-1、211-2)的数量和位置可以基于电子装置200的形状(例如，形式或大小)进行不同的改变。
根据各个实施例，电子装置200可以包括至少一个照明LED(例如，第一照明LED242-1或第二照明LED 242-2)，以用于提高至少一个相机(例如，前置拍摄相机213、眼睛追踪相机模块212-1、212-2和/或手势相机模块211-1、211-2)的准确度。例如，第一照明LED242-1可以设置在与用户的左眼相对应的部分中，第二照明LED 242-2可以设置在与用户的右眼相对应的部分中。在实施例中，当眼睛追踪相机模块212-1、212-2拍摄用户的瞳孔时，照明LED242-1、242-2可以用作提高准确度的辅助装置，并且可以包括用于产生具有红外波长的光的IR LED。此外，当由于在通过手势相机模块211-1、211-2拍摄用户的手势时的黑暗环境或者几个光源和反射光的混合而导致不容易检测到要拍摄的被摄物时，照明LED 242-1、242-2可以用作辅助装置。
根据各个实施例，电子装置101可以包括用于接收用户的语音和周围声音的麦克风(例如，第一麦克风241-1或第二麦克风241-2)。例如，麦克风241-1、241-2可以是包括在图1中的音频模块170中的元件。
根据各个实施例，第一支撑件221和/或第二支撑件222可以包括印刷电路板(PCB)(例如，第一PCB 231-1或第二PCB 231-2)、扬声器(例如，第一扬声器232-1或第二扬声器232-2)和/或电池(例如，第一电池233-1或第三电池233-2)。
根据各个实施例，扬声器232-1和232-2可以包括用于向用户左耳传递音频信号的第一扬声器232-1，以及用于向用户右耳传递音频信号的第二扬声器232-2。扬声器232-1和232-2可以是包括在图1中的音频模块170中的元件。
根据各个实施例，电子装置200可以包括多个电池233-1和233-2，并且可以通过电力管理模块(例如，图1中的电力管理模块188)向PCB 231-1和231-2供电。例如，多个电池233-1和233-2可以电连接到电力管理模块(例如，图1中的电力管理模块188)。
电子装置200已被描述为用于显示AR的装置，但也可以是用于显示虚拟现实(VR)的装置。在这种情况下，眼镜220、230可以由不透明材料制成，使得用户不能通过眼镜220、230识别实际空间。此外，眼镜230可以用作显示器160。例如，眼镜220、230可以包括用于显示信息的显示面板。
图3a是根据本公开的实施例的电子装置的图。图3b是根据本公开的实施例的在图3a中的-Y方向上观察的图3a中所示出的电子装置的图。图4是根据本公开的实施例的用于描述确认用户瞳孔的运动的方法的图。
下文中描述的电子装置300可以是包括了参考图1和图2描述的电子装置101和200中包括的元件中的至少一个元件的电子装置300。尽管在以下描述中未提及，但本文件中公开的电子装置可以被解释为能够包括参考图1和图2描述的各种元件。
根据各个实施例，电子装置300可以包括框架310(例如，图2中的主体部分223)、窗口构件330(例如，在图2中的第一眼镜220和第二眼镜230)、支撑构件320(例如，图2中的第一支撑件221和第二支撑件222)、显示器(未示出)(例如，图1中的显示器160)、第一相机341(例如，图2中的前置拍摄相机213)、第二相机342(例如，图2中的手势相机模块211-1、211-2)、第三相机343(例如，图2中的眼睛追踪相机模块212-1、212-2)、照明单元(未示出)(例如，图2中的照明LED 242-1、242-2)以及处理器(未示出)(例如，图1中的处理器120)。
在这种情况下，第一相机341、第二相机342和第三相机343可以根据各种要素进行分类，例如每个相机的拍摄方向、位置、性能和功能。然而，尽管每个相机的名称不同，但是第一相机341、第二相机342和第三相机343可以被构造为具有相同规格的相机模块。
在实施例中，窗口构件330、支撑构件320和显示器中的每一个可以按照与用户的左眼和右眼相对应的方式制备为一对。例如，窗口构件330可以包括第一窗口构件330-1和第二窗口构件330-2，并且支撑构件320可以包括第一支撑构件320-1和第二支撑构件320-2。在一些情况下，在上述元件中的一些元件中，对应于左眼的构造和对应于右眼的构造可以不同。
在下文中，为了便于描述，电子装置300在附图中被图示为眼镜型电子装置，但是本文件中公开的技术精神可以应用于包括显示器和可以固定在用户头部的包括各种类型的头戴式显示器(HMD)的电子装置。
根据各个实施例，框架310可以支撑窗口构件330。框架310可以由合成树脂材料制成。当窗口构件330插入框架310形成的狭缝中时，框架310可以支撑窗口构件330。
根据各个实施例，支撑构件320可以以可旋转的方式连接到框架310。支撑构件320可以包括第一支撑构件320-1和第二支撑构件320-2。第一支撑构件320-1可以在框架310的左侧(例如，图3a中的-X方向)连接到框架310。第二支撑构件320-2可以在框架310的右侧(例如，图3a中的+X方向)连接到框架310。在实施例中，支撑构件320可以被固定并安装在框架中。例如，连接到框架310的左侧的第一支撑构件320-1和连接到框架310的右侧的第二支撑构件320-2可以形成连接。连接到框架310两侧的支撑构件可以形成环形，并且可以以套在用户头部的方式佩戴。此外，支撑构件320可以改变为各种形式，其中电子装置300可以佩戴在用户的脸上。
根据各个实施例，如图3a所示，支撑构件320可以被形成以悬挂在用户的耳朵上。电子装置300可以以连接到框架310的支撑构件320被悬挂在用户的耳朵上的方式佩戴在用户的脸上。支撑构件320可以围绕框架310旋转。因为支撑构件320沿支撑构件320靠近框架310的方向旋转，所以可以减小电子装置300的体积。
根据各个实施例，窗口构件330可以包括对应于用户左眼的第一窗口构件330-1和对应于用户右眼的第二窗口构件330-2。窗口构件330可以由框架310支撑。例如，窗口构件330可以插入到框架310中形成的狭缝中。由显示器输出的AR图像可以被投影到窗口构件330上。波导(例如，第一波导和/或第二波导)可以形成在窗口构件330的至少一些区域中。波导可以将显示器输出的AR图像感应到用户的眼睛中。关于波导的详细描述，参考图2中与第一眼镜220和第二眼镜230相关的描述。
根据各个实施例，显示器可以输出由处理器生成的AR图像。当显示器生成AR图像并将其投影到窗口构件330上时，包括在AR图像中的对象与通过窗口构件330从前方(例如，图3b中的-Y方向)入射的可见光L组合，从而可以实现AR。显示器可以是具有非常小大小的投影仪(例如，微型投影仪或迷你投影仪)。例如，显示器可以是激光扫描显示器(LSD)、数字微镜显示器(DMD)或硅上液晶显示器(LCoS)。此外，显示器可以是透明显示器。在这种情况下，包括在显示器中的照明LED可以设置在窗口构件330中。此外，显示器可以是用于实现AR的各种显示装置。
根据各个实施例，第一相机341可以以拍摄框架310的前方的方式设置在框架310中。例如，第一相机341可以设置在框架310中，使得框架310的前方包括在由第一相机341支持的FOV内。例如，由第一相机341支持的FOV可以是标准FOV(例如，50mm)或宽FOV(例如，24mm至35mm)，但不限于此。框架310的前方可以是指当用户佩戴电子装置时用户看到的方向。例如，图3a中的-Y方向可以被认为是框架310的前方。在实施例中，第一相机341可以设置在框架310的中心部分。在实施例中，第一相机341可以包括电子快门。为了抑制卷帘快门或果冻效应现象，第一相机341的电子快门可以是全局快门。在实施例中，第一相机341可以包括图像传感器，该图像传感器能够输出比电子装置中包括的另一相机(例如，第二相机342或第三相机343)具有相对更高分辨率的图像。例如，第一相机341可以支持2000像素或更高像素的分辨率(例如，2104x 1560分辨率)，并且第二相机342和第三相机343中的每一个可以支持小于该分辨率(例如，2104x 156分辨率)的分辨率(例如，1280x 960分辨率或320x 240分辨率)，但是本公开不限于此。可替换地，在实施例中，第一相机341的图像传感器的大小可以大于第二相机342和第三相机343中的每一个的图像传感器的大小。可替换地，包括在第一相机341中的透镜的光学性能可以比包括在第二相机342和第三相机343中的每一个中的透镜更好。
根据各个实施例，与第一相机341一样，第二相机342可以以拍摄框架310的前方的方式设置在框架310中，但本公开不限于此。例如，如果由第一相机341支持的FOV的至少一部分和由第二相机342支持的FOV的至少一部分对应于交叠位置，则第二相机的位置不受限制。例如，交叠的FOV可以包括前方(例如，-Y方向)。在实施例中，第二相机342可以被构造成多个，并且可以设置在框架310中的不同位置。例如，如图3a所示，第二相机342可以设置在框架310的两侧(例如，第二相机342-1设置在图3a中的+X方向上，第二相机342-2设置在图3a的-X方向上)。可以基于由布置在不同位置的第二相机342获取的图像之间的景深(DOF)的差异来推断图像中包括的对象的立体形状。此外，基于在不同位置拍摄的图像之间的相位差，可以由各种方法来获取包括在图像中的对象的信息。根据本文件中公开的各个实施例的电子装置可以包括获取对象信息的各种方法，本领域技术人员容易应用这些方法。在实施例中，第二相机342可以被配置为具有接近用户眼睛FOV的FOV。例如，第二相机342可以是在35mm图像传感器(例如，全帧图像传感器)的基础上具有大约50mm的FOV的相机。与第二相机342的规格相关的上述内容仅仅是说明性的，并且可以进行各种修改。
根据各个实施例，第三相机343可以以拍摄框架310的后方的方式设置在框架310中。在这种情况下，后方可以被理解为图3a中的+Y方向。不同于设置为拍摄框架310前方的第一相机341和第二相机342，第三相机343可以设置在可以拍摄框架310的后方的位置。在用户已经佩戴着电子装置的状态下，用户的面部位于框架310的后方。因此，第三相机343可以拍摄用户的面部。第三相机343可以以拍摄用户的左眼球和右眼球的方式包括多个相机343-1和343-2。
在实施例中，第三相机343可以以拍摄用户的眼睛的方式设置在框架310中。参考图3b，第三相机343可以设置在框架310的下侧，使得当第三相机342拍摄用户的眼睛时，不会发生由于用户的眉毛或睫毛引起的干扰。如图3b所示，如果框架310被划分为第一区域310A和第二区域310B，则第三相机343可以设置在框架310的第二区域310B中。框架310的第二区域310B可以是在用户已经佩戴着电子装置300的状态下靠近用户鼻子的区域。例如，如图3b所示，基于跨过框架310的虚拟线L沿第一方向(例如，图3b中的-Z方向)延伸的区域可以被理解为第二区域310B。可替换地，第二区域310B可以被理解为相对于用户注视前方的注视方向设置在下侧的区域。在实施例中，第三相机343可以设置在由用户的身体(例如，鼻子)支撑的安装支撑部分350附近。安装支撑部分350可以包括位于框架310的左侧(例如，图3b的-X方向)的第一安装支撑部分350-1和位于框架310右侧(例如，图3b的+X方向)的第二安装支撑部分350-2。设置在框架310的第二区域310B中的第三相机343可以在用户的眼睛下方拍摄用户的眼睛。框架310的第一区域310A可以指除第二区域310B之外的框架310的剩余区域。例如，如图3b所示，基于跨过框架310的虚拟线L沿第二方向(例如，图3b中的+Z方向)延伸的区域可以被理解为第一区域310A。
在实施例中，第三相机343可以包括红外(IR)相机。例如，电子装置300可以包括照明单元(未示出)(例如，图2中的照明LED 242-1、242-2)。照明单元可以包括红外LED。第三相机343可以捕获由照明单元生成并反射或投射到用户瞳孔上的光的图像。
在实施例中，可以使用第三相机343拍摄的图像来确认用户的瞳孔的运动。例如，可以通过确认眼睛的瞳孔和眼睛的白色的比率来确认瞳孔的运动。又例如，可以在照明单元的帮助下确认瞳孔的运动。参考图4，可以基于瞳孔401和投射到用户眼睛上的发射点402之间的相对距离来跟踪瞳孔401的运动。发射点402可以是指由照明单元产生的光被投射到用户眼睛上的点。如果利用了多个发射点402和瞳孔401之间的相对距离的变化，则可以跟踪瞳孔401的运动。根据实施例，照明单元可以基于指定的模式或指定的顺序通过至少一个照明LED向用户的眼睛辐射具有各种形式的红外线。此外，可以基于通过被设置为拍摄用户眼睛的第三相机343所获取的图像，以各种方式确认用户瞳孔的运动。
根据各个实施例，第一相机341可以是比第二相机342和第三相机343具有更好的性能(例如，分辨率、图像传感器的大小或光学性能)的相机。因此，第一相机341的功耗可以相对大于第二相机342或第三相机343的功耗。第一相机341可以被设置为运行在待机模式(或停用状态)。根据实施例，第二相机342和第三相机343中的每一个可以具有比第一相机341更低的功耗，并且可以总是被设置为识别用户的身体(例如，眼睛、手指或头部)的运动和/或空间，可以被设置为具有比第一相机341被激活的时间更长的激活时间(或周期)。
图5是示出根据本公开的实施例的显示关于感兴趣对象的信息的操作的流程图。图6a至图6c是根据本公开的各个实施例的用于描述基于身体的运动来确认拍摄区域的操作的图。
在下文中，与参考图3a和图3b描述的元件相同或相似的元件，通过使用相同的附图标记来进行描述。在下文中，以处理器为对象的操作可以指由电子装置的处理器(例如，图1中的处理器120)通过向相机发送控制信号来控制相机的操作。此外，处理器可以向图像传感器中包括的图像处理器发送控制信号。图像处理器可以对图像传感器和相机进行实质性的控制。为了便于描述，这种控制操作在下文中也被描述为由处理器执行。
根据各个实施例，在操作510，处理器(例如，图1中的处理器120)可以获取前方图像信息和运动信息。例如，处理器可以通过使用第二相机342来获取前方图像信息和运动信息。
根据各个实施例，处理器(例如，图1中的处理器120)可以通过以配置的控制数值操作第二相机342，基于第二相机342支持的FOV执行拍摄。例如，可以控制第二相机342通过拍摄框架310的前方来生成前方图像信息。前方图像信息可以包括通过第二相机342的图像传感器接收的图像。例如，前方图像信息可以包括通过图像传感器接收的原始图像或预处理(例如，颜色校准或噪声消除)的图像。在这种情况下，配置的控制数值可以包括相机的光圈值(或F值)、快门速度、ISO和帧速率。在实施例中，上述控制数值可以被适应性地调整，使得以包括在相机中的曝光系统所确定的适当曝光值进行拍摄。处理器可以控制第二相机342以实时(或每个指定时段)生成前方图像信息。例如，第二相机342可以以24fps、30fps或60fps的帧速率连续拍摄前方。例如，如果第二相机342已被设置为一直启用，则当电子装置300被启用时(例如，在供电时)，第二相机344可以保持启用状态。当启用时，第二相机342可以以配置的帧速率执行拍摄。另一个例子是，如果第二相机342已被配置为具有启用状态和停用状态，则第二相机342可以在启用状态被设置为比第一相机341的启用状态更长期间，以配置的帧速率执行拍摄。例如，即使在第一相机341已经被停用的状态下，第二相机342也可以执行拍摄。在操作510，处理器可以获取由第二相机342生成的前方图像信息。
根据各个实施例，处理器可以获取运动信息。根据实施例，处理器可以通过使用第二相机342来获取运动信息。例如，第二相机342可以检测用户身体的运动。在一个示例中，用户的身体可以是用户的手指610。处理器可以基于通过第二相机342获取的前方图像信息来划分用户的身体，并且可以跟踪身体的运动。手指仅仅是一个例子。处理器可以通过识别包括在前方图像信息中的身体来跟踪用户身体的运动。可以通过各种方式获取用户身体的运动信息M。例如，处理器可以在前方图像信息中选择特定图像。处理器可以通过分析所选择的图像来提取和存储特征部分(例如，手指)的参考信息(例如，颜色信息，或光和阴影信息)。此后，处理器可以使用在实时接收的前方图像信息中的指定范围内跟踪与参考信息一致的区域的方法。此外，处理器可以通过以各种方式使用第二相机342来获取用户身体的运动信息M。根据实施例，处理器可以通过使用第三相机343来获取运动信息。例如，在操作510中，处理器可以根据通过第三相机343确认的用户瞳孔的运动来获取用户的注视的运动作为运动信息，并且参考图7a至图7d描述其详细实施例。
根据各个实施例，在操作520中，处理器(例如，图1中的处理器120)可以确认包括感兴趣对象的位置和大小的识别信息。
根据各个实施例，处理器可以基于运动信息M来确认由用户的身体(例如，手指或瞳孔)指示的对象601。如上所述，由用户的身体指示的对象可以被称为“感兴趣对象601”。例如，在由用户的手指610指示的方向D上存在的对象601可以被识别为感兴趣对象601。处理器可以确认包括感兴趣对象601的位置和大小的识别信息。感兴趣对象601的位置可以是特定点(例如，兴趣点(POI))或特定区域(例如，感兴趣区域(ROI))。在这种情况下，位置可以是指获取相机的图像传感器中的与感兴趣对象601相对应的图像的像素的区域或像素的坐标。
感兴趣对象的大小可以定义为包括由提取出的感兴趣对象601的轮廓线占据的位置的区域。例如，处理器可以通过对前方图像进行卷积来提取轮廓线。可替换地，处理器可以通过使用直方图(即前方图像的曝光信息)来提取轮廓线。此外，在操作520，处理器可以以各种方式确认包括感兴趣对象601的位置和大小的识别信息。
根据各个实施例，在操作530中，处理器可以基于识别信息来确认包括感兴趣对象601的拍摄区域620。
如上所述，包括在识别信息中的感兴趣对象601的位置可以被理解为这样的像素的区域或像素的坐标，在其中获取了相机的图像传感器中的与感兴趣对象601相对应的图像。
此外，感兴趣对象601的大小是包括由感兴趣对象的轮廓线所占据的位置的区域，因此也可以理解为包括在图像传感器中的像素的坐标。处理器可以基于这样的识别信息来确认可以拍摄感兴趣对象601的拍摄区域620。例如，处理器可以将其中可以获取与感兴趣对象601相对应的图像信息的图像传感器的像素的坐标信息确认为拍摄区域620。
根据各个实施例，在操作540，处理器可以通过操作第一相机341来获取拍摄区域620的感兴趣图像信息630。
第一分辨率(即第一相机341的分辨率)可以高于第二分辨率(即第二相机342的分辨率)。此外，第一相机341的整体性能可以高于第二相机342的性能。因此，第一相机341捕获的图像可以是比第二相机342捕获的图像具有更高分辨率的高质量图像。因为包括感兴趣对象601的感兴趣图像信息630是使用第一相机341(即，具有比第二相机342更高性能的相机)获取的，所以对感兴趣对象601进行更有效的图像分析是可能的。
根据各个实施例，可以通过各种方式来获取感兴趣图像信息。在实施例中，处理器可以通过裁剪第一相机341捕获的图像中与拍摄区域相对应的区域来获取感兴趣图像信息630。在另一个实施例中，处理器可以通过扫描与拍摄区域620相对应的第一相机341的图像传感器中的像素来获取感兴趣图像信息630。
如上所述，拍摄区域620可以被理解为构成图像传感器的像素的坐标信息，该图像传感器能够拍摄对应于感兴趣对象601的图像或包括感兴趣对象601的区域。由于在电子装置300中确定了相机(例如，第一相机341和第二相机342)的相对位置，因此可以知道相机之间的距离(例如，基线)。此外，可以确认包括在电子装置300中的相机的内部信息(例如，FOV或焦距)。如果使用每个相机的内部信息和相机之间的距离，则可以确认与通过另一相机的拍摄确认出的拍摄区域620相对应的像素的坐标。
例如，第一相机341的图像传感器的特定像素可以对应于通过第二相机342确认的拍摄区域620。可以使用相机的内部信息和相机之间的距离来确认与拍摄区域620相对应的第一相机341的图像传感器中的像素。
在确认出与拍摄区域620相对应的第一相机341的图像传感器的像素之后，可以通过第一相机341执行扫描使得包括与拍摄区域620相对应的像素以获取与拍摄区域620相对应的图像信息，来获取包括感兴趣对象601的感兴趣图像信息630。
上述操作可以被理解为将拍摄区域620与第一相机341的图像传感器进行匹配的操作。处理器可以将基于第二相机342捕获的图像所确认的拍摄区域620与第一相机341的图像传感器进行匹配，并且可以通过使用所匹配的部分来获取感兴趣图像信息630。
如上所述，如果仅使用特定像素生成感兴趣图像信息630，而不使用图像传感器中包括的所有像素来获取感兴趣图像信息630，则可以降低读取(或扫描)所有像素所消耗的功耗。此外，可以降低处理高分辨率图像时所需的计算能力。特别地，第一相机341可以是比第二相机342具有更高性能的相机。当驱动第二相机342时，对应于高性能相机的第一相机341可以比第二相机使用更多的电力。如果仅使用包括在第一相机341的图像传感器中的一些像素，则因为第一相机341(即，高性能相机)的功耗降低，所以可以增加电子装置的使用时间。
根据各个实施例，在操作550，处理器可以基于识别信息和感兴趣图像信息来获取关于感兴趣对象601的信息。
处理器可以基于识别信息来确认关于感兴趣对象601的形状的信息，并且可以基于感兴趣图像信息630来确认感兴趣对象601的高分辨率图像。处理器可以基于识别信息和感兴趣图像信息630通过各种方式对感兴趣对象601的拍摄图像执行图像分析来获取关于感兴趣对象601的信息。
根据各个实施例，在操作560，处理器可以通过使用显示器来显示关于感兴趣对象601的信息。
例如，关于感兴趣对象601的信息可以包括感兴趣对象601的名称、大小(例如，长度、面积或体积)、价格、状态和/或其他相关信息。如果电子装置是显示AR的电子装置，则该电子装置可以将可视用户界面(UI)投影到窗口构件上，使得在实际对象周围显示关于感兴趣对象的信息。对于通过显示器将视觉信息投影到窗口构件上的相关描述，参考图2中与显示器相关的描述。
图7a至图7d是根据本公开的各个实施例的用于描述基于瞳孔的运动来确认拍摄区域的操作的图。
与图6a至图6c所示的方法不同，在参考图7a至图7d所示的方法中，可以设置感兴趣对象701，并且可以通过进一步使用用户眼睛的运动来来确认拍摄区域720。在下文中，主要描述图6a至图6c中所示出的方法与图7a至图7d中所示方法之间的差异，并且省略对相同或相似操作的详细描述。
根据各个实施例，在操作510中，处理器可以通过使用第二相机342来获取前方图像信息，并且可以通过使用第三相机343来获取运动信息。在这种情况下，运动信息可以包括根据通过第三相机343确认的用户瞳孔的运动的用户注视的运动。
如上参考图3b所述，第三相机343可以是设置在框架310中的相机，使得该相机可以拍摄用户的眼睛。如在参考图4给出的描述中，可以基于第三相机343捕获的图像确认用户瞳孔的运动。处理器可以基于用户瞳孔的运动来生成包括用户的注视指向的方向的注视信息710。如果使用注视信息710，则可以确认用户注视什么对象。
根据各个实施例，在操作520，处理器可以确认包括感兴趣对象的位置和大小的识别信息。
处理器可以基于与通过第三相机343确认的用户瞳孔的运动相对应的注视信息710来确认感兴趣对象701。例如，如果注视信息710暂停了预设时间，则处理器可以将与注视信息710交叠的对象确认为感兴趣对象701。
根据各个实施例，处理器可以通过将注视信息710映射到通过第二相机342获取的前方图像信息来确认感兴趣对象701。处理器可以通过将注视信息710映射到第二相机342来确认感兴趣对象701。例如，如图7a所示，尽管拍摄了相同的区域，但是感兴趣对象可以依据由瞳孔的运动确认出的注视的运动M而不同。例如，如图7a所示，感兴趣对象可以响应于注视的运动M而从第二感兴趣对象702改变为第一感兴趣对象701。
当确定感兴趣对象701时，处理器可以确认包括感兴趣对象701的位置和大小的识别信息。确认感兴趣对象701的位置和大小的操作类似于上面参考图6a和图6b描述的操作，因此省略其详细描述。
根据各个实施例，在操作530，处理器可以基于感兴趣对象701的识别信息来确认拍摄区域720。
如图7b所示，当确认出用户注视的感兴趣对象701时，在操作530，处理器可以基于感兴趣对象701的位置和大小来确认拍摄区域720，如图7c所示。接下来，在操作540，处理器可以通过操作第一相机341来获取关于拍摄区域720的感兴趣图像信息。对于确认拍摄区域720并基于拍摄区域720通过第一相机341获取感兴趣图像信息的操作，参考图6a和图6b给出的描述。
根据各个实施例，可以通过以上参考图6a至图6c描述的方法，仅使用第二相机342来确认拍摄区域。此外，可以通过以上参考图7a至图7d描述的方法，通过进一步使用第三相机343来确认拍摄区域。
根据各个实施例，在操作550，处理器可以基于识别信息和感兴趣图像信息来获取关于感兴趣对象701的信息。接下来，在操作560，处理器可以通过使用显示器来显示关于感兴趣对象701的信息。
图8是根据本公开的实施例的应用到相机的控制信号的图。
根据各个实施例，处理器可以向相机发送相机控制信号810，该相机控制信号基于拍摄目标和周围状态来控制相机。例如，光圈值、快门速度或ISO值可以包括在相机控制信号810中。此外，相机控制信号810可以包括要通过相机输出的图像的帧数、帧输出速度、输出图像大小、增益等中的至少一些。
根据各个实施例，处理器在通过操作第一相机341获取感兴趣图像信息时，可以根据第一相机341的操作进一步考虑功耗。
例如，如图8所示，处理器可以基于识别触发820来操作第一相机341。第一相机341的模式可以保持在待机模式，直到接收到识别触发820。待机模式可以是指第一相机341已经被停用的模式。待机模式可以是指不向第一相机341传送电力或者仅向第一相机341传送能够直接启用第一相机341的基本电力的状态。
根据各个实施例，识别触发820可以包括各种输入。例如，通过包括在电子装置中的单独输入装置(例如，触摸输入装置、物理输入装置或声音输入装置(例如，麦克风))的输入可以用作识别触发820。此外，基于通过第二相机342获取的用户身体运动信息，用户的身体在预设范围内暂停了预设时间的情况可以用作识别触发820。例如，如图6b所示，如果用户通过使用手指指示特定对象并保持该指示三秒钟，则处理器可以将这种指示识别为识别触发820。此外，通过第三相机343获取的用户瞳孔运动信息可以用作识别触发820。例如，如图7b所示，当用户瞳孔的运动暂停了给定时间时，处理器可以将这种暂停识别为识别触发820。例如，当通过第三相机343获取的基于照明单元(例如，图2中的照明LED 242-1、242-2)的用户瞳孔的运动在临界值或更小值处被检测出达临界时间或更长时间，处理器可以将这种运动识别为暂停的瞳孔。此外，处理器可以将用户的眨眼速度或由包括在电子装置中的运动传感器(例如，加速度传感器或陀螺仪传感器)识别出的电子装置的运动程度识别为识别触发820。
根据各个实施例，当接收到识别触发820时，处理器可以控制第一相机341以指定的帧数执行拍摄。例如，指定帧数可以包括一帧。可替换地，第一相机341可以以比在第一相机341中设置的帧速率小的帧数(例如，三帧)来执行拍摄，但是为了便于描述，描述了第一相机341在一帧中执行拍摄的示例。第一相机341不以设定的帧速率生成图像信息，而是通过在特定时刻在一帧中执行拍摄来生成图像信息。因此，可以减少根据第一相机341的拍摄的功耗。
根据各个实施例，已经接收到识别触发820的第一相机341可以输出与一帧相对应的图像(830)。由第一相机341输出的图像可以被理解为包括在上述感兴趣图像信息中的信息。
图9a是根据本公开的实施例的电子装置的立体图。图9b是根据本公开的实施例的用于描述第一相机的像素合并模式的图。图10是根据本公开的实施例的显示关于感兴趣对象的信息的操作的流程图。
在下文中，对于与参考图3a和图3b描述的元件相同或相似的元件使用相同的附图标记来进行描述。此外，在以下描述中，通过参考图6a至图6c和图7a至图7d来进行参考。
参考图9a，与参考图3a给出的描述不同，第一相机341可以设置在框架310的一侧，第二相机342可以设置在框架310的另一侧。例如，在图9a中，第一相机341可以设置在-X方向上，并且第二相机342可以设置在+X方向上。此外，如果需要，可以省略设置在框架310的中间的第一相机341。在以下描述中，除非特别描述，否则第一相机341可以被理解为在图9a中沿-X方向布置的第一相机341。
根据各个实施例，可以使用第一相机341和第二相机342生成前方图像信息。在实施例中，第一相机341可以是具有比第二相机342相对更好的性能(例如，分辨率、图像传感器的大小或光学性能)的相机。
在实施例中，如图9b所示，在操作1010，处理器可以在像素合并(binning)模式下控制第一相机341，在该像素合并模式中第一相机341的输出分辨率被改变为不同于第一分辨率的分辨率，即根据第一相机341的规格的最大输出分辨率。
例如，参考图9b，通过将多个像素910中的4x 4个像素构造为一个像素920，可以将分辨率从2560x 1920分辨率降低到640x 480分辨率。在这种情况下，像素合并可以意味着通过将多个像素构造为一个像素来强制降低分辨率的相机控制方法。如果使用这种像素合并方法，因为要读取(或扫描)的图像传感器的像素数量减少了，所以可以降低功耗。根据本公开的各个实施例的像素合并方法不受限制。可以使用本领域技术人员常用的各种像素合并方法来设置第一相机341的像素合并模式。在实施例中，处理器可以设置像素合并模式，使得第一相机341的输出分辨率变为第二分辨率，即第二相机342的分辨率。在这种情况下，使用第一相机341和第二相机342生成的图像可以具有相同的分辨率。
根据各个实施例，处理器可以以预配置的控制数值在像素合并模式下操作第二相机342和第一相机341，并且可以控制第二相机341和第一相机342通过拍摄框架310的前方来生成前方图像信息。在这种情况下，预配置的控制数值可以包括相机的光圈值(或F值)、快门速度、ISO和帧速率。在实施例中，可以适应性地调整上述控制数值，使得以由包括在相机中的曝光系统确定的适当曝光值进行拍摄。处理器可以控制第二相机342，使得第一相机341和第二相机341实时生成前方图像信息。例如，第一相机341和第二相机342可以以24fps、30fps或60fps的帧速率连续拍摄前方。例如，第一相机341和第二相机342可以通过保持启用状态来拍摄前方。此时，第一相机341可以维持像素合并模式。在操作1020，处理器可以获取由第一相机341和第二相机342生成的前方图像信息。
根据各个实施例，在操作1020，处理器可以通过第一相机341和第二相机342获取用户身体的运动信息。
例如，第一相机341和第二相机342可以检测用户身体的运动。可以通过设置在不同位置的第一相机341和第二相机342来检测该运动。在实施例中，如图6a至图6c所示，用户的身体可以是用户的手指610。处理器可以基于通过第一相机341和第二相机342获取的前方图像信息来划分用户的身体，并且可以跟踪运动。手指只是一个例子。处理器可以通过识别包括在前方图像信息中的用户的身体来跟踪运动。用户身体的运动信息M可以通过各种方式获取。例如，处理器可以在前方图像信息中选择特定图像。处理器可以通过分析所选择的图像来提取和存储特征部分(例如，手指)的参考信息(例如，颜色信息，或光和阴影信息)。此后，处理器可以使用在实时接收的前方图像信息中的指定范围内跟踪与参考信息一致的区域的方法。此外，处理器可以通过各种方式使用第一相机341和第二相机342来获取用户身体的运动信息M。
根据另一个实施例，在操作1020，处理器可以通过第一相机341和第二相机342获取前方图像信息，并且可以通过第三相机343获取运动信息。
例如，如上文参考图4和图7a所述，处理器可以通过第三相机343跟踪用户瞳孔的运动来获取用户的注视信息710。用户的注视信息710可以包括用户注视的注视运动信息。处理器可以通过将用户的注视信息710映射到前方图像信息来获取注视的运动信息。
根据各个实施例，在操作1030，处理器可以确认包括感兴趣对象的位置和大小的识别信息。
根据各个实施例，处理器可以基于运动信息M确认由用户身体指示的对象601。如上所述，由用户身体指示的对象可以被称为“感兴趣对象601”。例如，处理器可以将用户的手指610指示的方向D上存在的对象601识别为感兴趣对象601。处理器可以确认包括感兴趣对象601的位置和大小的识别信息601。感兴趣对象601的位置可以是特定点(例如，兴趣点(POI))或特定区域(例如，感兴趣区域(ROI))。感兴趣对象的大小可以被定义为包括由提取出的感兴趣对象601的轮廓线占据的位置的区域。例如，处理器可以通过对前方图像进行卷积来提取轮廓线。此外，处理器可以通过使用直方图(即前方图像的曝光信息)来提取轮廓线。此外，在操作1030，处理器可以以各种方式确认包括感兴趣对象601的位置和大小的识别信息。例如，处理器可以基于与通过第三相机343确认的用户瞳孔的运动相对应的注视信息710来确认感兴趣对象701。例如，当注视信息710暂停了预配置的时间时，处理器可以将与注视信息710交叠的对象确认为感兴趣对象701。
根据各个实施例，在操作1040，处理器可以基于识别信息来确认包括感兴趣对象601的拍摄区域620。
如上所述，识别信息中包括的感兴趣对象601的位置可以是指在图像传感器上获取与感兴趣对象602相对应的图像信息的像素的区域或坐标。此外，感兴趣对象601的大小可以是指图像传感器上的像素的区域或坐标，因为该大小是包括由感兴趣对象的轮廓线601占据的位置的区域。处理器可以基于这样的识别信息来确认可以拍摄到感兴趣对象601的拍摄区域620。例如，处理器可以将其中可以获取与图像传感器上的感兴趣对象601相对应的图像的像素的坐标信息确认为拍摄区域620。
根据各个实施例，在操作1050，处理器可以在基本模式下控制第一相机341。
在基本模式中，第一相机341的分辨率可以改变为第一分辨率，即根据第一相机341规格的最大分辨率。在基本模式下控制第一相机341可以被理解为意味着像素合并模式被释放。
根据各个实施例，在操作1060，处理器可以通过在基本模式下操作第一相机341来获取拍摄区域620、720的感兴趣图像信息630、730。
第一分辨率(即第一相机341的分辨率)可以高于第二分辨率(即第二相机342的分辨率)。此外，第一相机341的整体性能可以高于第二相机342的性能。因此，由第一相机341捕获的图像可以是比由第二相机342捕获的图像具有更高分辨率的高质量图像。因为包括感兴趣对象601、701的感兴趣图像信息630、730是使用第一相机341(即，具有比第二相机342更高性能的相机)获取的，所以对感兴趣对象601、701进行更有效的图像分析是可能的。
根据各个实施例，可以通过各种方式获取感兴趣图像信息630、730。在实施例中，处理器可以通过裁剪第一相机341捕获的图像中与拍摄区域620、720相对应的区域来获取感兴趣图像信息630、730。
根据各个实施例，处理器可以通过扫描第一相机341的图像传感器的一部分来获取感兴趣图像信息630、730。拍摄区域620、720可以是图像传感器上的像素的坐标。当在基本模式下通过第一相机341获取感兴趣图像信息630、730时，处理器可以仅在扫描与拍摄区域620、720相对应的像素时执行扫描。因此，与扫描整个图像传感器的情况相比，可以降低功耗。
根据各个实施例，在操作1070，处理器可以基于识别信息和感兴趣图像信息630、730来获取关于感兴趣对象601、701的信息。
处理器可以基于识别信息来确认关于感兴趣对象601、701的形状的信息，并且可以基于感兴趣图像信息630、730来确认感兴趣对象601、701的高分辨率图像。处理器可以通过基于识别信息和感兴趣图像信息630、730以各种方式对感兴趣对象601、701的拍摄图像执行图像分析来获取关于感兴趣对象601、701的信息。
根据各个实施例，在操作1080，处理器可以通过使用显示器来显示关于感兴趣对象601、701的信息。
例如，关于感兴趣对象601、701的信息可以包括对象的名称、大小(长度、面积或体积)、价格、状态和其他相关信息。如果电子装置是显示AR的电子装置，则该电子装置可以将可视用户界面(UI)投影到窗口构件上，使得在实际对象周围显示关于感兴趣对象601、701的信息。关于通过显示器将视觉信息投影到窗口构件上的相关描述，参考与图2中的显示器相关的描述。
在以上描述中，已经描述了一个实施例，其中使用设置在框架310两侧的第一相机341和第二相机342来获取前方图像信息，并且通过第一相机341来获取感兴趣图像信息，但是另一实施例也是可能的。
例如，可以仅使用设置在框架310中间的第一相机341来获取前方图像信息和感兴趣图像信息。在本实施例中，因为第一相机341继续保持启用状态以获取前方图像信息，因此第一相机341(即高性能相机)可能消耗大量功率。为了解决这样的问题，可以在像素合并模式下控制第一相机341。例如，在由第一相机341获取前方图像信息的操作中，可以在像素合并模式下控制第一相机341，并且在由第一相机341获取感兴趣图像信息的操作中，可以在基本模式下控制第一相机341。
例如，第一相机341可以设置在框架310的两侧，并且第一相机341可获取前方图像信息和感兴趣图像信息。在本实施例中，在由第一相机341获取前方图像信息的操作中，可以在像素合并模式下控制第一相机341，并且在由第一相机341获取感兴趣图像信息的操作中，可以在基本模式下控制第一相机341。可以仅使用设置在框架310两侧的第一相机341中的任何一个来获取感兴趣图像信息。
图11是根据本公开的实施例的用于描述由第一相机生成所确认的拍摄区域的感兴趣图像信息的方法之一的图。
根据各个实施例，第一相机341的图像传感器可以包括：在其中设置有多个像素的像素区域1110、在其中处理图像信号的处理区域1120、用于扫描(或读取)多个像素行方向的行扫描电路1111，以及用于扫描多个像素的列方向的列扫描电路1112。例如，处理区域1120可以包括处理具有模拟形式的图像信号的部分和将具有模拟形式的图像信号转换为数字形式的图像信号的部分。图11中所示的图像传感器的结构仅仅是示例，并且可以进行各种改变。
如上所述，当确认出拍摄区域(例如，图6c中的拍摄区域620和/或图7d中的拍摄区域720)时，可以通过第一相机341生成针对拍摄区域的感兴趣图像信息。拍摄区域可以是指图像传感器上的在其中可以获取与感兴趣对象(例如，图6b中的感兴趣对象601和/或图7a中的感兴趣对象701)相对应的图像信息的像素的坐标或区域。
例如，参考图11，与拍摄区域的起始边缘的坐标相对应的像素可以被确认为A，与拍摄区域的末端边缘的坐标相对应的像素可以被识别为B。通过A和B之间的像素接收的图像信息可以是拍摄区域的感兴趣图像信息。
根据各个实施例，处理器可以控制第一相机341，以便使用行扫描电路1111和列扫描电路1112仅扫描A和B之间的像素。例如，行扫描电路1111可以扫描A和B像素之间的行(S1)，列扫描电路1112扫描A和B像素之间的列(S2)。
如上所述，由于通过仅扫描特定区域而不扫描图像传感器的所有像素来获取图像信息，因此可以减少扫描所消耗的功率和时间，并且由于处理的图像信息小于所有扫描区域的图像信息，因此可以减少图像处理所消耗的电量。扫描的像素的信息可以由A/D转换器进行处理。当扫描特定区域时，所使用的A/D转换器的数量也会减少。因此，可以降低根据A/D转换器的操作的功耗。
根据本文件中公开的各个实施例的电子装置(例如，图1中的电子装置101、图2中的电子装置102或图3a中的电子装置300)可以包括：框架(例如，在图3a中为框架310)；由框架支撑的窗口构件(例如，图3a中的窗口构件330)；向窗口构件输出视觉信息的显示器(例如，图1中的显示器160)；第一相机(例如，图3a中的第一相机341)，其具有第一分辨率、设置在框架中并拍摄框架的前方；第二相机(例如，图3a中的第二相机342)，其具有不同于第一分辨率的第二分辨率的、分别设置在框架的两侧并拍摄框架的前方；以及处理器(例如，图1中的处理器120)，其可操作地联接到第一相机和第二相机。处理器可以通过以预设帧速率操作第二相机来获取用户身体的运动信息和前方图像信息；可以基于运动信息确认包括由用户身体指示的感兴趣对象的位置和大小的识别信息；可以基于识别信息确认包括感兴趣对象的拍摄区域；可以通过操作第一相机来获取拍摄区域的感兴趣图像信息，可以基于感兴趣图像信息来获取关于感兴趣对象的信息；以及可以通过使用显示器来显示关于感兴趣对象的信息。
此外，处理器可以通过执行扫描使得第一相机的图像传感器中的与拍摄区域相对应的像素被包括，获取感兴趣图像信息。
此外，处理器可以将拍摄区域与第一相机的图像传感器进行匹配，以及可以通过使用第一相机的图像传感器中的匹配部分来获取感兴趣图像信息。
此外，处理器可以通过裁剪第一相机捕获的图像中的与拍摄区域相对应的区域来获取感兴趣图像信息。
此外，第二相机的第二分辨率可以相对低于第一相机的第一分辨率。
此外，处理器可以响应于接收到预设的识别触发，控制第一相机以将感兴趣图像信息生成为一帧。
此外，预设的识别触发可以包括用户身体的运动是预设的运动或更小的运动达预设时间。
此外，处理器可以将第一相机保持在待机模式，使得当未接收到识别触发时降低第一相机的功耗，以及可以在获取感兴趣图像信息后将第一相机的模式改变为待机模式。
此外，电子装置还可以包括第三相机(例如，图3b中的第三相机343)，该第三相机设置在框架中并拍摄框架的后方。处理器可以通过操作第三相机来获取用户瞳孔的运动，可以根据瞳孔的运动生成用户的注视信息，以及可以通过将注视信息映射到前方图像信息来确认感兴趣对象。
此外，处理器可以响应于接收到预设的识别触发，控制第一相机将图像信息生成为一帧。预设的识别触发可以包括用户瞳孔的运动是预设的运动或更小的运动达预设时间。
根据本文件中公开的各个实施例的电子装置(例如，图1中的电子装置101、图2中的电子装置102或图3a中的电子装置300)可以包括：框架(例如，在图3a中为框架310)；由框架支撑的窗口构件(例如，图3a中的窗口构件330)；向窗口构件输出视觉信息的显示器(例如，图1中的显示器160)；第一相机(例如，在图9a中的第一相机341)，其具有第一分辨率、设置在框架中并拍摄框架的前方；第二相机(例如，图9a的第二相机342)，其具有不同于第一分辨率的第二分辨率、设置在框架中的与第一相机的位置不同的位置处并拍摄框架的前方；以及处理器(例如，图1中的处理器120)，其可操作地联接到第一相机和第二相机。处理器可以在像素合并模式下控制第一相机，在该模式下第一相机的输出分辨率被改变为不同于第一分辨率的分辨率；可以通过以预设帧速率在像素合并模式下操作第二相机和第一相机来获取用户身体的运动信息和前方图像信息；可以基于运动信息确认包括由用户的身体指示的感兴趣对象的位置和大小的识别信息；可以基于识别信息确认包括感兴趣对象的拍摄区域；可以通过在基本模式下操作第一相机来获取拍摄区域的感兴趣图像信息，在该基本模式下第一相机的输出分辨率返回到第一分辨率；基于感兴趣图像信息来获取关于感兴趣对象的信息；以及可以通过使用显示器来显示关于感兴趣的对象的信息。
此外，第一相机的像素合并模式可以是第一相机的输出分辨率从第一分辨率改变为第二分辨率的模式。
此外，处理器可以通过执行扫描使得第一相机的图像传感器中的与拍摄区域相对应的像素被包括，获取感兴趣图像信息。
此外，处理器可以将对应于拍摄区域的坐标与第一相机的图像传感器进行匹配，并且可以通过使用第一相机的图像传感器中的所匹配的部分来获取图像信息。
此外，处理器可以通过裁剪第一相机捕获的图像中的与拍摄区域相对应的区域来获取感兴趣图像信息。
此外，第二相机的第二分辨率可以相对低于第一相机的第一分辨率。
此外，处理器可以响应于接收到预设的识别触发，控制第一相机将其模式改变为基本模式，并将图像信息生成为一帧。
此外，预配置或预设的识别触发可以包括用户身体的运动为预配置的运动或更小的运动达预配置的时间。
此外，电子装置还可以包括第三相机(例如，图3b中的第三相机343)，其设置在框架中并拍摄框架的后方。处理器可以通过操作第三相机来获取用户瞳孔的运动，可以根据瞳孔的运动生成用户的注视信息，以及可以通过将注视信息映射到前方图像信息来确认感兴趣对象。
此外，处理器可以响应于接收到预配置的识别触发，控制第一相机将其模式改变为基本模式，并将图像信息生成为一帧。预配置的识别触发可以包括用户瞳孔的运动是预配置的运动或更小的运动达预设的时间。
尽管已经对附图进行了划分，并描述了各个实施例，但参考不同附图描述的实施例可以在实施例彼此不矛盾的范围内进行各种组合。因此，不允许独立地解释实施例，并且应当通过考虑本文件中公开的实施例的各种组合来解释本公开。
虽然已参照各个实施例对本公开进行了展示和描述，但本领域技术人员应理解，在不偏离所附权利要求及其等同形式所定义的本公开的精神和范围的情况下，可对其形式和细节进行各种改变。

Claims (15)

1.一种电子装置，所述电子装置包括：
框架；
窗口构件，所述窗口构件由所述框架支撑；
显示器，所述显示器向所述窗口构件输出视觉信息；
第一相机，所述第一相机具有第一分辨率，所述第一相机设置在所述框架中并拍摄所述框架的前方；
第二相机，所述第二相机具有不同于所述第一分辨率的第二分辨率，所述第二相机分别设置在所述框架的两侧，并拍摄所述框架的前方；以及
处理器，所述处理器可操作地联接到所述第一相机和所述第二相机，
其中，所述处理器被配置为：
通过以预设帧速率操作所述第二相机来获取用户的身体的运动信息和前方图像信息，
基于所述运动信息确认包括由所述用户的身体指示的感兴趣对象的位置和大小的识别信息，
基于所述识别信息确认包括所述感兴趣对象的拍摄区域，
通过操作所述第一相机来获取所述拍摄区域的感兴趣图像信息，基于所述感兴趣图像信息来获取关于所述感兴趣对象的信息，以及
利用所述显示器显示关于所述感兴趣对象的所述信息。
2.根据权利要求1所述的电子装置，其中，所述处理器还被配置为：通过执行扫描使得所述第一相机的图像传感器中的与所述拍摄区域相对应的像素被包括，来获取所述感兴趣图像信息。
3.根据权利要求1所述的电子装置，其中，所述处理器还被配置为：
将所述拍摄区域与所述第一相机的图像传感器的一部分进行匹配，以及
利用所述第一相机的图像传感器的所匹配的部分来获取所述感兴趣图像信息。
4.根据权利要求1所述的电子装置，其中，所述处理器还被配置为：通过裁剪由所述第一相机捕获的图像中的与所述拍摄区域相对应的区域来获取所述感兴趣图像信息。
5.根据权利要求1所述的电子装置，其中，所述处理器还被配置为：响应于接收到预配置的识别触发，控制所述第一相机将所述感兴趣图像信息生成为一帧。
6.根据权利要求5所述的电子装置，其中，所述预配置的识别触发包括所述用户的身体的运动为预配置的运动或更小的运动达预配置的时间。
7.根据权利要求5所述的电子装置，其中，所述处理器还被配置为：
将所述第一相机保持在待机模式，使得当未接收到所述预配置的识别触发时降低所述第一相机的功耗，以及
在获取所述感兴趣图像信息之后，将所述第一相机的模式改变为所述待机模式。
8.根据权利要求1所述的电子装置，所述电子装置还包括第三相机，所述第三相机设置在所述框架中并拍摄所述框架的后方，
其中，所述处理器还被配置为：
通过操作所述第三相机来获取所述用户的瞳孔的运动，
根据所述瞳孔的运动生成所述用户的注视信息，以及
通过将所述注视信息映射到所述前方图像信息来确认所述感兴趣对象。
9.根据权利要求8所述的电子装置，
其中，所述处理器还被配置为：响应于接收到预配置的识别触发，控制所述第一相机将所述感兴趣图像信息生成为一帧，并且
其中，所述预配置的识别触发包括：所述用户的瞳孔的运动为预配置的运动或更小的运动达预配置的时间。
10.一种电子装置，所述电子装置包括：
框架；
窗口构件，所述窗口构件由所述框架支撑；
显示器，所述显示器向所述窗口构件输出视觉信息；
第一相机，所述第一相机具有第一分辨率，所述第一相机设置在所述框架中并拍摄所述框架的前方；
第二相机，所述第二相机具有不同于所述第一分辨率的第二分辨率，所述第二相机设置在所述框架中的与所述第一相机的位置不同的位置处，并拍摄所述框架的前方；以及
处理器，所述处理器可操作地联接到所述第一相机和所述第二相机，
其中，所述处理器被配置为：
以像素合并模式控制所述第一相机，在所述像素合并模式下所述第一相机的输出分辨率被改变为不同于所述第一分辨率的分辨率，
通过以预配置的帧速率在所述像素合并模式下操作所述第二相机和所述第一相机来获取用户的身体的运动信息和前方图像信息，
基于所述运动信息确认包括由所述用户的身体指示的感兴趣对象的位置和大小的识别信息，
基于所述识别信息确认包括所述感兴趣对象的拍摄区域，
通过在基本模式下操作所述第一相机来获取所述拍摄区域的感兴趣图像信息，在所述基本模式下所述第一相机的输出分辨率返回到所述第一分辨率，
基于所述感兴趣图像信息来获取关于所述感兴趣对象的信息，以及
利用所述显示器显示所述感兴趣对象的所述信息。
11.根据权利要求10所述的电子装置，其中，所述第一相机的所述像素合并模式是将所述第一相机的输出分辨率从所述第一分辨率改变为所述第二分辨率的模式。
12.根据权利要求10所述的电子装置，其中，所述处理器还被配置为：通过执行扫描使得所述第一相机的图像传感器中的与所述拍摄区域相对应的像素被包括，来获取所述感兴趣图像信息。
13.根据权利要求10所述的电子装置，其中，所述处理器还被配置为：
将对应于所述拍摄区域的坐标与所述第一相机的图像传感器的一部分进行匹配；以及
利用所述第一相机的图像传感器中的所匹配的部分来获取所述感兴趣图像信息。
14.根据权利要求10所述的电子装置，其中，所述处理器还被配置为：通过裁剪由所述第一相机捕获的图像中的与所述拍摄区域相对应的区域来获取所述感兴趣图像信息。
15.根据权利要求10所述的电子装置，其中，所述处理器还被配置为：响应于接收到预设的识别触发，控制所述第一相机将其模式改变为所述基本模式，并将所述感兴趣图像信息生成为一帧。
CN202280026812.6A 2021-04-09 2022-03-18 包括多个相机的可穿戴电子装置 Pending CN117121478A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2021-0046436 2021-04-09
KR1020210046436A KR20220140221A (ko) 2021-04-09 2021-04-09 복수의 카메라를 포함하는 웨어러블 전자 장치
PCT/KR2022/003828 WO2022215895A1 (ko) 2021-04-09 2022-03-18 복수의 카메라를 포함하는 웨어러블 전자 장치

Publications (1)

Publication Number Publication Date
CN117121478A true CN117121478A (zh) 2023-11-24

Family

ID=83511031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280026812.6A Pending CN117121478A (zh) 2021-04-09 2022-03-18 包括多个相机的可穿戴电子装置

Country Status (3)

Country Link
US (1) US20220329726A1 (zh)
EP (1) EP4280599A4 (zh)
CN (1) CN117121478A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117893949A (zh) * 2024-02-06 2024-04-16 深圳市智安天下科技有限公司 基于智能识别的枪球一体太阳能狩猎摄像机管理方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230164433A1 (en) * 2021-11-23 2023-05-25 Qualcomm Incorporated Reduced latency mode switching in image capture device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013093906A1 (en) * 2011-09-19 2013-06-27 Eyesight Mobile Technologies Ltd. Touch free interface for augmented reality systems
KR102103980B1 (ko) * 2017-12-27 2020-04-23 주식회사 버넥트 사용자의 응시정보에 따른 증강영상의 동적 표현기술이 적용된 증강현실 시스템
JP7341166B2 (ja) * 2018-05-22 2023-09-08 マジック リープ， インコーポレイテッド ウェアラブルシステムのためのトランスモード入力融合
CN110276251B (zh) * 2019-05-13 2023-07-25 联想（上海）信息技术有限公司 一种图像识别方法、装置、设备及存储介质
CN110913132B (zh) * 2019-11-25 2021-10-26 维沃移动通信有限公司 对象跟踪方法及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117893949A (zh) * 2024-02-06 2024-04-16 深圳市智安天下科技有限公司 基于智能识别的枪球一体太阳能狩猎摄像机管理方法

Also Published As

Publication number Publication date
EP4280599A1 (en) 2023-11-22
EP4280599A4 (en) 2024-07-17
US20220329726A1 (en) 2022-10-13

Similar Documents

Publication Publication Date Title
EP4215976A1 (en) Wearable electronic device including miniature camera
US20230259205A1 (en) Electronic device and method thereof for tracking user gaze and providing augmented reality service
EP4280599A1 (en) Wearable electronic device comprising plurality of cameras
US20230199328A1 (en) Method of removing interference and electronic device performing the method
US12052411B2 (en) Adjustment device and method of operating the same
US11733952B2 (en) Wearable electronic device including display, method for controlling display, and system including wearable electronic device and case
KR20220140221A (ko) 복수의 카메라를 포함하는 웨어러블 전자 장치
US20230262323A1 (en) Method and device for obtaining image of object
US20230122744A1 (en) Wearable electronic device adjusting transmittance of visor and brightness of display
US20230169723A1 (en) Electronic device for providing contents in connection with external electronic device and method of the same
EP4357838A1 (en) Electronic device and method for displaying content
US11893698B2 (en) Electronic device, AR device and method for controlling data transfer interval thereof
CN118104070A (zh) 包括天线的可穿戴电子装置
EP4202531A1 (en) Augmented reality wearable electronic device comprising camera
US20240160024A1 (en) Wearable device for adjusting light transmittance according to illuminance of external light source, and method for controlling same
US12068531B2 (en) Wearable electronic device including variable ground
US20240119683A1 (en) Electronic device and method for providing ar information using watch face image
US11953695B2 (en) Wearable electronic device with display
US11863945B2 (en) Augmented reality wearable electronic device and case
US20240046530A1 (en) Method of controlling display module, and electronic device performing the method
EP4350420A1 (en) Lens assembly including light-emitting element disposed on first lens, and wearable electronic device including same
US20240104867A1 (en) Electronic device and method for providing augmented reality environment including adaptive multi-camera
KR20240011587A (ko) 렌즈리스 카메라를 포함하는 웨어러블 전자 장치 및 이를 이용한 이미지 처리 방법
KR20240066027A (ko) 카메라를 포함하는 웨어러블 전자 장치 및 이의 동작 방법
KR20220156336A (ko) 이미지 센서 및 동적 비전 센서를 포함하는 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination