Nothing Special   »   [go: up one dir, main page]

CN209057332U - 一种耳机 - Google Patents

一种耳机 Download PDF

Info

Publication number
CN209057332U
CN209057332U CN201821059614.7U CN201821059614U CN209057332U CN 209057332 U CN209057332 U CN 209057332U CN 201821059614 U CN201821059614 U CN 201821059614U CN 209057332 U CN209057332 U CN 209057332U
Authority
CN
China
Prior art keywords
mipi
processor
camera
earpiece main
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201821059614.7U
Other languages
English (en)
Inventor
李文杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xi Mai Creative Technology Ltd
Sysmax Innovations Co Ltd
Original Assignee
Guangzhou Xi Mai Creative Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xi Mai Creative Technology Ltd filed Critical Guangzhou Xi Mai Creative Technology Ltd
Priority to CN201821059614.7U priority Critical patent/CN209057332U/zh
Priority to EP18204847.0A priority patent/EP3591992A1/en
Priority to US16/186,884 priority patent/US20200014829A1/en
Application granted granted Critical
Publication of CN209057332U publication Critical patent/CN209057332U/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/22—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only 
    • H04R1/28—Transducer mountings or enclosures modified by provision of mechanical or acoustic impedances, e.g. resonator, damping means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/253—Picture signal generating by scanning motion picture films or slide opaques, e.g. for telecine
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016—Earpieces of the intra-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/09—Applications of special connectors, e.g. USB, XLR, in loudspeakers, microphones or headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Studio Devices (AREA)

Abstract

本实用新型涉及一种耳机，包括两个听筒主体、两个MIPI摄像头、MIPI驱动器和处理器；所述两个MIPI摄像头分别设置在所述两个听筒主体上且位于背对佩戴者的一侧；所述处理器通过所述MIPI驱动器与所述两个MIPI摄像头的MIPI接口连接，并获取所述两个MIPI摄像头拍摄的图像。相比于现有技术，本实用新型在两个听筒主体上设置两个MIPI摄像头，进而使在不影响用户日常生活的情况下，便捷地获取了较大视场角的摄像，并且通过采用MIPI摄像头和MIPI驱动器，实现摄像头与处理器的MIPI接口通讯，进而使传输带宽可以达10Gb/s以上，达到千万级别以上的摄像头分辨率，从而提高传输数据量，实现对高分辨率的图片进行传输，降低功耗，提高传输效率。

Description

一种耳机
技术领域
本实用新型涉及耳机领域，特别指针对耳机。
背景技术
随着信息技术的发展，虚拟现实(Virtual Reality，以下简称VR)技术作为一种可以创建和体验虚拟世界的计算机仿真系统，迅速遍布了包括视频，游戏，图片，购物等各个领域。全景图像和全景视频作为VR内容的重要一部分，通过它们对应的生成工具如全景相机进行拼接以获取大视场图片，可以让观看者更加身临其境的感受拍摄这张图片或者视频时的各个视角。但是，目前市面上存在的全景相机产品体积相对较大，不便于携带，或者拍摄全景照片时需要刻意地手持用一个设备来进行拍摄，不够方便。
而方便携带或者体积较小的例如具有摄像功能的眼镜或者蓝牙耳机等却都是只有一个摄像头，而且因为一个摄像头其视场角必定不会太大，没法提供足够角度的内容让观看者有身临其境的感受，并且很少有人会在日常生活愿意戴一个眼镜上有一个摄像头的电子产品去进行拍摄，周围人也会觉得奇怪。因此，如何在不影响日常生活，又能获取较大视场角的摄像成为了亟需解决的问题。
实用新型内容
基于此，本实用新型的目的在于，提供一种耳机，其具有在不影响日常生活时，便捷地获取较大视场角的摄像的优点。
一种耳机，包括两个听筒主体、两个MIPI摄像头、MIPI驱动器和处理器；所述两个MIPI 摄像头分别设置在所述两个听筒主体上且位于背对佩戴者的一侧；所述处理器通过所述MIPI 驱动器与所述两个MIPI摄像头的MIPI接口连接，并获取所述两个MIPI摄像头拍摄的图像。
相比于现有技术，本实用新型通过在两个听筒主体上设置两个MIPI摄像头，进而使在不影响用户日常生活的情况下，便捷地获取了较大视场角的摄像。进一步地，采用MIPI摄像头和MIPI驱动器，实现摄像头与处理器的MIPI接口通讯，进而使传输带宽可以达10Gb/s以上，达到千万级别以上的摄像头分辨率，从而提高传输数据量，实现对高分辨率的图片进行传输，降低功耗，提高传输效率。
进一步地，所述两个听筒主体上靠近佩戴者的一侧分别设置有两个扬声器；所述两个扬声器设置在所述两个扬声器均与所述处理器连接。
进一步地，所述两个听筒主体上还分别设置有两个麦克风；所述两个麦克风均与所述处理器连接。
进一步地，还包括两个加速度传感器；所述两个加速度传感器均与所述处理器连接，且将获取的人体运动信息传送到所述处理器。
进一步地，所述两个听筒主体内嵌设有两个定位装置；所述两个定位装置与所述处理器连接，并将定位信息传送到所述处理器。
进一步地，还包括耳机线；所述两个MIPI摄像头均经由所述耳机线和MIPI驱动器与所述处理器连接，所述两个扬声器、和/或两个麦克风、和/或两个加速度传感器、和/或两个定位装置均经由所述耳机线与所述处理器连接。
进一步地，所述两个听筒主体为设置在佩戴者左耳一侧的左听筒主体，以及设置在佩戴者右耳一侧的右听筒主体；所述两个MIPI摄像头为设置在左听筒主体且背对佩戴者左耳的一侧的左MIPI摄像头，以及设置在右听筒主体且背对佩戴者右耳的一侧的右MIPI摄像头，所述左MIPI摄像头与所述右MIPI摄像头为视场角为120-220度的广角摄像头，以通过左MIPI 摄像头和所述右MIPI摄像头获得广角照片。
进一步地，所述两个定位装置为嵌设在左听筒主体上的左陀螺仪和嵌设在右听筒主体上的右陀螺仪；所述定位信息为左陀螺仪所在的姿态角和右陀螺仪所在的姿态角度，以获取两个MIPI摄像头的位置。
进一步地，还包括嵌设在处理器表面且与处理器连接的一个或多个按键；所述按键与所述处理器连接，且通过所述按键控制所述两个MIPI摄像头的拍摄操作，以实现便捷地拍摄图像。
进一步地，还包括后端处理平台和USB通讯装置；所述后端处理平台通过所述USB通讯装置与所述处理器连接，并获取所述处理器传送的两个MIPI摄像头拍摄的图像。
为了更好地理解和实施，下面结合附图详细说明本实用新型。
附图说明
图1为本实用新型的耳机的结构示意图；
图2为本实用新型的耳机的原理框图；
图3为本实用新型的耳机的拍摄区域；
图4为本实用新型耳机的设置位置；
图5为本实用新型人体佩戴耳机的位置坐标图；
图6为左MIPI摄像头和右MIPI摄像头拍摄的重叠区域的示意图。
具体实施方式
请同时参阅图1和图2，图1为本实用新型的耳机的结构示意图；图2为本实用新型的耳机的原理框图。本实施例提供的耳机包括两个听筒主体1、两个MIPI摄像头2、MIPI驱动器3和处理器4。所述两个MIPI(移动产业处理器接口，“Mobile Industry ProcessorInterface”，以下简称MIPI)摄像头2分别设置在所述两个听筒主体1上且位于背对佩戴者的一侧；所述处理器4通过所述MIPI驱动器3与所述两个MIPI摄像头2的MIPI接口连接，并获取所述两个MIPI摄像头2拍摄的图像。在两个听筒主体1上设置两个MIPI摄像头2，进而使在不影响用户日常生活的情况下，便捷地获取了较大视场角的摄像。进一步地，通过采用MIPI接口通讯，从而提高传输数据量，实现对高分辨率的图片进行传输，降低功耗，提高传输效率。
请同时参阅图3和图4，图3为本实用新型的耳机的拍摄区域；图4为本实用新型耳机的设置位置。所述两个听筒主体1为设置在佩戴者左耳一侧的左听筒主体11，以及设置在佩戴者右耳一侧的右听筒主体12。所述两个MIPI摄像头2为设置在左听筒主体11且背对佩戴者左耳的一侧的左MIPI摄像头21，以及设置在右听筒主体12且背对佩戴者右耳的一侧的右MIPI摄像头22。具体的，所述左听筒主体11的面向左耳的一侧设有左播放口111，所述左听筒主体11的与左播放口111背对的一侧设置所述左MIPI摄像头21，左MIPI摄像头21的视场角为120-220度。优选的，左MIPI摄像头21为视场角是180度或高于180度的超广角镜头，用于拍摄佩戴者左侧至少180度视场角范围内(如图3中所示的A区域)的静态或动态图像(即视频)。所述右听筒主体12的面向右耳的一侧设有右播放口，右听筒主体12的与右播放口121背对的一侧设置所述右MIPI摄像头22，右MIPI摄像头21的视场角为120-220 度。优选的，右MIPI摄像头22为视场角是180度或高于180度的超广角镜头，用于拍摄佩戴者右侧至少180度视场角范围内(如图3中所示的B区域)的静态或动态图像(即视频)。
本实用新型一实施例中，所述左MIPI摄像头21和右MIPI摄像头22的超广角镜头为鱼眼镜头，鱼眼镜头采用的透镜为鱼眼透镜。本实施例中，用户佩戴耳机后，若定义人眼正视的方向为光轴Y，左MIPI摄像头21与右MIPI摄像头22连线为轴X，则左MIPI摄像头21 与右MIPI摄像头22的连线X与人眼光轴垂直，即左MIPI摄像头21与右MIPI摄像头22 的安装方向与用户的眼睛垂直，也即左摄像头的光轴、右摄像头的光轴与人眼光轴垂直(包括大致垂直)。优选地，左MIPI摄像头21与右MIPI摄像头22连线与用户左耳孔和右耳孔形成的连线平行或重合。通过左鱼眼透镜可拍摄佩戴者左侧A区域至少180度视场角的范围的静态或动态图像，通过右鱼眼透镜可拍摄佩戴者右侧B区域至少180度视场角的范围的静态或动态图像。左MIPI摄像头21与右MIPI摄像头22拍摄的图像数据经过拼接后，就可以获得360度全景图像。
在一个实施例中，所述两个听筒主体1上靠近佩戴者的一侧分别设置有两个扬声器；所述两个扬声器设置在所述两个扬声器均与所述处理器4连接，并接收处理器4传送的控制信号，实现对音频的播放。所述两个扬声器可为设置在所述左听筒主体11内左播放口111位置处的左扬声器51，以及设置在所述右听筒主体12内右播放口121位置处的右扬声器52。
在一个实施例中，所述两个听筒主体1上还分别设置有两个麦克风；所述两个麦克风均与所述处理器4连接，并接收处理器4传送的控制信号，实现对麦克风的开启和关闭，以及麦克风音频信号的传输。所述两个麦克风为设置在左听筒主体11上的左麦克风61，以及设置在右听筒主体12上的右麦克风62。优选的，可将左麦克风61和右麦克风62对称设置，耳机两边设置麦克风可以提供透音的效果，并且可以静噪消除背景音。用户带着普通耳机可能会不容易听到外面的声音，而如果在左右听筒主体12上各加上麦克风，就可以把麦克风采集的声音直接传到耳朵，从而达到环境透音的效果，并能够消除背景音。
在一实施例中，所述两个听筒主体1上还分别设置有两个加速度传感器，所述两个加速度传感器与所述处理器4连接，并将检测的信号传送到所述处理器4中。所述两个加速度传感器为设置在左听筒主体11上的左加速度传感器71，以及设置在右听筒主体12上的右加速度传感器72，以通过左加速度传感器71和右加速度传感器72获取人头的运动状态，如静坐或走路或跑步的状态。
在一个实施例中，还包括嵌设在处理器4表面且与处理器4连接的一个或多个按键；如用于控制扬声器对音频的播放开始、暂停、音量大小、接听来电等等的按键。在另一实施例中，按键还包括用于控制耳机上至少一个麦克风的开启及音量控制的按键。在一个实施例中，按键还包括用于控制左、右MIPI摄像头22对图像的拍摄操作的按键。例如，短按特定按键，可以开始利用左、右MIPI摄像头22拍摄图像，再次短按该按键可以停止拍摄图像；长按该特定按键，可以开始利用左、右MIPI摄像头22开始拍摄视频并启动麦克风进行录音，再次长按该按键可以停止视频的拍摄。该按键控制模式的示例并非用于限制本实用新型，还可以设置其他多种多样的按键控制模式，例如，可以利用不同的按键控制不同的功能，也可以利用同一按键的不同按压方式来控制不同的功能。在本实用新型另一实施例中，部分按键也可以由滑轮或滑块代替。
在一个实施例中，所述两个听筒主体1上还分别设有两个定位装置；所述两个定位装置与所述处理器4连接，并将定位信息传送到所述处理器4。所述两个定位装置为嵌设在左听筒主体11上的左陀螺仪81和嵌设在右听筒主体12上的右陀螺仪82。所述定位信息为左陀螺仪81所在的姿态角和右陀螺仪82所在的姿态角度，以分别表征左MIPI摄像头21和右MIPI摄像头22所在的位置。请参阅图5，其为本实用新型人体佩戴耳机的位置坐标图。在一个实施例中，所述左右陀螺仪82信息为当前的左陀螺仪81的姿态角度GL和右陀螺仪82的姿态角度GR，其为一个三维向量，GL为(Lpitch,Lyaw,Lroll)，GR为(Rpitch,Ryaw,Rroll)，其中，定义左听筒主体11的中心和右听筒主体12的中心连线为X轴方向，竖直方向为Y轴方向，垂直于X轴和Y轴所在平面的方向为Z轴方向，用pitch、yaw、roll分别表示在这X轴、Y轴和Z轴三个方向的旋转角度。
在一个实施例中，还包括耳机线9；所述两个听筒主体1和两个MIPI摄像头2均通过所述耳机线9与所述MIPI驱动器3连接，且所述两个扬声器、两个麦克风、两个定位装置以及两个加速度传感器均通过所述耳机线9与所述处理器4连接。其中，所述耳机线9内集成了MIPI接口线路，串口线，音频线，数据线和电源线等线路，通过对耳机线9内的走线定义，实现两个听筒主体1、两个MIPI摄像头2、两个扬声器、两个麦克风、两个定位装置以及两个加速度传感器和处理器4的通讯。
在一个实施例中，所述处理器4还将两个MIPI摄像头2拍摄的图像和拼接为广角甚至为 360度视觉的图像，从而获取广角甚至为全景图像，下面将具体阐述处理器4将两个MIPI摄像头2拍摄的图像拼接获得全景图像的方法。
所述处理器4将两个MIPI摄像头2拍摄的图像拼接获得全景图像的方法为：所述处理器 4获取两个MIPI摄像头2拍摄的图像；剔除两个MIPI摄像头2拍摄的图像中被人脸遮挡的区域，以获取有效的两个待拼接的图像；提取有效的两个待拼接的图像中的特征点，并对有效的两个待拼接的图像的特征点进行配准；根据配准的特征点统一有效的两个待拼接的图像的坐标系，以获得初拼接的全景图；在初拼接的全景图找寻拼接缝并生成掩码图像；将掩码图和初拼接的全景图进行融合，获取拼接后的全景图。其中，所述两个MIPI摄像头2拍摄的图像为左MIPI摄像头21拍摄的左图像，以及右MIPI摄像头22拍摄的右图像。
在一个实施例中，在获取两个MIPI摄像头2拍摄的图像后，所述处理器4还获取两个定位装置传送的定位信息，并根据所述定位信息计算两个MIPI摄像头2的相对位置，且根据两个MIPI摄像头2相对位置查询数据库是否存在其对应的拼接模板数据，若存在，则通过数据库存储的拼接模板数据将两个MIPI摄像头2拍摄的图像拼接成初拼接的全景图，并获取拼接模板数据中的掩码图，且将掩码图和初拼接的全景图进行融合，获取拼接后的全景图；若不存在对应的拼接模板数据，才剔除两个MIPI摄像头2拍摄的图像中被人脸遮挡的区域。其中，所述两个定位装置为嵌设在左听筒主体11上的左陀螺仪81和嵌设在右听筒主体12上的右陀螺仪82。所述定位信息为左陀螺仪81所在的姿态角和右陀螺仪82所在的姿态角度。所述两个MIPI摄像头2的相对位置的计算方式为：将左陀螺仪81所在的定位信息GL和右陀螺仪82所在的信息GR相减即为当前拍摄左右图像的左右MIPI摄像头22的相对位置D，具体为 (Lpitch-Rpitch,Lyaw-Ryaw,Lroll-Rroll)。所述根据两个MIPI摄像头相对位置查询数据库是否存在其对应的拼接模板数据的方式为：将两个MIPI摄像头相对位置与数据库中存储的拼接模板数据进行比对，判断是否存在一项数据与两个摄像头相对位置相同，若相同，则存在对应的拼接模板数据；否则，不存在对应的拼接模板数据。所述拼接模板数据包括两个MIPI摄像头2 的相对位置以及在所述相对位置上进行图像拼接时所需的拼接参数，所述拼接参数包括剔除两个MIPI摄像头2拍摄的图像中被人脸遮挡的区域时的剔除位置、统一有效的两个待拼接的图像的坐标系时的透视投影矩阵以及掩码图像。
在一个实施例中，所述处理器4剔除两个MIPI摄像头2拍摄的图像中被人脸遮挡的区域，以获取有效的两个待拼接的图像时，包括：将左图像和右图像分别进行灰度化处理，获取灰度化的左图像和右图像；分别获取灰度化的左图像和右图像在每行上的每个像素点的梯度值；从右到左依序统计灰度化的左图像在每列上的梯度值的总和，且判断每列的梯度值总和是否大于预先设定的阈值，若大于设定的阈值，则将该列作为新的左边界，截取从该新的左边界至左图像的右边界的图像作为有效的待拼接的左图像；若非大于设定的阈值，则往左移动一列，继续统计下一列的梯度值总和；从左到右依序统计灰度化的右图像在每列上的梯度值的总和，且判断每列的梯度值总和是否大于预先设定的阈值，若大于设定的阈值，则将该列作为新的左边界，截取从该新的左边界至左图像的右边界的图像作为有效的待拼接的右图像；若非大于设定的阈值，则往右移动一列，继续统计下一列的梯度值总和。
其中，从右到左的位置定义为面对左图像时，左耳所对的一侧为左边，右耳所对的一侧为右边。从左到右的位置定义为面对右图像时，左耳所对的一侧为左边，右耳所对的一侧为右边。
在一个实施例中，为提高拼接效率，在剔除两个MIPI摄像头2拍摄的图像中被人脸遮挡的区域后，所述处理器4还分别获取左图像和右图像中重叠的区域，以左图像和右图像中重叠的区域作为有效的两个待拼接的图像。所述获取有效重叠区域为：根据左陀螺仪81和和右陀螺仪82的相对位置以及左MIPI摄像头21和右MIPI摄像头22的视场角，通过标定的视场角起始位置以及图像所在的重叠起始位置的经验值获取。具体的，请参阅图6，图6为左MIPI摄像头21和右MIPI摄像头22拍摄的重叠区域的示意图。在左MIPI摄像头21和右 MIPI摄像头22的相对位置和视场角为120°确定的情况下，通过对预先标定的经验值，在这个相对角度下就可以获取左图像和右图像重叠的区域。
在一个实施例中，可通过加速稳健特征(Speeded Up Robust Features，简称“SURF”)、算法快速特征点提取和描述(Oriented FAST and Rotated BRIEF，简称“ORB”)算法或者尺度不变特征转换(Scale-invariant feature transform，简称“SIFT”)算法分别提取有效的待拼接的左图像和有效的待拼接的右图像中的特征点，并对有效的待拼接的左图像和有效的待拼接的右图像中的特征点进行配准。
为进一步减少误匹配，提高匹配的准确性，在一个实施例中，使用随机抽样一致算法 (random sample consensus，简称RANSAC)算法剔除掉有效的待拼接的左图像和有效的待拼接的右图像中的误匹配的特征点。
在一个实施例中，通过求解透视投影矩阵，并将待拼接的左图像通过透视投影投射到待拼接的右图像，以统一有效的两个待拼接的图像的坐标系，具体包括如下步骤：
配对的左右图像可用n组特征点坐标对表示，具体(L1(x1,y1),R1(x1’,y1’)), (L2(x2,y2),R2(x2’,y2’)),……,(Ln(xn,yn),Rn(xn’,yn’))，(Li,Ri)为一组匹配对，Li和Ri均为一个二维坐标，Li包含的x,y为这个特征点在左图像的坐标位置，Ri包含的x,y为这个特征点在右图像上的坐标位置，通过解齐次线性方程可以计算出存在一个透视投影矩阵M，使得 R＝M*L，其中其中，透视投影矩阵M的8个参数代表着旋转、尺寸、平移的量，也就是透视投影矩阵M乘上左图特征点的坐标(x,y)即可得到右图特征点的坐标(x’,y’)，因为透视投影矩阵中M中有8个未知数，所以一般来说8组特征对即可得到一组特定的解，不过一般来说特征点对会超过这个值，那么最后计算出来的M的各个参数是使得最小，其中Ri-M·Li为M乘上Li以后的向量坐标和原本的R做差得到一个向量，然后对这个差向量求模得到该向量的长度，也就是最后的M要使得所有的左图特征点转换后和所有对应的右图特征点的差达到最小值，也就是使得下面公式达到最小值：
因此，透视投影矩阵M乘上左图中每个点即可得到左图上每个点在最后以右图为标准的全景图中的位置，即实现了左右图像的坐标系的统一，此时即获得有缝的全景图。
在另外一个实施例中，也可通过求解透视投影矩阵，并将待拼接的右图像通过透视投影投射到待拼接的左图像，以统一有效的两个待拼接的图像的坐标系。
为获得较完整的图像，防止因视差比较大而影响拼接效果，在一个实施例中，通过最大流算法在初拼接的全景图中进行拼接缝查找再生成掩码图。
为方便快捷地对相对位置相同的两个MIPI摄像头2获取的左右图像进行拼接，在一个实施例中，还将两个MIPI摄像头2的相对位置、剔除两个MIPI摄像头2拍摄的图像中被人脸遮挡的区域的剔除位置、统一有效的两个待拼接的图像的坐标系时的透视投影矩阵、掩码图像绑定为拼接模板数据，保存至数据库中，进而在遇到相同的两个MIPI摄像头的相对位置，直接调取该拼接模板数据进行有缝拼接。
在一个实施例中，通过渐进渐出融合方法或者多频段融合方法将掩码图和初拼接的全景图进行融合。
在一个实施例中，所述处理器可以为影像SOC芯片、AI芯片、GPU、或FPGA等处理器。
在一个实施例中，还包括USB通讯装置10和后端处理平台20。所述处理器4通过所述 USB通讯装置10与所述后端处理平台20连接，所述处理器4还将获取的两个MIPI摄像头2拍摄的图像以及两个陀螺仪传送的定位信息传送到所述后端处理平台20，由后端处理平台20 实现上述对两个MIPI摄像头2拍摄的图像进行拼接，进而获得全景图，通过处理器结合后端处理平台对拍摄的图像进行处理，提高处理效率。所述后端处理平台20可以为手机、平板电脑、笔记本电脑、台式电脑等。
在一个实施例中，所述处理器4获取MIPI摄像头拍摄的图像后，还判断当前处理速度和内存占用大小是否小于预设阈值；若小于设定阈值，则将MIPI摄像头拍摄的图像传送到所述后端处理平台20，由后端处理平台20对获取的MIPI摄像头拍摄的图像进行拼接，获取全景图像；若非小于设定阈值，则所述处理器4对获取的MIPI摄像头拍摄的图像进行拼接，获取全景图像。
相比于现有技术，本实用新型通过采用MIPI摄像头和MIPI驱动器，实现摄像头与处理器的MIPI接口通讯，进而使传输带宽可以达10Gb/s以上，达到千万级别以上的摄像头分辨率，从而提高传输数据量，实现对高分辨率的图片进行传输，降低功耗，提高传输效率。
进一步地，剔除两个MIPI摄像头拍摄的图像中遮挡的区域，再将图像拼接形成全景图像，拼接成的全景图像完整且效果好，可获取超过人眼所看角度范围的全景图像视觉。而且以左右MIPI摄像头的相对位置为依据，在与数据库中存储的左右MIPI摄像头的相对位置相同时，无需重新确定拼接参数，直接调用拼接所需要的参数进行拼接，大大提高了拼接效率。
以上所述实施例仅表达了本实用新型的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对实用新型专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本实用新型构思的前提下，还可以做出若干变形和改进，这些都属于本实用新型的保护范围。

Claims (10)

1.一种耳机，包括两个听筒主体，其特征在于，还包括两个MIPI摄像头、MIPI驱动器和处理器；所述两个MIPI摄像头分别设置在所述两个听筒主体上且位于背对佩戴者的一侧；所述处理器通过所述MIPI驱动器与所述两个MIPI摄像头的MIPI接口连接，并获取所述两个MIPI摄像头拍摄的图像。
2.根据权利要求1所述的耳机，其特征在于，
所述两个听筒主体上靠近佩戴者的一侧分别设置有两个扬声器；所述两个扬声器均与所述处理器连接。
3.根据权利要求2所述的耳机，其特征在于，所述两个听筒主体上还分别设置有两个麦克风；所述两个麦克风均与所述处理器连接。
4.根据权利要求3所述的耳机，其特征在于，还包括两个加速度传感器；所述两个加速度传感器均与所述处理器连接，且将获取的人体运动信息传送到所述处理器。
5.根据权利要求4所述的耳机，其特征在于，所述两个听筒主体内嵌设有两个定位装置；所述两个定位装置与所述处理器连接，并将定位信息传送到所述处理器。
6.根据权利要求5所述的耳机，其特征在于，还包括耳机线；还包括耳机线；所述两个MIPI摄像头均经由所述耳机线和MIPI驱动器与所述处理器连接，所述两个扬声器、和/或两个麦克风、和/或两个加速度传感器、和/或两个定位装置均经由所述耳机线与所述处理器连接。
7.根据权利要求6所述的耳机，其特征在于，所述两个听筒主体为设置在佩戴者左耳一侧的左听筒主体，以及设置在佩戴者右耳一侧的右听筒主体；所述两个MIPI摄像头为设置在左听筒主体且背对佩戴者左耳的一侧的左MIPI摄像头，以及设置在右听筒主体且背对佩戴者右耳的一侧的右MIPI摄像头；所述左MIPI摄像头与所述右MIPI摄像头为视场角为120-220度的广角摄像头。
8.根据权利要求7所述的耳机，其特征在于，所述两个定位装置为嵌设在左听筒主体上的左陀螺仪和嵌设在右听筒主体上的右陀螺仪；所述定位信息为左陀螺仪所在的姿态角和右陀螺仪所在的姿态角度。
9.根据权利要求1所述的耳机，其特征在于，还包括嵌设在处理器表面且与处理器连接的一个或多个按键；所述按键与所述处理器连接，且所述按键控制所述两个MIPI摄像头的拍摄操作。
10.根据权利要求1所述的耳机，其特征在于，还包括后端处理平台和USB通讯装置；所述后端处理平台通过所述USB通讯装置与所述处理器连接，并获取所述处理器传送的两个MIPI摄像头拍摄的图像。
CN201821059614.7U 2018-07-04 2018-07-04 一种耳机 Active CN209057332U (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201821059614.7U CN209057332U (zh) 2018-07-04 2018-07-04 一种耳机
EP18204847.0A EP3591992A1 (en) 2018-07-04 2018-11-07 Earphone
US16/186,884 US20200014829A1 (en) 2018-07-04 2018-11-12 Earphone

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201821059614.7U CN209057332U (zh) 2018-07-04 2018-07-04 一种耳机

Publications (1)

Publication Number Publication Date
CN209057332U true CN209057332U (zh) 2019-07-02

Family

ID=64267583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201821059614.7U Active CN209057332U (zh) 2018-07-04 2018-07-04 一种耳机

Country Status (3)

Country Link
US (1) US20200014829A1 (zh)
EP (1) EP3591992A1 (zh)
CN (1) CN209057332U (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109068207A (zh) * 2018-07-04 2018-12-21 广州希脉创新科技有限公司 一种耳机及耳机系统
CN111541969A (zh) * 2020-04-28 2020-08-14 东莞市猎声电子科技有限公司 一种tws耳机坐姿健康检测的方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9229227B2 (en) * 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US9826297B2 (en) * 2014-10-29 2017-11-21 At&T Intellectual Property I, L.P. Accessory device that provides sensor input to a media device
KR20230008893A (ko) * 2015-04-19 2023-01-16 포토내이션 리미티드 Vr/ar 응용에서 심도 증강을 위한 다중-기선 카메라 어레이 시스템 아키텍처
US10028059B2 (en) * 2015-08-24 2018-07-17 Microsoft Technology Licensing, Llc Headphone and associated host apparatus supporting both digital and analog audio connectivity
CN206585725U (zh) * 2017-03-16 2017-10-24 李文杰 一种耳机

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109068207A (zh) * 2018-07-04 2018-12-21 广州希脉创新科技有限公司 一种耳机及耳机系统
CN109068207B (zh) * 2018-07-04 2023-05-09 广州希脉创新科技有限公司 一种耳机及耳机系统
CN111541969A (zh) * 2020-04-28 2020-08-14 东莞市猎声电子科技有限公司 一种tws耳机坐姿健康检测的方法
CN111541969B (zh) * 2020-04-28 2021-08-13 东莞市猎声电子科技有限公司 一种tws耳机坐姿健康检测的方法

Also Published As

Publication number Publication date
EP3591992A1 (en) 2020-01-08
US20200014829A1 (en) 2020-01-09

Similar Documents

Publication Publication Date Title
JP7408678B2 (ja) 画像処理方法およびヘッドマウントディスプレイデバイス
CN109064397B (zh) 一种基于摄像耳机的图像拼接方法及系统
US20230141039A1 (en) Immersive displays
KR101986329B1 (ko) 범용의 구형 캡처 방법들
CN104618705B (zh) 基于眼球追踪的不同距离自适应全息显示方法及设备
US8963956B2 (en) Location based skins for mixed reality displays
US20210058612A1 (en) Virtual reality display method, device, system and storage medium
US20150358539A1 (en) Mobile Virtual Reality Camera, Method, And System
CN106302132A (zh) 一种基于增强现实的3d即时通讯系统与方法
CN108632695B (zh) 一种耳机
WO2021147921A1 (zh) 图像处理方法、电子设备及计算机可读存储介质
CN112423190A (zh) 用于头戴式设备的基于音频的反馈
CN209057332U (zh) 一种耳机
CN110050255A (zh) 图像处理系统和方法
CN107249166A (zh) 一种完全沉浸式的耳机立体声实现方法及系统
JPWO2020095639A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN206585725U (zh) 一种耳机
US11522841B1 (en) Third-party data manipulation with privacy controls
CN109068207B (zh) 一种耳机及耳机系统
CN112967261B (zh) 图像融合方法、装置、设备及存储介质
JP2000132693A (ja) 画像処理装置および方法、並びに提供媒体
JP2018157314A (ja) 情報処理システム、情報処理方法及びプログラム
JP2022022871A (ja) 処理装置および没入度導出方法
CN111797754A (zh) 图像检测的方法、装置、电子设备及介质
US11734905B1 (en) Systems and methods for lighting subjects for artificial reality scenes

Legal Events

Date Code Title Description
GR01 Patent grant
GR01 Patent grant