TWI383666B - 多重鏡頭相機系統之先進式動態接圖方法 - Google Patents
多重鏡頭相機系統之先進式動態接圖方法 Download PDFInfo
- Publication number
- TWI383666B TWI383666B TW096131012A TW96131012A TWI383666B TW I383666 B TWI383666 B TW I383666B TW 096131012 A TW096131012 A TW 096131012A TW 96131012 A TW96131012 A TW 96131012A TW I383666 B TWI383666 B TW I383666B
- Authority
- TW
- Taiwan
- Prior art keywords
- feature
- image
- weight
- detector
- input image
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
- G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
本發明係有關於一種多重鏡頭相機系統。更精確而言,本發明係有關於一種針對視差(parallax)現象的多重鏡頭相機系統之先進式動態接圖方法。
習知技術中,例如美國專利公開第US2004/0201769 A1號案,為了抑制相機系統所拾取之影像中的視差現象,其揭露的多重鏡頭相機系統,即使用光學方法來抑制視差現象。於光學方法中,鏡頭組必須置於準確的位置,否則,影像間會出現視差。因此,還是有必要實施視訊接圖引擎中的快速接圖點(stitching point)搜尋引擎,動態地調整由於物體距離改變所造成的接圖點位置改變。
因此,本發明提供一種快速且有效的搜尋引擎,以動態方式更新接圖點,使得視差現象得以補償。
本發明提供一種多重鏡頭相機系統,其係由數個面向不同方向的單一鏡頭相機所組成。為能得到廣角影像,接圖(stitching)技術是必需的。但是,大部分此種多鏡頭系統都會有視差現象,即當物體由近到遠移動時,接圖點會移動。本發明即在於提供一種動態改變接圖點而使影像無縫(seamless)的方法,此方法可與傳統的接圖技術搭配應用任何種類的多重鏡頭相機系統。
現在,將參照附圖針對本發明較佳實施例給予更詳細說明。
圖1係說明本發明之動態接圖系統1的方塊圖。該動態接圖引擎10接收來自相機陣列20的影像或視訊流。倘若物體的距離改變,則該輸入的資料被送到該動態接圖處理器101以更新接圖點122。傳統接圖處理器102根據經更新的接圖點122將輸入影像轉換並將其接圖成一個影像。最後,經接圖的影像於更新的接圖點122上以混合(blending)技術處理以得到無縫的廣角影像。
圖2顯示來自該相機陣列20的輸入影像。陰影區域是來自側邊相機之側邊影像與來自中間相機之中間影像間的重疊區域。重疊區域用於動態接圖引擎10中的特徵偵測視窗。在該重疊區域中的特徵與該二影像中的是相同的。因此,動態接圖引擎10中的特徵偵測視窗界定於此區域中。
圖3說明動態接圖引擎10的方塊圖。中間輸入影像104首先被送到中心特徵偵測器107及中心邊緣偵測器108。中心特徵偵測器107讀取特徵偵測參數106以尋找特徵點的位置,並輸出特徵相對座標到該中心邊緣偵測器108。再者,特徵偵測器107亦能輸出各特徵的權重(W1
至Wn
)到區塊比對處理器109以便更精確地得到接圖點122。只要該中心影像104的邊緣偵測器108接收到來自該特徵偵測器107的特徵相對座標,則偵測特徵周圍的邊緣,並將影像雙色調處理(bi-tone)成黑白影像。邊緣偵測器108的方塊能根據系統準確度要求及可用的運算能力予以參數化。
就側(左或右)邊輸入影像而言,來自側(左或右)邊相機的影像被轉換處理器110轉換到中心輸入影像的相同平面。之後,側邊邊緣偵測器111接收來自中心特徵偵測器107之中心影像的特徵點相對座標。側邊邊緣偵測器111將該等相對座標轉換至其自己的座標空間。根據此座標空間的座標,側邊邊緣偵測器111界定各特徵點的區塊比對視窗,各特徵點係在特徵偵測器107中界定。區塊比對視窗亦稱為移動視窗,其在特徵點附近且較大於中心邊緣偵測視窗。
圖4說明特徵偵測視窗、邊緣偵測視窗、以及區塊比對視窗。在邊緣偵測器108及111之後,區塊比對處理器109對來自中心及側邊相機的影像進行區塊比對。此外,亦可將來自該中心特徵偵測器107的各特徵的加權列入考量。於區塊比對處理器109中,計算SAD(Sum of Absolute Difference,差異絕對值總和)且最後找出給傳統接圖引擎的新的接圖點122。
圖5顯示沒有邊緣偵測器108的動態接圖引擎10的方塊圖。加入邊緣偵測器108乃為避免由視訊雜訊所造成的不準確。至於沒有邊緣偵測器108的動態接圖引擎10會損失某程度的準確度,但仍能被低成本的系統接受。因此,針對仍然具有限的運算能力的低成本的系統,可省略邊緣偵測器108。
雖然本發明業已以較佳實施例的方式加以描述,應瞭解到本發明可以多種其它特定格式實施,而不背離本發明的精神與範疇。本發明示範例亦可被視為說明而非限制,且本發明並不受限於本文所給之細節,但可在所附之申請專利範圍以及等同物的全部範圍的範疇內加以修飾。
1...動態接圖系統
10...動態接圖引擎
20...相機陣列
101...動態接圖處理器
102...傳統接圖處理器
103...具動態接圖點之接圖影像
104...中心輸入影像
105...左或右輸入影像
106...特徵偵測參數
107...特徵偵測器
108...邊緣偵測器
109...區塊比對處理器
110...轉換處理器
111...側邊邊緣偵測器
120...轉換參數
121...邊緣偵測參數
122...接圖點
123...修剪
圖1係根據本發明之動態接圖系統的方塊圖;圖2係顯示相機陣列的圖;圖3係顯示動態接圖引擎的方塊圖;圖4係顯示特徵偵測器視窗、邊緣偵測器視窗、以及區塊比對視窗的方塊圖;以及圖5係顯示沒有邊緣偵測器的動態接圖引擎的方塊圖。
10...動態接圖引擎
104...中心輸入影像
105...左或右輸入影像
106...特徵偵測參數
107...特徵偵測器
108...邊緣偵測器
109...區塊比對處理器
110...轉換處理器
111...側邊邊緣偵測器
120...轉換參數
121...邊緣偵測參數
122...接圖點
Claims (7)
- 一種多重鏡頭相機系統,包含:相機陣列,用以捕捉影像,作為輸入影像;動態接圖引擎,具有動態接圖處理器與傳統接圖處理器,用以接收來自該相機陣列的該輸入影像;特徵偵測器,讀取特徵偵測參數以尋找特徵點的位置並輸出特徵相關座標及各特徵的權重;以及區塊比對處理器,接收來自該特徵偵測器輸出之各該特徵的權重,並輸出經該邊緣偵測器輸出之中心與兩側影像的相對應權重特徵點的差異絕對值總和,其中該動態接圖處理器接收來自該相機陣列的該輸入影像並更新接圖點,以及該傳統接圖處理器根據該更新的接圖點將該輸入影像轉換並將其接圖成一個影像。
- 如申請專利範圍第1項之系統,其中該相機陣列捕捉的影像在相鄰相機中間具有影像重疊區域。
- 如申請專利範圍第1項之系統,進一步包含:邊緣偵測器,讀取邊緣偵測參數以尋找影像邊緣的位置,並輸出僅含輸入影像邊緣的影像;以及轉換處理器,將來自側邊相機的影像轉換成中心輸入影像的相同平面。
- 如申請專利範圍第3項之系統,其中該特徵偵測器 偵測在該重疊區域中的多重特徵點,且該重疊區域中界定出多重區塊比對視窗。
- 如申請專利範圍第4項之系統,其中該區塊比對視窗的尺寸可根據視差加以調整。
- 如申請專利範圍第4項之系統,其中該區塊比對視窗被置於該特徵點的中心。
- 一種多重鏡頭相機系統之先進式動態接圖方法,該多重鏡頭相機系統包含相機陣列,用以捕捉影像,作為輸入影像;動態接圖引擎,具有動態接圖處理器與傳統接圖處理器,用以接收來自該相機陣列的該輸入影像;特徵偵測器,讀取特徵偵測參數以尋找特徵點的位置並輸出特徵相關座標及各特徵的權重;以及區塊比對處理器,接收來自該特徵偵測器輸出之各該特徵的權重,並輸出經該邊緣偵測器輸出之中心與兩側影像的相對應權重特徵點的差異絕對值總和,其中該動態接圖處理器接收來自該相機陣列的該輸入影像並更新接圖點,以及該傳統接圖處理器根據該更新的接圖點將該輸入影像轉換並將其接圖成一個影像,該方法包含:補捉影像作為輸入影像;接收該輸入影像並更新該接圖點;讀取特徵偵測參數以尋找特徵點的位置並輸出特徵相關座標及各特徵的權重;接收來自該特徵偵測器輸出之各該特徵的權重,並輸出經該邊緣偵測器輸出之中心與兩側影像的相對應權重 特徵點的差異絕對值總和;以及根據等更新的接圖點將該等輸入影轉換並接圖成一個影像。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW096131012A TWI383666B (zh) | 2007-08-21 | 2007-08-21 | 多重鏡頭相機系統之先進式動態接圖方法 |
US12/229,285 US8004557B2 (en) | 2007-08-21 | 2008-08-20 | Advanced dynamic stitching method for multi-lens camera system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW096131012A TWI383666B (zh) | 2007-08-21 | 2007-08-21 | 多重鏡頭相機系統之先進式動態接圖方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW200910930A TW200910930A (en) | 2009-03-01 |
TWI383666B true TWI383666B (zh) | 2013-01-21 |
Family
ID=40381753
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW096131012A TWI383666B (zh) | 2007-08-21 | 2007-08-21 | 多重鏡頭相機系統之先進式動態接圖方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8004557B2 (zh) |
TW (1) | TWI383666B (zh) |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8767081B2 (en) * | 2009-02-23 | 2014-07-01 | Microsoft Corporation | Sharing video data associated with the same event |
US9485495B2 (en) | 2010-08-09 | 2016-11-01 | Qualcomm Incorporated | Autofocus for stereo images |
US9325804B2 (en) | 2010-11-08 | 2016-04-26 | Microsoft Technology Licensing, Llc | Dynamic image result stitching |
WO2012164339A1 (en) * | 2011-05-27 | 2012-12-06 | Nokia Corporation | Image stitching |
US9438889B2 (en) | 2011-09-21 | 2016-09-06 | Qualcomm Incorporated | System and method for improving methods of manufacturing stereoscopic image sensors |
US9398264B2 (en) | 2012-10-19 | 2016-07-19 | Qualcomm Incorporated | Multi-camera system using folded optics |
DE102013211271A1 (de) * | 2013-06-17 | 2014-12-18 | Robert Bosch Gmbh | System und Verfahren zum Zusammenfügen mittels mehrerer optischer Sensoren aufgenommener Bilder |
US10178373B2 (en) | 2013-08-16 | 2019-01-08 | Qualcomm Incorporated | Stereo yaw correction using autofocus feedback |
US20150124171A1 (en) * | 2013-11-05 | 2015-05-07 | LiveStage°, Inc. | Multiple vantage point viewing platform and user interface |
US9374516B2 (en) | 2014-04-04 | 2016-06-21 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
US9383550B2 (en) | 2014-04-04 | 2016-07-05 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
US10013764B2 (en) | 2014-06-19 | 2018-07-03 | Qualcomm Incorporated | Local adaptive histogram equalization |
US9549107B2 (en) | 2014-06-20 | 2017-01-17 | Qualcomm Incorporated | Autofocus for folded optic array cameras |
US9541740B2 (en) | 2014-06-20 | 2017-01-10 | Qualcomm Incorporated | Folded optic array camera using refractive prisms |
US9819863B2 (en) | 2014-06-20 | 2017-11-14 | Qualcomm Incorporated | Wide field of view array camera for hemispheric and spherical imaging |
US9294672B2 (en) | 2014-06-20 | 2016-03-22 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax and tilt artifacts |
US9386222B2 (en) | 2014-06-20 | 2016-07-05 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax artifacts |
US9602702B1 (en) | 2014-09-08 | 2017-03-21 | Sulaiman S. Albadran | Video camera with multiple data input |
US11205305B2 (en) | 2014-09-22 | 2021-12-21 | Samsung Electronics Company, Ltd. | Presentation of three-dimensional video |
US10750153B2 (en) * | 2014-09-22 | 2020-08-18 | Samsung Electronics Company, Ltd. | Camera system for three-dimensional video |
JP2016066842A (ja) * | 2014-09-24 | 2016-04-28 | ソニー株式会社 | 信号処理回路および撮像装置 |
US9832381B2 (en) | 2014-10-31 | 2017-11-28 | Qualcomm Incorporated | Optical image stabilization for thin cameras |
TWI567693B (zh) * | 2016-05-17 | 2017-01-21 | 緯創資通股份有限公司 | 產生深度資訊的方法及其系統 |
TWI650018B (zh) * | 2017-07-18 | 2019-02-01 | 晶睿通訊股份有限公司 | 提供使用者介面以進行場景之監控畫面縫合之方法及其電子裝置 |
US11049218B2 (en) | 2017-08-11 | 2021-06-29 | Samsung Electronics Company, Ltd. | Seamless image stitching |
WO2020169693A1 (en) * | 2019-02-19 | 2020-08-27 | Orlaco Products B.V. | Mirror replacement system with dynamic stitching |
US11178342B2 (en) * | 2019-07-18 | 2021-11-16 | Apple Inc. | Camera systems for bendable electronic devices |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5864360A (en) * | 1993-08-26 | 1999-01-26 | Canon Kabushiki Kaisha | Multi-eye image pick-up apparatus with immediate image pick-up |
TW497366B (en) * | 2000-02-04 | 2002-08-01 | Ind Tech Res Inst | An apparatus and method for providing panoramic images |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2248361B (en) * | 1990-09-28 | 1994-06-01 | Sony Broadcast & Communication | Motion dependent video signal processing |
JP3078085B2 (ja) * | 1991-03-26 | 2000-08-21 | オリンパス光学工業株式会社 | 画像処理装置および画像処理方法 |
JP2888713B2 (ja) * | 1993-01-14 | 1999-05-10 | キヤノン株式会社 | 複眼撮像装置 |
US6445814B2 (en) * | 1996-07-01 | 2002-09-03 | Canon Kabushiki Kaisha | Three-dimensional information processing apparatus and method |
JP3849385B2 (ja) * | 2000-02-03 | 2006-11-22 | コニカミノルタホールディングス株式会社 | 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体 |
EP1231780A3 (en) * | 2001-02-07 | 2004-01-14 | Sony Corporation | Image pickup apparatus |
JP2002251608A (ja) * | 2001-02-23 | 2002-09-06 | Mixed Reality Systems Laboratory Inc | 撮像装置の制御装置及びその制御方法、画像処理装置及びその方法、並びにプログラムコード、記憶媒体 |
US7006709B2 (en) * | 2002-06-15 | 2006-02-28 | Microsoft Corporation | System and method deghosting mosaics using multiperspective plane sweep |
US20040001138A1 (en) * | 2002-06-27 | 2004-01-01 | Weerashinghe W.A. Chaminda P. | Stereoscopic panoramic video generation system |
JP2006503375A (ja) * | 2002-10-18 | 2006-01-26 | サーノフ・コーポレーション | 複数のカメラを用いたパノラマ映像化を可能とする方法およびシステム |
US20070030396A1 (en) * | 2005-08-05 | 2007-02-08 | Hui Zhou | Method and apparatus for generating a panorama from a sequence of video frames |
TW200715830A (en) * | 2005-10-07 | 2007-04-16 | Sony Taiwan Ltd | Image pick-up device of multiple lens camera system to create panoramic image |
TW200740212A (en) * | 2006-04-10 | 2007-10-16 | Sony Taiwan Ltd | A stitching accuracy improvement method with lens distortion correction |
US7555100B2 (en) * | 2006-12-20 | 2009-06-30 | Carestream Health, Inc. | Long length imaging using digital radiography |
JP5213880B2 (ja) * | 2007-03-16 | 2013-06-19 | コールモージェン・コーポレーション | パノラマ画像処理システム |
-
2007
- 2007-08-21 TW TW096131012A patent/TWI383666B/zh not_active IP Right Cessation
-
2008
- 2008-08-20 US US12/229,285 patent/US8004557B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5864360A (en) * | 1993-08-26 | 1999-01-26 | Canon Kabushiki Kaisha | Multi-eye image pick-up apparatus with immediate image pick-up |
TW497366B (en) * | 2000-02-04 | 2002-08-01 | Ind Tech Res Inst | An apparatus and method for providing panoramic images |
Also Published As
Publication number | Publication date |
---|---|
TW200910930A (en) | 2009-03-01 |
US20090051778A1 (en) | 2009-02-26 |
US8004557B2 (en) | 2011-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI383666B (zh) | 多重鏡頭相機系統之先進式動態接圖方法 | |
CN106875339B (zh) | 一种基于长条形标定板的鱼眼图像拼接方法 | |
JP6467787B2 (ja) | 画像処理システム、撮像装置、画像処理方法およびプログラム | |
WO2018225967A1 (en) | Device having cameras with different focal lengths and method of implementing cameras | |
CN108600576B (zh) | 图像处理装置、方法和系统以及计算机可读记录介质 | |
EP2640057B1 (en) | Image processing device, image processing method and program | |
TWI393072B (zh) | 廣角感測器陣列模組及其影像校正方法、運作方法與應用 | |
US20180262744A1 (en) | Systems, methods and apparatuses for stereo vision | |
JP2009177251A (ja) | オルソフォト画像の生成方法、および撮影装置 | |
JP2019030007A (ja) | 複数のカメラを用いて映像を取得するための電子装置及びこれを用いた映像処理方法 | |
CN107274346A (zh) | 实时全景视频拼接系统 | |
TWI811386B (zh) | 應用處理器 | |
CN102595146B (zh) | 全景影像产生方法及装置 | |
CN107545586B (zh) | 基于光场极线平面图像局部的深度获取方法及系统 | |
CN106447602A (zh) | 一种图像拼接方法及装置 | |
TW202011353A (zh) | 深度資料處理系統的操作方法 | |
CN111311682A (zh) | 一种led屏校正过程中的位姿估计方法、装置及电子设备 | |
JP2006090896A (ja) | ステレオ画像処理装置 | |
CN112348775A (zh) | 基于车载环视的路面坑塘检测系统及方法 | |
JP4394487B2 (ja) | ステレオ画像処理装置 | |
JP2010050842A (ja) | マルチレンズカメラシステムのための高度な動的スティッチング方法 | |
US20240187736A1 (en) | Image anti-shake method and electronic device | |
CN104794680B (zh) | 基于同一卫星平台的多相机图像镶嵌方法及装置 | |
US11743600B2 (en) | Multiple-processor system for multiple-lens camera and method thereof | |
JP6153318B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |