KR20140106779A - 이미지 촬영장치 및 방법 - Google Patents
이미지 촬영장치 및 방법 Download PDFInfo
- Publication number
- KR20140106779A KR20140106779A KR1020130020767A KR20130020767A KR20140106779A KR 20140106779 A KR20140106779 A KR 20140106779A KR 1020130020767 A KR1020130020767 A KR 1020130020767A KR 20130020767 A KR20130020767 A KR 20130020767A KR 20140106779 A KR20140106779 A KR 20140106779A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- panoramic
- screen
- sub
- panorama
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000012545 processing Methods 0.000 title abstract description 10
- 230000003139 buffering effect Effects 0.000 claims abstract description 16
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 11
- 230000009977 dual effect Effects 0.000 claims description 46
- 239000002131 composite material Substances 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 4
- 239000000872 buffer Substances 0.000 description 13
- 238000004891 communication Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
- G03B37/02—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
Abstract
전자 장치를 이용하여 복수개의 이미지를 처리하는 방법 및 장치에 관한 다양한 실시예들이 기술되었다. 한 실시예에 따르면, 전자 장치를 이용한 파노라마 이미지 촬영 방법이,제1이미지센서에서 출력되는 제1이미지를 주화면으로 표시하고 제2이미지센서에서 촬영되는 제2이미지를 부화면 이미지로 표시하는 프리뷰 표시동작과, 파노라마 촬영 요구시 제1이미지를 버퍼링하며 설정된 프레임에서 제2이미지를 캡쳐하며, 제1이미지 및 제2이미지를 각각 주화면 및 부화면으로 표시하는 동작과, 파노라마 촬영 종료시 버퍼링된 제1이미지를 파노라마 이미지로 생성하며, 파노라마 이미지에 상기 캡쳐된 제2이미지를 합성하여 표시하는 합성 파노라마 표시동작을 포함할 수 있다.
Description
본 발명은 전자 장치의 이미지 촬영 방법 및 장치에 관한 것으로, 특히 파노라마 이미지를 촬영할 수 있는 장치 및 방법에 관한 것이다.
일반적으로 카메라 장치에서 촬영을 하는 방법은 카메라의 이미지 센서에서 획득되는 이미지 데이터를 디스플레이에 표시하고, 사용자가 촬영을 제어하는 명령을 내리면 획득된 이미지 데이터를 압축 부호화하여 메모리에 저장한다.
현재 카메라장치 또는 카메라를 구비하는 휴대단말기는 고화소 카메라 및 저화소의 듀얼 카메라를 구비하며, 이들 카메라들은 각각 장치의 전면 및 후면에 장착하고 있다. 일반적으로 듀얼 카메라를 구비하는 장치는 전면 및 후면 카메라를 각각 독립적으로 선택하여 전면 피사체를 찍거나 후면피사체를 촬영하고 있다. 즉, 종래의 듀얼 카메라장치는 각각 서로 다른 이미지를 따로 촬영하고, 촬영된 이미지들을 따로 저장 관리하는 방식이다. 따라서 종래의 듀얼 카메라장치는 사용자가 원하는 전후면 두 이미지를 촬영 시 함께 촬영하고 저장 및 합성이 불가능하고, 이를 위해서는 각각 두 카메라를 순차 구동하여 이미지들을 촬영한 후, 후보정을 통해 합성하거나 이미지를 합치는 방법을 사용하여야 했다. 그리고 이미지를 한 화면에 표현할 경우 이미지가 겹쳐지게 되어 이를 수동으로 배치하는 등의 사용자 조작과정이 추가로 필요하였다.
본 발명은 복수의 이미지센서들을 구비하는 전자장치에서 이미지센서들을 제어하여 적어도 하나의 파노라마 이미지를 생성하며, 상기 파노라마 이미지를 다른 이미지와 합성하여 저장할 수 있는 장치 및 방법을 제안한다.
이를 위하여 전자 장치는 제1화면을 생성하는 제1이미지센서 및 제2화면을 생성하는 제2이미지센서를 구비하며, 적어도 하나의 이미지센서를 이용하여 파노라마 이미지를 촬영하고, 촬영된 파노라마 이미지와 다른 이미지를 합성하여 저장할 수 있다. 이때 본 발명의 실시예에 따른 전자 장치는 하나의 파노라마 이미지와 정지이미지를 촬영할 수 있으며 또한 복수의 파노라마 이미지를 촬영할 수 있다.
그리고 전자 장치는 파노라마 이미지의 설정된 구간에서 정지이미지를 합성할 수 있으며, 주화면 파노라마 이미지에 부화면 파노라마 이미지를 PIP 형태의 부화면으로 합성할 수 있으며, 또한 주화면 및 부화면 파노라마 이미지를 병렬 합성할 수 있다.
다양한 실시예에 따르면, 전자 장치의 이미지 촬영 방법은, 제1이미지센서에서 출력되는 제1이미지를 주화면으로 표시하고 제2이미지센서에서 촬영되는 제2이미지를 부화면 이미지로 표시하는 프리뷰 표시동작과, 상기 프리뷰 표시동작에서 파노라마 촬영 요구시 상기 제1이미지를 버퍼링하며 설정된 프레임에서 제2이미지를 캡쳐하며, 상기 제1이미지 및 제2이미지를 각각 주화면 및 부화면으로 표시하는 파노라마 촬영동작과, 상기 파노라마 촬영 종료시 상기 버퍼링된 제1이미지를 파노라마 이미지로 생성하며, 상기 파노라마 이미지에 상기 캡쳐된 제2이미지를 합성하여 표시하는 합성 파노라마 표시동작을 포함한다.
다양한 실시예에 따르면, 전자장치의 이미지 촬영 방법은, 제1이미지센서에서 출력되는 제1이미지를 주화면으로 표시하고 제2이미지센서에서 촬영되는 제2이미지를 부화면 이미지로 표시하는 프리뷰 표시동작과, 상기 프리뷰 표시동작에서 파노라마 촬영 요구시 상기 제1이미지 및 제2이미지를 버퍼링하며, 상기 제1이미지 및 제2이미지를 각각 주화면 및 부화면으로 표시하는 파노라마 촬영동작과, 상기 파노라마 촬영 종료시 상기 버퍼링된 제1이미지 및 제2이미지를 각각 주화면 및 부화면의 파노라마 이미지로 생성하며, 상기 주화면 파노라마 이미지에 상기 부화면 파노라마 이미지를 합성하여 표시하는 합성 파노라마 표시동작을 포함한다.
다양한 실시예에 따르면 이미지 촬영 장치는, 제1이미지센서 및 제2이미지센서와, 프리뷰모드에서 제1이미지센서에서 출력되는 제1이미지를 주화면으로 표시하고 제2이미지센서에서 촬영되는 제2이미지를 부화면 이미지로 표시하는 표시부와, 상기 프리뷰 모드에서 파노라마 촬영 요구시 상기 제1이미지를 버퍼링하며 설정된 프레임에서 제2이미지를 캡쳐하고, 파노라마 촬영 종료시 상기 버퍼링된 제1이미지를 파노라마 이미지로 생성하며, 상기 파노라마 이미지에 상기 캡쳐된 제2이미지를 합성하여 상기 표시부에 표시하는 제어부를 포함한다.
복수의 이미지센서들을 구비하는 전자 장치에서 이미지센서에서 얻어지는 이미지를 선택하여 파노라마 이미지를 생성할 수 있으며, 생성된 파노라마 이미지에 다른 이미지센서에서 촬영된 이미지를 합성할 수 있다. 이때 상기 복수의 이미지센서들을 선택적으로 구동하여 파노라마 이미지 또는 정지이미지를 생성하여 합성할 수 있으며, 또한 각 이미지센서들의 출력을 파노라마 이미지로 생성하여 합성할 수 있다.
도 1은 본 발명의 실시예에 따른 전자 장치의 구성을 도시하는 도면
도 2는 본 발명의 제1실시예에 따른 파노라마 촬영 예를 설명하기 위한 도면
도 3은 듀얼 이미지센서를 구비하는 전자장치에서 본 발명의 제1실시예에 따라 파노라마 이미지를 촬영하는 절차를 도시하는 흐름도
도 4a ?? 도 4c는 도 3과 같이 파노라마 촬영을 설명하기 위한 도면
도 5는 듀얼 이미지센서들을 구비하는 전자장치에서 본 발명의 제2실시예에 따라 파노라마 이미지를 촬영하는 절차를 도시하는 흐름도
도 6a ?? 도 6b는 도 5와 같이 파노라마 촬영을 설명하기 위한 도면
도 7은 듀얼 이미지센서들을 구비하는 전자장치에서 본 발명의 실시예 따른 제1파노라마 촬영모드 또는 제2파노라마 촬영모드를 수행하는 절차를 도시하는 흐름도
도 8은 본 발명의 실시예에 따라 촬영 동작을 수행하는 휴대전화기의 구성을 도시하는 도면
도 2는 본 발명의 제1실시예에 따른 파노라마 촬영 예를 설명하기 위한 도면
도 3은 듀얼 이미지센서를 구비하는 전자장치에서 본 발명의 제1실시예에 따라 파노라마 이미지를 촬영하는 절차를 도시하는 흐름도
도 4a ?? 도 4c는 도 3과 같이 파노라마 촬영을 설명하기 위한 도면
도 5는 듀얼 이미지센서들을 구비하는 전자장치에서 본 발명의 제2실시예에 따라 파노라마 이미지를 촬영하는 절차를 도시하는 흐름도
도 6a ?? 도 6b는 도 5와 같이 파노라마 촬영을 설명하기 위한 도면
도 7은 듀얼 이미지센서들을 구비하는 전자장치에서 본 발명의 실시예 따른 제1파노라마 촬영모드 또는 제2파노라마 촬영모드를 수행하는 절차를 도시하는 흐름도
도 8은 본 발명의 실시예에 따라 촬영 동작을 수행하는 휴대전화기의 구성을 도시하는 도면
이하, 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다.
본 발명의 실시예에 따른 카메라 장치 또는 이미지센서를 구비하는 장치는 복수의 이미지센서들을 구비하며, 복수의 이미지센서들 중에 적어도 하나의 이미지센서를 이용하여 파노라마 이미지를 촬영하고, 촬영된 파노라마 이미지에 다른 이미지센서에서 촬영된 이미지를 합성하여 저장할 수 있다. 이때 상기 파노라마의 촬영은 이미지센서에서 생성되는 프레임이미지들을 일정 부분 겹치게 촬영하고, 촬영된 이미지들에서 겹치는 부분들을 오버레이(overay)시켜 파노라마 이미지를 구성할 수 있다. 이하의 설명에서 카메라장치 또는 이미지센서를 구비하는 장치는 전자장치로 설명될 것이며, 여기서 전자장치는 스마트폰, 태블릿, 컴퓨터, 카메라 장치등을 포함하는 장치가 될 수 있다. 또한 상기 전자장치는 두개 이상의 이미지센서들을 포함하는 장치가 될 수 있다.
본 발명의 제1실시예는 주화면 이미지를 생성하는 제1이미지센서를 이용하여 파노라마 이미지를 촬영하고, 부화면 이미지를 생성하는 제2이미지센서를 이용하여 정지이미지를 생성하며, 이미지를 합성할 때 상기 파노라마 이미지에 상기 정지이미지를 부화면 이미지로 합성할 수 있다. 이때 상기 파노라마 이미지에 합성되는 부화면 이미지의 위치는 파노라마 이미지의 첫 번째 프레임 구간, 마지막 프레임 구간 또는 설정된 프레임 구간이 될 수 있다. 이때 상기 부화면은 상기 파노라마 이미지에 PIP 형태로 합성할 수 있다. 또한 상기 부화면은 상기 파노라마 이미지에 상기 주화면에 병렬 형태로 합성할 수 있다.
본 발명의 제2실시예는 주화면 이미지를 생성하는 제1이미지센서를 이용하여 제1파노라마 이미지를 촬영하고, 부화면 이미지를 생성하는 제2이미지센서를 이용하여 제2파노라마 이미지를 생성하며, 이미지를 합성할 때 상기 파노라마 이미지에 상기 제2파노라마 이미지를 합성할 수 있다. 여기서 상기 제2이미지센서는 촬영자의 이미지를 촬영할 수 있으며, 제2파노라마 이미지를 생성할 때 전자장치는 얼굴검출을 통하여 얼굴을 포함한 하나의 프레임 이미지와 얼굴을 제외한 나머지 프레임들의 이미지를 합성하여 파노라마 이미지를 생성할 수 있다. 이때 상기 제2파노라마 이미지는 동시 촬영에 의해 상기 제1파노라마와 동시에 생성할 수 있으며, 또한 상기 제1파노라마 이미지를 생성하는 중에 제2이미지센서를 구동하여 제2파노라마 이미지를 생성할 수 있다. 또한 상기 제1파노라마 이미지와 제2파노라마 이미지를 합성할 때 상기 제1파노라마 이미지에 PIP 형태로 제2파노라마 이미지를 합성할 수 있으며, 또는 상기 제1파노라마 이미지에 병렬로 상기 제2파노라마 이미지를 합성할 수 있다.
여기서 장치의 후면에 장착되는 이미지센서는 장치의 제1면에 장착되는 제1이미지센서가 될 수 있으며, 장치의 전면에 장착되는 전면 이미지센서는 장치의 제2면에 장착되는 제2이미지센서가 될 수 있다.또한 상기 이미지센서는 단말에 연결된 이미지센서 이외에 NFC(Near Field Communication), WIFI(wireless fidelity) 등과 같이 무선 연결을 이용하여 기능적으로 연결되는 이미지센서들을 포함할 수 있다.
도 1은 본 발명의 실시예에 따른 전자장치의 구성을 도시하는 도면이다. 이하의 설명에서 상기 복수의 이미지센서들을 구비하는 전자장치는 듀얼 이미지센서를 가지는 장치로 가정하여 설명한다.
상기 도 1을 참조하면, 제1이미지센서120(후면 이미지센서)은 장치의 후면에 장착되며, 제2이미지센서125(전면 이미지센서)는 장치의 전면에 장착될 수 있다. 여기서 상기 제1이미지센서120은 상기 제2이미지센서125 보다 더 큰 화소수를 가지는 고화소의 이미지센서가 될 수 있다. 상기 제1이미지센서120 또는 제2이미지센서125는 제어부100의 제어하에 각각 독립적으로 구동될 수 있으며, 동시에 구동될 수 있다. 또한 상기 제1이미지센서120 또는 제2이미지센서125는 제어부100에 의해 정지 영상 또는 동영상을 촬영할 수 있다.
제어부100은 전자장치의 전반적인 동작을 제어할 수 있다. 또한 상기 제어부100은 상기 제1이미지센서120 및/또는 제2이미지센서125를 각각 구동할 수 있으며 또한 동시에 구동할 수 있고, 본 발명의 실시예에 따라 동시에 구동될 때 프리뷰 모드에서 촬영되는 이미지들을 주화면 또는 부화면의 듀얼 화면으로 표시되도록 제어하며, 상기 듀얼 화면의 촬영 또는 편집을 제어할 수 있다. 여기서 상기 부화면은 PIP(Picture In Picture)가 될 수 있다. 또한 상기 제어부100은 프리뷰모드에서 복수의 이미지센서들 중에 적어도 하나의 이미지센서를 이용하여 파노라마 이미지를 촬영할 수 있으며, 파노라마 이미지를 저장할 때 촬영된 파노라마 이미지에 다른 이미지센서에서 촬영된 이미지를 합성한 후 부호화하여 저장할 수 있다. 이때 상기 파노라마의 촬영시, 상기 제어부100은 제1이미지센서120 및/또는 제2이미지센서125에서 생성되는 프레임이미지들을 일정 부분 겹치게 촬영하고, 촬영된 이미지들에서 겹치는 부분들을 오버레이(overay)시켜 파노라마 이미지를 구성할 수 있다.
저장부110은 전자장치의 동작 프로그램 및 본 발명의 실시예에 따른 프로그램을 저장하는 프로그램 메모리와, 촬영되는 이미지들을 저장하는 데이터 메모리를 구비할 수 있다.
표시부130은 상기 제2이미지센서125와 같이 장치의 전면에 장착될 수 있으며, 상기 제어부100의 제어하에 상기 제1이미지센서120 및/또는 제2이미지센서125에 촬영되는 이미지를 표시할 수 있다. 상기 표시부130은 LCD 또는 OLED가 될 수 있다. 입력부140은 전자장치의 촬영을 제어하기 위한 입력들을 발생할 수 있다. 여기서 상기 표시부130 및 입력부140은 일체형의 터치 스크린으로 구성될 수 있다.
상기와 같은 구성을 가지는 전자장치의 제어부100은 듀얼 모드에서 제1이미지센서120 및 제2이미지센서125를 동시 구동(dual mode)하여 복수의 이미지를 획득하고, 획득된 이미지를 표시부130에 주화면 및 부화면으로 표시할 수 있다. 이때 상기 제어부100은 제1이미지센서120 및 제2이미지센서125가 구동되는 프리뷰 모드에서 사용자의 선택에 의해 주화면 및 부화면을 변경할 수 있다.
이때 상기 제어부100은 이미지처리부(image signal processor)를 구비할 수 있으며, 상기 이미지처리부는 영상 전처리부, 후처리부, 이미지 스케일러 및 CODEC(coder and decoder) 등을 구비할 수 있다. 이런 경우, 상기 제1이미지센서120에서 출력되는 제1이미지는 이미지처리부에서 영상 전처리 및 후처리되며, 또한 이미지스케일러에 의해 표시부130의 주화면 사이즈로 스케일링할 수 있다. 또한 상기 제2이미지센서125에서 출력되는 제2이미지는 이미지처리부에서 영상 전처리 및 후처리되며, 이미지스케일러에 의해 부화면 사이즈로 스케일링되어 출력될 수 있다. 이때 상기 부화면은 PIP의 사이즈를 가질 수 있으며, 또는 주화면과 같은 사이즈를 가질 수도 있다.
또한 상기 전자장치는 듀얼 모드에서 파노라마 촬영 요구(panorama shot)시 상기 제1이미지센서120 및 제2이미지센서125들 중 적어도 하나의 이미지센서를 구동하여 파노라마 샷을 촬영할 수 있다. 이를 위하여, 상기 제어부100은 프리뷰 모드에서 화면 상에 파노라마 촬영모드 버튼을 표시할 수 있으며, 또는 화면 상에 촬영모드를 설정할 수 있는 버튼을 표시할 수 있다. 그리고 상기 파노라마 촬영모드는 주화면 이미지를 파노라마 촬영하고 부화면 이미지는 정지이미지로 촬영하는 단일 파노라마 모드(제1파노라마 촬영모드)와, 주화면 이미지 및 부화면 이미지를 파노라마 촬영하는 복수 파노라마 모드(제2파노라마 촬영모드)를 설정할 수 있는 메뉴를 표시할 수 있으며, 상기 복수 파노라마 모드 선택시 동시촬영 및 순차 촬영모드를 선택할 수 있는 메뉴를 표시할 수 있다.
이때 사용자가 파노라마 촬영모드(제1 또는 제2파노라마 촬영모드)를 선택하면, 사용자는 셔터스위치의 온 상태(즉, 셔터 스위치를 누른 상태)를 유지하는 동안, 또는 설정된 시간 동안 전자장치의 회전면(plane of rotation)을 일정하게 유지하면서 일정한 속도로 회전시키면서 촬영할 수 있다. 여기서 일정한 회전면이라 함은 전자장치를 수평(또는 수직) 방향으로 이동시키면서 촬영할 때 전자장치가 상하(또는 좌우) 방향으로 움직이지 않도록 하는 것을 의미한다. 또한 일정한 속도로 회전시키는 이유는 이미지센서에서 촬영되는 각 프레임 이미지들이 서로 중복되어 촬영될 수 있는 하기 위함이다. 이때 상기 프레임 간의 중복되는 이미지는 현재 프레임 이미지와 이전 프레임 및 다음 프레임의 이미지 간의 중복은 30% ?? 50% 정도가 중복되도록 하는 것이 바람직하다. 그러면 상기 제어부100의 이미지처리부는 상기 이미지센서120 및/또는 125에서 연속 출력되는 프레임들의 이미지들을 버퍼링하며, 파노라마 촬영 종료시 촬영된 각 프레임들의 이미지들에서 이미지가 중복되는 부분들을 삭제한 후 프레임이미지들을 연결하여 파노라마 이미지들을 생성할 수 있다.
먼저 본 발명의 제1실시예에 따른 파노라마 촬영 모드((제1파노라마 촬영모드)의 동작을 살펴보면, 프리뷰 모드에서 파노라마 촬영 요구시, 상기 제어부100은 제1이미지센서120에서 생성되는 주화면의 프레임 이미지들을 연속적으로 획득하여 버퍼링하며, 부화면 이미지를 생성하는 제2이미지센서의 특정 프레임 이미지를 정지이미지로 캡쳐하며, 파노라마 촬영 종료시 상기 파노라마 이미지에 상기 정지이미지를 부화면 이미지로 합성할 수 있다. 이때 상기 파노라마 이미지에 합성되는 부화면 이미지의 위치는 파노라마 이미지의 첫 번째 프레임 구간, 마지막 프레임 구간 또는 설정된 프레임 구간이 될 수 있다. 이때 상기 부화면은 상기 파노라마 이미지에 PIP 형태 또는 병렬 형태로 합성될 수 있다.
도 2는 본 발명의 제1실시예에 따른 파노라마 촬영 예를 설명하기 위한 도면이다.
도 2를 참조하면, 듀얼 이미지센서가 구동되는 프리뷰 모드에서 파노라마 촬영시 사용자는 전자장치를 회전면을 일정하게 유지면서 일정한 속도로 회전시키면서 촬영할 수 있다. 그리고 상기 제어부100은 장치의 회전에 의해 제1이미지센서120에서 생성되는 제1이미지의 연속되는 프레임 이미지들을 처리 및 버퍼링할 수 있다. 이때 상기 각 프레임이 이미지들은 이전 및 다음 프레임 이미지들과 일정 비율의 중복된 이미지들을 포함할 수 있다. 그리고 상기 제어부100은 설정된 시점에서 제2이미지센서125에서 생성되는 제2이미지를 캡쳐한 후 도 2의 220과 같은 부화면 이미지로 처리하여 버퍼링할 수 있다. 이후 상기 파노라마 촬영이 종료되면, 상기 제어부100은 상기 버퍼링된 프레임 이미지들에서 중복된 이미지 영역을 제거하여 도 2의 210과 같은 주화면의 파노라마 이미지를 생성하며, 상기 파노라마 이미지210에 부화면 이미지220을 합성하여 도 2의 참조부호 230과 같은 합성된 파노라마 이미지를 생성한 후 저장부10에 저장할 수 있다.
상기 파노라마 촬영모드에서 상기 제어부100은 부화면 이미지는 첫 번째 프레임 이미지, 마지막 프레임 이미지 또는 설정된 프레임의 이미지를 캡쳐할 수 있다. 그리고 상기 제1이미지센서120에서 파노라마 촬영을 하는 상태에서 제1이미지센서120를 촬영하기 위한 조작을 하는 경우(예를 들면 셔터 스위치 온)에는 촬영 동작(일정 회전면을 유지하면서 일정 속도로 회전시키는 동작)에 영향을 미칠 수 있다. 따라서 상기 제어부100은 타이머를 구비하며, 상기 파노라마 촬영시 타이머를 구동하고 타이머 종료시(즉, 파노라마 촬영을 하는 중)에 제2이미지센서125에서 생성되는 제2이미지를 캡쳐하는 방법을 사용할 수 있다. 그리고 상기 도 2의 230과 같이 파노라마 이미지에 부화면 이미지를 합성할 때 파노라마 이미지의 마지막 프레임 이미지에 합성할 수 있으며, 또는 파노라마 이미지의 첫 번째 프레임 구간 또는 설정된 프레임 구간이 될 수 있다.
본 발명의 제2실시예에 따라 파노라마 촬영모드(제2 파노라마 촬영 모드)의 동작을 살펴보면, 듀얼 이미지센서가 구동되는 프리뷰 모드에서 파노라마 촬영시 사용자는 상기한 바와 같이 일정 속도로 전자장치를 회전시키면서 촬영 모드를 수행할 수 있다. 그리고 제어부100은 제1이미지센서120 및 제2이미지센서125로부터 생성되는 매 프레임의 제1 및 제2이미지를 버퍼링할 수 있다. 그리고 파노라마 촬영 종료시 상기 제어부100은 버퍼링 중인 제1이미지 및 제2이미지들에서 중복되는 이미지를 제거하여 제1파노라마 이미지 및 제2파노라마 이미지를 생성하고, 상기 생성된 파노라마 이미지를 합성하여 저장할 수 있다. 이때 상기 제2이미지센서125에서 생성되는 제2이미지는 촬영자의 이미지를 포함할 수 있다. 이런 경우 인물 이미지는 하나의 프레임 이미지 구간에만 표시하는 것이 바람직할 수 있다. 따라서 상기 제2파노라마 이미지 생성시 상기 제어부100은 제2이미지에 포함된 얼굴검출을 통하여 얼굴을 포함한 하나의 프레임 이미지와 얼굴을 제외한 나머지 프레임들의 이미지를 합성하여 파노라마 이미지를 생성할 수 있다.
또한 상기 제1 및 제2파노라마 이미지를 촬영하는 경우, 상기 제어부100은 상기 제이미지센서120 및 제2이미지센서125의 동시 촬영에 의해 파노라마 이미지를 생성할 수 있으며, 또한 순차 촬영에 의해 먼저 제1파노라마 이미지를 촬영하고 이후 제2파노라마 이미지를 촬영할 수 있다. 이때 후자의 경우 제1파노라마 이미지를 촬영하는 상태에서 제2파노라마 이미지의 촬영을 하기 위한 동작을 수행하는 경우, 제1파노라마 촬영 동작(일정 회전면을 유지하면서 일정 속도로 회전시키는 동작)에 영향을 미칠 수 있다. 따라서 순차촬영의 경우 상기 제어부100은 타이머를 구비하며, 상기 파노라마 촬영시점에서 타이머를 구동하고 타이머 종료시(즉, 제1파노라마 촬영을 하는 중)에 제2이미지센서125에서 생성되는 매프레임의 제2이미지를 버퍼링하여 제2파노라마 이미지를 촬영하는 방법을 사용할 수 있다. 상기 제1파노라마 이미지 및 제2파노라마 이미지를 합성하는 경우, 상기 제어부100은 상기 제1파노라마 이미지에 PIP 형태로 제2파노라마 이미지를 합성할 수 있으며, 또는 상기 제1파노라마 이미지에 병렬로 상기 제2파노라마 이미지를 합성할 수 있다.
도 3은 듀얼 이미지센서를 구비하는 전자장치에서 본 발명의 제1실시예에 따라 파노라마 이미지를 촬영하는 절차를 도시하는 흐름도이다. 그리고 도 4a ?? 도 4c는 도 3과 같이 파노라마 촬영을 설명하기 위한 도면이다.
상기 도 3 및 도 4a ?? 도 4c를 참조하면, 입력부140을 통해 이미지센서 구동이 요구되면, 상기 제어부100은 311동작에서 프리뷰 모드를 수행할 수 있다. 상기 프리뷰 모드에서 상기 제어부100은 프리뷰 화면에 이미지센서 버튼 및 듀얼버튼을 표시할 수 있다. 여기서 상기 이미지센서 버튼은 주화면으로 표시되는 이미지를 촬영하는 이미지센서를 선택하는 버튼이며, 듀얼버튼은 듀얼온 모드 및 듀얼오프 모드를 선택하는 버튼이다. 상기 이미지센서 버튼 및 듀얼 버튼은 토글(toggle) 방식으로 동작하는 버튼이 될 수 있다. 상기 이미지센서버튼에 의해 제1이미지센서120이 선택되면, 상기 제어부100은 상기 제1이미지센서120을 주화면 이미지를 생성하는 이미지센서로 선택할 수 있다. 그리고 상기 제1이미지센서120이 선택된 상태에서 사용자가 듀얼버튼을 터치하면, 상기 제어부100은 듀얼 온모드임을 감지하고, 417동작에서 제2이미지센서125를 구동할 수 있다. 그러면 상기 제어부100은 상기 제1이미지센서120으로부터 획득되는 이미지를 처리하여 상기 표시부130에 주화면으로 표시하고, 상기 제2이미지센서125로부터 획득되는 이미지를 처리 및 리사이즈한 후 상기 표시부130의 설정된 위치에 부화면으로 표시할 수 있다. 여기서 상기 제어부100은 부화면으로 표시되는 이미지의 크기 및 표시위치를 알고 있으며, 상기 부화면은 주화면의 설정된 위치에 설정된 크기로 오버레이 표시할 수 있다. 이때 상기 부화면의 표시 위치 및 크기는 디폴트 표시 위치 및 크기가 설정되어 있으며, 사용자의 선택에 의해 표시위치 및/또는 표시 크기는 가변될 수 있다. 그러나 상기 제1이미지센서120이 선택된 상태에서 듀얼버튼을 통해 듀얼모드를 오프(dual off)시키면, 상기 제어부100은 상기 제1이미지센서120에서 획득되는 이미지를 처리하여 상기 표시부130에 표시할 수 있다. 이때 상기 제2이미지센서125의 구동은 오프상태가 될 수 있다. 또한 사용자가 이미지센서버튼을 이용하여 제2이미지센서125를 선택하면, 상기 제어부100은 상기 제2이미지센서125로부터 획득되는 이미지를 처리하여 상기 표시부130에 주화면으로 표시하고, 상기 제1이미지센서120으로부터 획득되는 이미지를 처리 및 리사이즈한 후 상기 표시부130의 설정된 위치에 부화면으로 표시할 수 있다.
이하의 설명에서는 상기 제1이미지센서120에서 생성되는 제1이미지를 주화면 이미지로 선택하고, 듀얼 모드가 온 상태인 경우를 가정하여 설명하기로 한다. 그러면 상기 제어부100은 프리뷰모드에서 상기 제1이미지센서120에서 출력되는 제1이미지를 처리하여 표시부130에 주화면으로 표시하고, 상기 제2이미지센서125에서 촬영되는 제2이미지를 처리하여 부화면 표시영역에 표시할 수 있다. 이때 상기 제어부100은 이미지처리부(image signal processor)를 구비할 수 있으며, 상기 이미지처리부는 영상 전처리부, 후처리부, 이미지 스케일러 및 CODEC 등을 구비할 수 있다. 이런 경우, 상기 제1이미지센서120에서 출력되는 제1이미지는 이미지처리부에서 영상 전처리 및 후처리되며, 또한 이미지스케일러에 의해 표시부130의 주화면 사이즈로 스케일링되어 출력할 수 있다. 또한 상기 제2이미지센서125에서 출력되는 제2이미지는 이미지처리부에서 영상 전처리 및 후처리되며, 이미지스케일러에 의해 부화면 사이즈로 스케일링되어 출력될 수 있다.
또한 상기 프리뷰 모드에서 상기 제어부100은 상기 표시부130의 프리뷰 화면에 파노라마 촬영을 할 수 있는 촬영모드 버튼을 표시할 수 있다. 그리고 상기 파노라마 촬영모드는 주화면의 이미지를 파노라마 촬영하는 모드(본 발명의 제1실시예에 따른 파노라마 촬영모드, 이하 제1파노라마 촬영모드라 칭함)와, 주화면 및 부화면의 이미지를 파노라마 촬영하는 모드(본 발명의 제2실시예에 따른 촬영모드, 이하 제2파노라마 촬영모드라 칭함)로 이루어질 수 있다. 그리고 상기 제2파노라마 촬영모드는 동시 촬영 및 순차 촬영모드를 지원할 수 있다.
이때 상기 프리뷰 모드에서 제1파노라마 촬영이 요구되면, 상기 제어부100은 313동작에서 이를 감지하고, 315동작에서 제1이미지센서120에서 생성되는 주화면 이미지를 버퍼링할 수 있다. 이때 사용자는 전자장치를 동일한 회전면을 가지는 상태에서 일정 속도로 회전시킨다. 여기서 동일한 회전면을 유지하는 이유는 이미지센서에서 생성되는 이미지의 상하 또는 좌우 이미지에 급격한 변화를 갖지 않도록 하기 위함이며, 일정 속도로 회전시키는 이유는 프레임 간의 이미지가 일정 비율로 중복되도록 하기 위함이다. 또한 상기 제어부100은 315동작에서 상기 제1이미지센서120에서 생성되는 버퍼링되는 이미지를 상기 표시부130에 주화면 이미지로 표시하며, 또한 상기 제2이미지센서125에서 생성되는 이미지를 부화면 이미지로 처리한 후 상기 표시부130에 부화면 이미지로 표시할 수 있다.
상기와 같이 제1이미지센서120에서 출력되는 이미지를 버퍼링하는 상태에서 상기 제어부100은 제2이미지를 촬영하는 시점이 되면 317동작에서 이를 감지하고, 319동작에서도 4a의 220과 같이 상기 제2이미지센서125에서 출력되는 제2이미지를 캡쳐한 후 처리하여 버퍼링할 수 있다. 여기서 상기 제2이미지의 촬영시점은 상기 파노라마 촬영 요구시점이 될 수 있으며, 또는 상기 파노라마 촬영 종료 시점이 될 수 있으며, 또는 설정된 시간이 될 수 있다. 본 발명의 실시예에서는 타이머를 이용하여 제2이미지를 캡쳐한다고 가정한다. 이런 경우 상기 제어부100은 상기 313동작에서 파노라마 촬영이 요구되는 경우 상기 타이머를 구동하며, 상기 타이머가 종료되면 317동작에서 이를 감지하고 319동작에서 제2이미지를 캡쳐할 수 있다. 여기서 상기와 같이 타이머를 사용하면, 사용자가 주화면 이미지를 파노라마 이미지로 촬영을 시작한 후에 원하는 제2이미지의 촬영 구도를 설정할 수 있는 시간을 제공할 수 있다. 상기와 제2이미지를 캡쳐한 후, 상기 제어부100은 상기 표시부130에 부화면 이미지를 캡쳐된 정지이미지를 표시할 수 있으며, 또는 제2이미지센서125에서 출력되는 프리뷰 이미지를 표시할 수 있다. 본 발명의 실시예에서는 파노라마 이미지가 촬영되는 동안 상기 부화면 이미지는 프리뷰 이미지로 표시하는 것으로 가정한다. 따라서 상기 120에서 출력되는 제1이미지를 버퍼링하는 동시에 표시부130에 주화면으로 표시하고 상기 제2이미지센서125에서 출력되는 제2이미지를 상기 표시부130에 부화면으로 표시할 수 있다.
상기와 같은 상태에서 파노라마 촬영이 종료되면, 상기 제어부100은 321동작에서 이를 감지하고, 323동작에서 상기 버퍼링 중인 제1이미지를 처리하여 파노라마 이미지로 생성하고, 상기 파노라마 이미지에 상기 캡쳐된 제2이미지를 합성한 후 이를 부호화하여 상기 저장부110에 저장할 수 있다. 여기서 상기 파노라마 촬영은 셔터 스위치가 온되는 시간 동안 수행될 수 있으며, 또는 설정된 시간 동안 수행될 수 있다. 전자의 경우 상기 제어부100은 셔터스위치가 오프되면 파노라마 촬영의 종료 감지하며, 후자의 경우에는 설정된 시간이 종료되면 파노라마 촬영의 종료로 감지할 수 있다.
상기 파노라마 촬영 종료시 상기 제어부100은 323동작에서 버퍼링된 주화면의 각 프레임 이미지들에서 중복된 부분의 이미지들을 제거하면서 각 프레임 이미지들을 연결하여도 도 3a의 210과 같이 파노라마 이미지를 생성할 수 있다. 그리고 상기 210과 같은 파노라마 이미지에 220과 같은 부화면 이미지를 합성하여 상기 표시부130에 표시 및 상기 저장부110에 저장할 수 있다. 이때 상기 상기 제어부100은 상기 파노라마 이미지210에 부화면 이미지220을 합성할 때, 도 4b와 같이 파노라마 이미지210의 마지막 프레임 위치에 합성할 수 있으며, 또는 도 4c와 같이 파노라마 이미지210의 첫 번째 프레임 위치에 합성할 수 있으며, 또는 파노라마 이미지의 설정된 프레임 위치에 합성할 수 있다.
그리고 상기 프리뷰모드에서 구동 종료 요구가 발생되면, 상기 제어부100은 331동작에서 이를 감지하고 333동작에서 듀얼 이미지센서의 구동을 종료할 수 있다.
상기한 바와 같이 본 발명의 실시예에 따른 제1파노라마 촬영방법은 도 4a에 도시한 바와 같이 주화면 이미지들을 연속촬영하여 버퍼링하며, 파노라마 촬영 중(처음, 중간 또는 마지막 프레임 위치)에 부화면 이미지를 캡쳐하며, 파노라마 촬영 종료시 버퍼링된 주화면 이미지들을 연결하여 파노라마 이미지를 생성하고 상기 파노라마 이미지에 부화면 이미지를 합성하는 방법을 사용할 수 있다.
그러나 파노라마를 촬영하면서 파노라마 이미지를 생성하고 파노라마 이미지를 생성하는 중에 설정된 프레임 위치에서 부화면 이미지를 캡쳐하여 합성할 수도 있다. 즉, 상기 제어부100은 제1파노라마 촬영모드시 제1이미지센서120에서 출력되는 프레임 이미지들을 처리하며, 이전 프레임과의 중복되는 이미지들을 제거하면서 파노라마 이미지를 생성할 수 있다. 그리고 부화면 이미지의 합성 프레임에서 상기 제2이미지센서125에서 출력되는 제2이미지를 캡쳐한 후 해당 프레임 구간에 합성할 수 있다. 상기와 같이 파노라마 촬영모드를 수행하면, 제1파노라마 촬영 종료시점에서 제2이미지와 합성된 파노라마 이미지를 생성할 수 있다. 이때 상기 파노라마 촬영을 수행하는 상태에서 부화면 이미지를 합성하는 경우, 첫 프레임에 사용자의 얼굴이 들어가지 않고 추가 합성 프레임에 사용자가 얼굴을 넣고자할 때 상기 도 4b와 같이 파노라마 촬영 도중에 전면 이미지센서의 촬영을 수행하면 해당 합성 프레임에 전면 이미지센서의 영상을 합성할 수 있다. 또한 첫 프레임에 사용자의 얼굴을 넣고자할 때 상기 도 4c와 같이 첫 프레임은 Dual Camera 촬영을 진행하여 합성하고 나머지 파노라마 합성 프레임은 Main Camera만 촬영하여 합성할 수 있다.
도 5는 듀얼 이미지센서를 구비하는 전자장치에서 본 발명의 제2실시예에 따라 파노라마 이미지를 촬영하는 절차를 도시하는 흐름도이다. 그리고 도 6a ?? 도 6b는 도 5와 같이 파노라마 촬영을 설명하기 위한 도면이다.
상기 도 5 및 도 6a ?? 도 6b를 참조하면, 입력부140을 통해 이미지센서 구동이 요구되면, 상기 제어부100은 511동작에서 프리뷰 모드를 수행할 수 있다. 상기 프리뷰 모드에서의 동작은 상기 도 3의 311동작에서의 동작과 동일하게 수행될 수 있다.
이때 상기 프리뷰 모드에서 제2파노라마 촬영이 요구되면, 상기 제어부100은 513동작에서 이를 감지하고, 515동작에서 제2파노라마 촬영모드의 촬영 방법을 분석할 수 있다. 여기서 상기 촬영방법은 동시촬영과 순차 촬영이 있을 수 있다. 여기서 상기 동시촬영은 파노라마 촬영 요구시 상기 제1이미지센서120 및 제2이미지센서125에서 출력되는 제1이미지 및 제2이미지들을 동시에 파노라마 이미지로 처리하는 촬영모드이며, 순차촬영은 먼저 제1이미지센서120에서 출력되는 제1이미지를 파노라마 이미지로 처리하고 이후 촬영요구시(셔터 스위치 온 또는 타이머 종료 시점) 제2이미지센서125에서 출력되는 제2이미지를 파노라마 이미지로 처리하는 방법이다.
먼저 동시촬영모드인 경우, 상기 제어부100은 515동작에서 이를 감지하고, 517동작에서 제1이미지센서120에서 생성되는 주화면 이미지 및 상기 제2이미지센서15에서 생성되는 제2이미지를 각각 버퍼링할 수 있다. 상기 제2파노라마 촬영모드에서 상기 전자장치는 동일한 회전면을 가지며 일정한 속도로 이동되며, 이로인해 상기 제1이미지센서120 및 제2 이미지센서125에서 출력되는 이미지는 상하 또는 좌우의 급격한 변화를 갖지 않으며, 프레임 간의 이미지가 일정 비율로 중복되는 이미지가 될 수 있다. 또한 제1이미지센서120 및 제2이미지센서125에서 출력되는 제1 및 제2이미지를 각각 버퍼링하는 315동작에서 상기 제어부100은 제1이미지센서120 및 제2이미지센서125에서 각각 출력되는 제1 및 제2 이미지를 상기 표시부130에 프리뷰 이미지로 표시할 수 있다.
상기와 같은 상태에서 파노라마 촬영이 종료되면, 상기 제어부100은 519동작에서 이를 감지하고, 521동작에서 상기 버퍼링 중인 제1이미지 및 제2이미지를 각각 처리하여 주화면 및 부화면 파노라마 이미지로 생성하고, 상기 주화면 파노라마 이미지에 상기 부화면 파노라마 이미지를 합성한 후 이를 부호화하여 상기 저장부110에 저장할 수 있다. 여기서 상기 파노라마 촬영은 셔터 스위치가 온되는 시간 동안 수행될 수 있으며, 또는 설정된 시간 동안 수행될 수 있다. 전자의 경우 상기 제어부100은 셔터스위치가 오프되면 파노라마 촬영의 종료 감지하며, 후자의 경우에는 설정된 시간이 종료되면 파노라마 촬영의 종료로 감지할 수 있다.
또한 상기 515동작에서 순차촬영임을 감지하면, 상기 제어부100은 531동작에서 제1이미지센서120에서 생성되는 주화면 이미지를 버퍼링할 수 있다. 또한 상기 제어부100은 531동작에서 상기 제1이미지센서120에서 생성되는 버퍼링되는 이미지를 상기 표시부130에 주화면 이미지로 표시하며, 또한 상기 제2이미지센서125에서 생성되는 이미지를 부화면 이미지로 처리한 후 상기 표시부130에 부화면 이미지로 표시할 수 있다.
이후 상기 제어부100은 제2이미지의 파노라마 촬영이 요구되면 533동작에서 535동작에서 제2이미지센서125에서 출력되는 제2이미지들을 버퍼링할 수 있다. 즉, 상기 제어부100은 상기 제1이미지센서120에서 출력되는 제1이미지들을 버퍼링하는 상태에서 제2이미지의 파노라마 촬영 시점이면 상기 제어부100은 해당 시점에서 상기 제1이미지 및 제2이미지를 각각 버퍼링하기 시작할 수 있다. 여기서 상기 제2이미지의 파노라마 촬영시점은 타이머의 종료시간 또는 셔터 스위치의 온 시점이 될 수 있다. 본 발명의 실시예에서는 타이머를 이용하여 제2이미지의 파노라마 촬영을 시작한다고 가정한다. 이런 경우 상기 제어부100은 상기 515동작에서 제1이미지의 파노라마 촬영이 요구되는 경우 상기 타이머를 구동하며, 상기 타이머가 종료되면 533동작에서 이를 감지하고 535동작에서 제2이미지의 파노라마 촬영을 시작할 수 있다. 여기서 상기와 같이 타이머를 사용하면, 사용자가 주화면 이미지를 파노라마 이미지로 촬영을 시작한 후에 장치의 급격한 변동없이 안정되게 제2이미지의 파노라마 촬영을 할 수 있으며, 또한 제2이미지가 사용자의 얼굴 이미지를 포함하는 경우 제1이미지센서120의 구동후 제2이미지의 구도를 원하는 구도로 할 수 있는 시간을 보장할 수 있다.
상기 515동작에서 제1 및 제2이미지를 파노라마 촬영하는 중에 파노라마 촬영 종료가 요구되면, 상기 제어부100은 527동작에서 버퍼링 중인 제1이미지 및 제2이미를 처리하여 각각 파노라마 이미지로 생성하고, 상기 파노라마 이미지에 상기 캡쳐된 제2이미지를 합성한 후 이를 부호화하여 상기 저장부110에 저장할 수 있다. 이때 상기 제1이미지센서120 및 제2이미지센서125에서 출력되는 이미지에는 인물이 매 프레임에 반복적으로 포함될 수 있다. 특히 상기 제2이미지센서125에서 촬영되는 제2이미지는 촬영자의 얼굴을 포함하는 이미지가 될 수 있다. 이런 경우 파노라마 이미지를 생성할 때 반복적으로 포함되는 인물 이미지는 특정 프레임에만 존재하도록 하는 것이 바람직할 수 있다. 따라서 인물이 포함된 이미지인 경우, 상기 제어부100은 파노라마 이미지를 생성할 때 버퍼링된 각 프레임 이미지들에 대하여 얼굴 영역 검출하여 인물이미지(얼굴 이미지)를 추출하고, 하나의 프레임 이미지에 얼굴을 포함한 인물 이미지를 포함시키고 해당 프레임을 제외한 나머지 프레임들의 이미지를 합성하여 파노라마 이미지를 생성하는 방법을 사용할 수 있다.
일반적으로 얼굴인식은 이미지 내에서 얼굴이 어디인지 구분해내는 얼굴 영역 추출과 추출된 얼굴영역에 찾아낸 얼굴이 누구의 얼굴인지 감별하는 얼굴인식이 있다. 여기서 상기 얼굴 영역 추출은 얼굴과 배경을 구분하기 위해 밝기, 움직임, 색상, 눈(코, 입, 귀 등) 위치 추정 등의 정보를 이용할 수 있으며, 다양한 변수 때문에 복수의 정보들을 이용할 수 있다. 즉, 얼굴 영역을 정확하게 추출하기 위해 2가지 이상의 정보를 취합 후 상호 보완하는 방식을 사용할 수 있다. 상기 제어부100은 사진 전체에서 얼굴이 어디인지 구분해내는 얼굴 영역 추출 기능을 가지는 얼굴인식부를 구비할 수 있다.
상기와 같이 버퍼링된 이미지에서 얼굴 영역을 검출한 후, 상기 제어부100은 버퍼링된 각 프레임의 이미지들을 파노라마 이미지로 생성할 때 상기 얼굴영역을 포함하는 이미지들이 중복되지 않도록 연결하며, 상기 얼굴 영역을 포함하는 인물 이미지는 특정 프레임에 포함시킨다. 그리고 상기 제어부100은 521동작에서 제1이미지의 파노라마 이미지와 제2이미지의 파노라마 이미지를 합성하여 부호화한 후 저장부110에 저장할 수 있다. 이때 상기 제1이미지의 파노라마 이미지는 도 6a 및 도 6b의 610과 같을 수 있으며, 제2이미지의 파노라마 이미지는 도 6a 및 도 6b의 620과 같을 수 있다. 이때 상기 제1 및 제2이미지의 파노라마 이미지들을 합성할 때, 상기 주화면 파노라마 이미지에 부호화면 파노라마 이미지를 도 6a의 630과 같이 PIP 형태로 합성할 수 있으며, 또는 도 6b의 650과 같이 병렬 형태로 합성할 수 있다.
그리고 상기 프리뷰모드에서 이미지센서 구동 종료 요구가 발생되면, 상기 제어부100은 551동작에서 이를 감지하고 553동작에서 듀얼 이미지센서의 구동을 종료할 수 있다.
상기한 바와 같이 제2파노라마 촬영모드를 수행하면, 상기 제어부100은 제1이미지센서120 및 제2이미지센서125는 동시에 또는 순차적으로 파노라마 기능을 수행할 수 있다. 그리고 상기 제1이미지센서120의 파노라마이미지와 제2이미지센서125의 파노라마 이미지를 합성하여 도 6a와 같이 PIP형태의 파노라마 샷을 만들 수 있다. 이때 제2이미지센서125의 파노라마 촬영을 진행할 때 인물이 위치해 있으면 인물 외의 배경만을 추출하여 파노라마 이미지를 생성할 수 있다. 그리고 상기 제2이미지센서125에 인물이 없으면 기존의 파노라마 방식을 사용하여 파노라마 촬영 후 이를 제1이미지센서120의 파노라마 이미지와 합성하여 Dual 파노라마 이미지를 만들 수 있다. 또한 도 6b와 같이 상기 제1이미지센서120의 파노라마 이미지와 제2이미지센서125의 파노라마 이미지를 병렬로 합성하여 하나의 파노라마 이미지를 만들 수 있다. 이때 상기 파노라마 촬영이 전자장치를 180도로 회전시켜 이루어지는 경우, 상기 제1이미지센서120의 파노라마 이미지 및 제2이미지센서125의 파노라마 이미지를 합성하면 360도의 파노라마 이미지를 만들 수 있다.
도 7은 듀얼 이미지센서를 구비하는 전자장치에서 본 발명의 실시예 따른 제1파노라마 촬영모드 및 제2파노라마 촬영모드를 수행하는 절차를 도시하는 흐름도이다.
상기 도 7을 참조하면, 상기 제어부100은 711동작에서 프리뷰모드를 수행하며, 상기 프리뷰 모드에서 사용자는 제1파노라촬영모드 또는 제2파노라마 촬영모드를 선택할 수 있다. 그리고 상기 제2파노라마 촬영모드는 동시촬영 또는 순차촬영을 선택할 수 있으며, 이는 상기한 바와 같이 설정모드에서 선택할 수 있으며 또는 제2촬영모드에서 선택할 수도 있다.
이때 상기 제1파노라마 촬영모드가 선택되면, 상기 제어부100은 713동작 및 715동작에서 이를 감지하고, 717동작에서 제1이미지센서120에서 출력되는 주화면 이미지를 파노라마 촬영하며, 719동작에서 부화면 이미지 촬영 시점을 감지하면 721동작에서 제2이미지센서125에서 출력되는 제2이미지를 부화면 이미지로 캡쳐할 수 있다. 그리고 제1파노라마 촬영의 종료가 요구되면, 상기 제어부100은 725동작에서 이를 감지하고, 727동작에서 버퍼링된 제1이미지를 파노라마 이미지로 생성한 후, 도 4b 또는 도 4c와 같이 상기 제1파노라마 이미지에 캡쳐된 제2이미지를 합성할 수 있다.
또한 제2파노라마 촬영모드의 동시촬영이 선택되면, 상기 제어부100은 역시 713 및 715동작에서 이를 감지하고, 729동작에서 제1이미지센서120에서 출력되는 제1이미지 및 상기 제2이미지센서125에서 출력되는 제2이미지를 버퍼링하며, 또한 상기 표시부130에 주화면 및 부화면의 형태로 표시할 수 있다. 그리고 상기 파노라마 촬영 종료시 상기 제어부100은 731동작에서 이를 감지하고, 733동작에서 상기 버퍼링된 제1이미지 및 제2이미지를 각각 파노라마 이미지로 생성한 후, 이를 합성할 수 있다.
또한 제2파노라마 촬영모드의 순차촬영이 선택되면, 상기 제어부100은 역시 713 및 715동작에서 이를 감지하고, 717동작에서 제1이미지센서120에서 출력되는 주화면 이미지를 파노라마 촬영하며, 제2이미지센서125에서 촬영되는 이미지를 프리뷰 할 수 있다. 그리고 723동작에서 제2이미지의 파노라마 촬영시점을 상기 제어부100은 729동작에서 제1이미지센서120에서 출력되는 제1이미지 및 상기 제2이미지센서125에서 출력되는 제2이미지를 버퍼링하며, 또한 상기 표시부130에 주화면 및 부화면의 형태로 표시할 수 있다. 그리고 상기 파노라마 촬영 종료시 상기 제어부100은 731동작에서 이를 감지하고, 733동작에서 상기 버퍼링된 제1이미지 및 제2이미지를 각각 파노라마 이미지로 생성한 후, 이를 합성할 수 있다.
이때 상기 제2파노라마 촬영모드에서 동시촬영 또는 순차촬영에 의해 생성된 주화면 및 부화면 이미지의 파노라마 이미지를 합성하는 방법은 상기 도 6a와 같이 주화면 파노라마 이미지에서 부화면 파노라마 이미지를 PIP 형태로 합성할 수 있으며, 도 6b와 같이 주화면 파노라마 이미지 및 부화면 파노라마 이미지를 병렬로 합성할 수 있다. 이때 파노라마 이미지를 생성할 때 매 프레임에 인물이미지가 포함된 경우, 상기 제어부100은 상기한 바와 같이 얼굴 영역을 추출한 후, 반복되는 인물 이미지를 특정 한 프레임의 이미지에서만 표시하고 다른 프레임들의 이미지는 풍경 이미지만으로 구성할 수 있다.
도 8은 본 발명의 실시예에 따라 촬영 동작을 수행하는 휴대단말기의 구성을 도시하는 도면이다. 여기서 상기 휴대단말기는 스마트 폰을 포함하는 휴대전화기, MP3단말기, 타블렛, 컴퓨터 등의 다양한 디지털 기기들이 될 수 있다.
상기 도 8을 참조하면, 통신부170은 기지국 또는 인터넷 서버 등과 무선 통신 기능을 수행할 수 있다. 여기서 상기 통신부170은 송신신호의 주파수를 상승변환(frequency up converter) 및 전력 증폭하는 송신부와, 수신신호를 저잡음 증폭 및 주파수를 하강변환(frequency down converter)하는 수신부 등으로 구성될 수 있다. 또한 상기 통신부170은 변조부 및 복조부를 구비할 수 있다. 여기서 변조부는 송신신호를 변조하여 송신부에 전달하며, 복조부는 수신부를 통해 수신되는 신호를 복조할 수 있다. 이런 경우, 상기 변복조부는 LTE, WCDMA, GSM 등이 될 수 있으며, 또한 WIFI, WIBRO 등이 될 수 있고, NFC, Bluetooth 등이 될 수 있다. 본 발명의 실시예에서는 상기 통신부170이 LTE, WIFI, bluetooh 통신부들을 구비한다고 가정한다.
제1이미지센서120은 단말기 장치의 후면에 장착되는 후면 이미지센서로써 고 해상도의 이미지를 촬영할 수 있다. 제2이미지센서125는 단말기 장치의 전면에 장착되는 전면 이미지센서로써, 상기 제1이미지센서120에 비해 상대적으로 낮은 저해상도 이미지를 촬영할 수 있다.
제어부100은 휴대단말기의 전반적인 동작을 제어하며, 휴대단말기의 다양한 어플리케이션의 처리를 제어하는 어플리케이션 프로세서(application processor, AP)810과, 휴대단말기의 통신 기능을 제어하는 통신 프로세서(communication processor, CP)820을 구비할 수 있다. 그리고 상기 어플리케이션처리부810은 듀얼 이미지센서의 프리뷰 모드시 상기 제1이미지 및 제2이미지를 주화면 및 부화면 이미지로 표시하고, 파노라마 촬영 모드시 본 발명의 실시예에 따라 상기 제1이미지 및/또는 제2이미지를 파노라마 이미지로 생성한 후, 이를 합성하여 저장하는 동작을 제어할 수 있다.
저장부110은 단말기의 동작 프로그램 및 본 발명의 실시예에 따른 프로그램을 저장하는 프로그램 메모리와, 단말기의 동작을 위한 테이블들 및 프로그램 수행 중에 발생되는 데이터를 저장하는 데이터 메모리를 구비할 수 있다.
표시부130은 상기 제어부100의 제어하에 실행중인 어플리케이션의 정보를 표시할 수 있다. 그리고 상기 표시부130은 듀얼 모드에서 상기 제어부100의 제어하에 주화면 및 부화면의 이미지들을 표시할 수 있다. 상기 표시부130은 LCD 또는 OLED가 될 수 있다. 입력부140은 정정용량 방식 또는 저항막 방식으로 구현할 될 수 있으며, 사용자의 터치(이하 손가락 터치라고 가정한다)의 위치정보를 상기 제어부100에 출력할 수 있다. 또한 상기 입력부140은 EMR센서 패드를 더 구비할 수 있으며, 펜 터치입력을 감지하여 상기 제어부100에 출력할 수 있다. 여기서 상기 표시부130 및 입력부140은 일체형으로 구성할 수 있다.
센서150은 휴대단말기의 움직임을 감지하기 위한 센서들을 구비할 수 있다. 여기서 상기 센서들은 가속도센서, 지자기센서, 자이로센서 및/또는 위치감지 센서들로 구성될 수 있다. 오디오처리부180은 상기 제어부100의 제어하에 통신모드에서 발생되는 음성 신호를 처리할 수 있다.
상기와 같은 구성을 가지는 휴대단말기의 제어부100은 상기 표시부130에 주화면 이미지로 표시하기 위한 이미지센서를 선택하기 위한 이미지센서버튼 및 듀얼 모드를 설정을 온/오프하는 듀얼버튼을 구비할 수 있다. 그리고 상기 제어부100은 사용자의 듀얼 버튼 온시 상기 제1이미지센서120 및 제2이미지센서125를 구동하는 듀얼 모드를 수행하며, 상기 듀얼 모드에서 상기 제어부100은 상기 이미지센서120 및 125에서 출력되는 이미지들을 상기 표시부130에 주화면 및 부화면의 듀얼 이미지로 표시할 수 있다. 또한 상기 제어부100은 듀얼 모드에서 이미지센서 버튼의 선택에 의해 주화면 이미지를 출력하는 이미지센서를 선택할 수 있다. 본 발명의 실시예에서는 상기 휴대단말기를 듀얼 모드로 구동할 때, 제1이미지센서120을 주화면 이미지센서로 선택하고 상기 제2이미지센서125를 부화면 이미지센서로 선택하는 경우를 가정하여 설명한다.
휴대단말기는 듀얼 이미지센서 구동시 프리뷰 모드에서 상기 제어부100은 상기 표시부130에 제1이미지센서120에서 생성되는 제1이미지를 주화면으로 표시하고, 상기 제2이미지센서125에서 생성되는 제2이미지를 부화면으로 표시할 수 있다. 그리고 상기 프리뷰 화면에 파노라마 촬영모드를 포함하는 촬영모드 선택 버튼을 표시할 수 있다. 본 발명의 실시예에서 상기 파노라마 촬영모드는 듀얼이미지센서에서 하나의 이미지센서에서 촬영되는 이미지를 파노라마 이미지로 촬영하는 제1파노라마 촬영모드와, 듀얼 이미지센서에서 촬영되는 제1 및 제2이미지를 모두 파노라마 이미지로 촬영하는 제2파노라마 촬영모드를 구비하며, 상기 제2파노라마촬영모드는 동시촬영 및 순차촬영을 할 수 있다.
먼저 듀얼 이미지센서의 프리뷰 모드에서 제1파노라마 촬영모드가 선택되면, 상기 제어부100은 도 3과 같은 절차를 수행하면서 제1이미지센서120에서 출력되는 제1이미지를 버퍼링하며, 또한 상기 제1이미지를 표시부130에 주화면 이미지로 표시하며 제2이미지센서125에서 출력되는 제2이미지를 부화면으로 프리뷰 할 수 있다. 그리고 설정된 프레임에서 부화면 이미지를 생성하는 제2이미지센서의 제2이미지를 정지이미지로 캡쳐할 수 있다. 이때 상기 제어부100은 타이머를 구비할 수 있으며, 상기 파노라마 촬영 요구시 상기 타이머를 구동하고, 상기 타이머가 종료되는 시점에서 제2이미지를 캡쳐할 수 있다. 그리고 파노라마 촬영 종료시 상기 파노라마 이미지에 상기 정지이미지를 부화면 이미지로 합성할 수 있다. 이때 상기 파노라마 이미지에 합성되는 부화면 이미지의 위치는 도 4b와 같이 파노라마 이미지의 첫 번째 프레임 구간, 도 4c와 같이 마지막 프레임 구간 또는 설정된 프레임 구간이 될 수 있다. 이때 상기 부화면은 상기 파노라마 이미지에 PIP 형태로 합성될 수 있다. 또한 상기 부화면은 상기 파노라마 이미지에 병렬 형태로 합성될 수 있다.
두 번째로 듀얼 이미지센서의 프리뷰모드에서 제2파노라마 촬영모드가 선택되면, 제어부100은 제1이미지센서120 및 제2이미지센서125로부터 생성되는 매 프레임의 제1 및 제2이미지를 버퍼링하며, 상기 표시부130에 각각 주화면 및 부화면으로 표시할 수 있다. 이때 사용자는 상기 파노라마 촬영시 휴대단말기를 일정 속도로 회전시키면서 촬영 모드를 수행할 수 있다. 그리고 파노라마 촬영 종료시 상기 제어부100은 버퍼링 중인 제1이미지 및 제2이미지들에서 중복되는 이미지를 제거하여 주화면의 파노라마 이미지 및 부화면의 파노라마 이미지를 생성하고, 상기 생성된 두 파노라마 이미지를 합성하여 저장할 수 있다. 이때 상기 제2이미지센서125에서 생성되는 제2이미지는 매 프레임에서 반복되는 촬영자의 이미지를 포함할 수 있다. 이런 경우 인물 이미지는 하나의 프레임 이미지 구간에만 표시하는 것이 바람직할 수 있다. 따라서 상기 제2파노라마 이미지 생성시 상기 제어부100은 제2이미지에 포함된 얼굴검출을 통하여 얼굴을 포함한 하나의 프레임 이미지와 얼굴을 제외한 나머지 프레임들의 이미지를 합성하여 파노라마 이미지를 생성할 수 있다.
또한 상기 제1 및 제2파노라마 이미지를 촬영하는 경우, 상기 제어부100은 상기 제이미지센서120 및 제2이미지센서125의 동시 촬영에 의해 파노라마 이미지를 생성할 수 있으며, 또한 순차 촬영에 의해 먼저 제1파노라마 이미지를 촬영하고 이후 제2파노라마 이미지를 촬영할 수 있다. 이때 후자의 경우 제1파노라마 이미지를 촬영하는 상태에서 제2파노라마 이미지의 촬영을 하기 위한 동작을 수행하는 경우, 제1파노라마 촬영 동작(일정 회전면을 유지하면서 일정 속도로 회전시키는 동작)에 영향을 미칠 수 있다. 따라서 순차촬영의 경우 상기 제어부100은 타이머를 구비하며, 상기 파노라마 촬영시점에서 타이머를 구동하고 타이머 종료시(즉, 제1파노라마 촬영을 하는 중)에 제2이미지센서125에서 생성되는 매 프레임의 제2이미지를 버퍼링하여 제2파노라마 이미지를 촬영하는 방법을 사용할 수 있다. 상기 제1파노라마 이미지 및 제2파노라마 이미지를 합성하는 경우, 상기 제어부100은 상기 제1파노라마 이미지에 PIP 형태로 제2파노라마 이미지를 합성할 수 있으며, 또는 상기 제1파노라마 이미지에 병렬로 상기 제2파노라마 이미지를 합성할 수 있다.
본 명세서와 도면에 개시 된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
Claims (20)
- 전자 장치의 이미지 촬영 방법에 있어서,
제1이미지센서에서 출력되는 제1이미지를 주화면으로 표시하고 제2이미지센서에서 촬영되는 제2이미지를 부화면 이미지로 표시하는 프리뷰 표시동작과,
상기 프리뷰 표시동작에서 파노라마 촬영 요구시 상기 제1이미지를 버퍼링하며 설정된 프레임에서 제2이미지를 캡쳐하며, 상기 제1이미지 및 제2이미지를 각각 주화면 및 부화면으로 표시하는 파노라마 촬영동작과,
상기 파노라마 촬영 종료시 상기 버퍼링된 제1이미지를 파노라마 이미지로 생성하며, 상기 파노라마 이미지에 상기 캡쳐된 제2이미지를 합성하여 표시하는 합성 파노라마 표시동작을 포함하는 방법. - 제1항에 있어서, 상기 파노라마 촬영 동작은
상기 파노라마 촬영요구시 타이머를 구동하는 동작을 더 구비하며,
상기 타이머 종료시 상기 제2이미지센서에서 출력되는 제2이미지를 부화면 이미지로 캡쳐하는 동작을 포함하는 방법. - 제2항에 있어서, 상기 합성 파노라마 표시동작은
상기 파노라마 이미지에 부화면 이미지를 PIP 형태로 합성하여 표시하는 동작을 포함하는 방법. - 제3항에 있어서, 상기 합성 파노라마 표시동작은
상기 파노라마 이미지의 첫 번째 프레임 또는 마지막 프레임에 상기 부화면 이미지를 합성하는 동작을 포함하는 방법. - 제2항에 있어서, 상기 합성 파노라마 표시동작은
상기 파노라마 이미지에 부화면 이미지를 병렬 합성하여 표시하는 동작을 포함하는 방법. - 듀얼 이미지센서를 구비하는 장치의 이미지 촬영 방법에 있어서,
제1이미지센서에서 출력되는 제1이미지를 주화면으로 표시하고 제2이미지센서에서 촬영되는 제2이미지를 부화면 이미지로 표시하는 프리뷰 표시동작과,
상기 프리뷰 표시동작에서 파노라마 촬영 요구시 상기 제1이미지 및 제2이미지를 버퍼링하며, 상기 제1이미지 및 제2이미지를 각각 주화면 및 부화면으로 표시하는 파노라마 촬영동작과,
상기 파노라마 촬영 종료시 상기 버퍼링된 제1이미지 및 제2이미지를 각각 주화면 및 부화면의 파노라마 이미지로 생성하며, 상기 주화면 파노라마 이미지에 상기 부화면 파노라마 이미지를 합성하여 표시하는 합성 파노라마 표시동작을 포함하는 방법. - 제6항에 있어서,
상기 파노라마 촬영 동작은 순차촬영 동작을 더 구비하며,
상기 순차촬영 동작은
상기 파노라마 촬영요구시 타이머를 구동하며, 상기 제1이미지를 버퍼링하고 상기 제1이미지 및 제2이미지를 각각 주화면 및 부화면으로 표시하는 동작과,
상기 타이머 종료시 상기 제1이미지 및 제2이미지를 버퍼링하고, 상기 제1이미지 및 제2이미지를 각각 주화면 및 부화면으로 표시하는 동작을 포함하는 방법. - 제7항에 있어서, 상기 합성 파노라마 표시동작은
상기 제2이미지에 반복되는 이미지 포함시 상기 이미지를 추출하여 설정된 프레임에 표시하고 다른 프레임들에서 제거한 제2이미지의 파노라마 이미지를 생성하는 동작을 더 구비하는 방법. - 제8항에 있어서,
상기 합성 파노라마 표시동작은
상기 주화면 파노라마 이미지에 부화면 이미지를 PIP 형태로 합성하여 표시하는 동작을 포함하는 방법. - 제8항에 있어서, 상기 합성 파노라마 표시동작은
상기 주화면 파노라마 이미지에 부화면 이미지를 병렬 합성하여 표시하는 동작을 포함하는 방법. - 이미지 촬영 장치에 있어서,
제1이미지센서 및 제2이미지센서와,
프리뷰모드에서 제1이미지센서에서 출력되는 제1이미지를 주화면으로 표시하고 제2이미지센서에서 촬영되는 제2이미지를 부화면 이미지로 표시하는 표시부와,
상기 프리뷰 모드에서 파노라마 촬영 요구시 상기 제1이미지를 버퍼링하며 설정된 프레임에서 제2이미지를 캡쳐하고, 파노라마 촬영 종료시 상기 버퍼링된 제1이미지를 파노라마 이미지로 생성하며, 상기 파노라마 이미지에 상기 캡쳐된 제2이미지를 합성하여 상기 표시부에 표시하는 제어부를 포함하는 장치. - 제11항에 있어서, 상기 제어부는 타이머를 구비하며,
상기 파노라마 촬영요구시 상기 타이머를 구동하고, 상기 타이머 종료시 상기 제2이미지센서에서 출력되는 제2이미지를 부화면 이미지로 캡쳐하는 것을 포함하는 장치. - 제12항에 있어서,
상기 제어부는
상기 파노라마 이미지에 부화면 이미지를 PIP 형태로 합성하여 표시하는 것을 포함하는 장치. - 제13항에 있어서,
상기 제어부는 상기 파노라마 이미지의 첫 번째 프레임 또는 마지막 프레임에 상기 부화면 이미지를 합성하는 것을 포함하는 장치. - 제12항에 있어서,
상기 제어부는 상기 파노라마 이미지에 부화면 이미지를 병렬 합성하여 표시하는 것을 포함하는 장치. - 제11항에 있어서,
상기 제어부는 상기 제2파노라마 촬영모드를 더 구비하며,
상기 프리뷰 모드에서 제2파노라마 촬영 요구시 상기 제1이미지 및 제2이미지를 버퍼링하고, 상기 제2파노라마 촬영 종료시 상기 버퍼링된 제1이미지 및 제2이미지를 각각 주화면 및 부화면의 파노라마 이미지로 생성하며, 상기 주화면 파노라마 이미지에 상기 부화면 파노라마 이미지를 합성하여 상기 표시부에 표시하는 것을 포함하는 장치. - 제16항에 있어서,
상기 제어부는 제2파노라마 촬영모드에서 순차촬영모드를 더 구비하며,
상기 순차촬영모드시 상기 파노라마 촬영요구시 타이머를 구동하며 상기 제1이미지를 버퍼링하고, 상기 타이머 종료시 상기 제1이미지 및 제2이미지를 버퍼링하는 것을 포함하는 장치. - 제17항에 있어서,
상기 제어부는 상기 제2이미지에 반복되는 이미지 포함시 상기 이미지를 추출하여 설정된 프레임에 표시하고 다른 프레임들에서 제거한 제2이미지의 파노라마 이미지를 생성하는 것을 포함하는 장치. - 제18항에 있어서,
상기 제어부는 상기 주화면 파노라마 이미지에 부화면 이미지를 PIP 형태로 합성하여 표시하는 것을 포함하는 장치. - 제18항에 있어서,
상기 제어부는 상기 주화면 파노라마 이미지에 부화면 이미지를 병렬 합성하여 표시하는 것을 포함하는 장치.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130020767A KR102090624B1 (ko) | 2013-02-26 | 2013-02-26 | 이미지 촬영장치 및 방법 |
| US14/182,674 US9992410B2 (en) | 2013-02-26 | 2014-02-18 | Apparatus and method photographing image |
| EP14155619.1A EP2770723A3 (en) | 2013-02-26 | 2014-02-18 | Apparatus and method for photographing image |
| CN201410067412.7A CN104010135B (zh) | 2013-02-26 | 2014-02-26 | 拍摄图像的设备和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130020767A KR102090624B1 (ko) | 2013-02-26 | 2013-02-26 | 이미지 촬영장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140106779A true KR20140106779A (ko) | 2014-09-04 |
| KR102090624B1 KR102090624B1 (ko) | 2020-03-18 |
Family
ID=50151137
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130020767A KR102090624B1 (ko) | 2013-02-26 | 2013-02-26 | 이미지 촬영장치 및 방법 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9992410B2 (ko) |
| EP (1) | EP2770723A3 (ko) |
| KR (1) | KR102090624B1 (ko) |
| CN (1) | CN104010135B (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018070633A1 (ko) * | 2016-10-12 | 2018-04-19 | 엘지전자 주식회사 | 이동 단말기 및 그의 동작 방법 |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9741150B2 (en) | 2013-07-25 | 2017-08-22 | Duelight Llc | Systems and methods for displaying representative images |
| WO2016061757A1 (zh) * | 2014-10-22 | 2016-04-28 | 宇龙计算机通信科技(深圳)有限公司 | 基于双摄像头模组的图像生成方法及双摄像头模组 |
| EP3071482B1 (en) * | 2014-12-23 | 2020-10-07 | SZ DJI Osmo Technology Co., Ltd. | Uav panoramic imaging |
| US11962908B2 (en) * | 2015-03-17 | 2024-04-16 | Microsoft Technology Licensing, Llc. | Automatic image frame processing possibility detection |
| CN105657299A (zh) * | 2015-07-14 | 2016-06-08 | 宇龙计算机通信科技(深圳)有限公司 | 一种基于双摄像头的拍摄数据的处理方法及系统 |
| US10204291B2 (en) * | 2015-08-31 | 2019-02-12 | International Business Machines Corporation | System, method, and recording medium for detecting events for interest from mobile |
| CN107026973B (zh) * | 2016-02-02 | 2020-03-13 | 株式会社摩如富 | 图像处理装置、图像处理方法与摄影辅助器材 |
| KR20180039529A (ko) * | 2016-10-10 | 2018-04-18 | 엘지전자 주식회사 | 이동 단말기 및 그의 동작 방법 |
| CN106454130A (zh) * | 2016-11-29 | 2017-02-22 | 广东欧珀移动通信有限公司 | 控制方法、控制装置和电子装置 |
| US10586111B2 (en) | 2017-01-13 | 2020-03-10 | Google Llc | Using machine learning to detect which part of the screen includes embedded frames of an uploaded video |
| CN108965744A (zh) * | 2017-11-22 | 2018-12-07 | 北京视联动力国际信息技术有限公司 | 一种基于视联网的视频图像处理方法及装置 |
| CN107707825B (zh) * | 2017-11-27 | 2019-12-03 | 维沃移动通信有限公司 | 一种全景拍摄方法、移动终端和计算机可读存储介质 |
| CN110475058B (zh) * | 2018-05-10 | 2021-06-01 | 宏碁股份有限公司 | 图像合成方法及智能装置 |
| CN109242772B (zh) * | 2018-08-23 | 2023-01-31 | 上海圭目机器人有限公司 | 基于智能平台面阵相机采集的机场道面表面图像拼接方法 |
| CN109559365A (zh) * | 2018-11-30 | 2019-04-02 | 努比亚技术有限公司 | 文件扫描方法、装置、移动终端及存储介质 |
| CN110072056B (zh) * | 2019-05-10 | 2022-02-01 | 北京迈格威科技有限公司 | 基于多个摄像头模组的数据处理方法及装置 |
| CN110072058B (zh) * | 2019-05-28 | 2021-05-25 | 珠海格力电器股份有限公司 | 图像拍摄装置、方法及终端 |
| CN110263680B (zh) * | 2019-06-03 | 2022-01-28 | 北京旷视科技有限公司 | 图像处理方法、装置和系统及存储介质 |
| CN111010511B (zh) * | 2019-12-12 | 2021-08-10 | 维沃移动通信有限公司 | 全景分身图像拍摄方法及电子设备 |
| CN113114933A (zh) * | 2021-03-30 | 2021-07-13 | 维沃移动通信有限公司 | 图像拍摄方法、装置、电子设备和可读存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060044396A1 (en) * | 2002-10-24 | 2006-03-02 | Matsushita Electric Industrial Co., Ltd. | Digital camera and mobile telephone having digital camera |
| KR20060068146A (ko) * | 2004-12-16 | 2006-06-21 | 주식회사 팬택 | 셔터조작이 필요없는 카메라 내장형 이동통신단말기 |
| US20060176364A1 (en) * | 2005-01-26 | 2006-08-10 | Inventec Appliances Corp. | Mobile communication apparatus capable of automatically capturing image data and method for automatically capturing image data thereof |
| KR20080063996A (ko) * | 2007-01-03 | 2008-07-08 | 삼성테크윈 주식회사 | 사용자의 얼굴이 모니터링되는 디지털 영상 처리 장치 |
| US20100111429A1 (en) * | 2007-12-07 | 2010-05-06 | Wang Qihong | Image processing apparatus, moving image reproducing apparatus, and processing method and program therefor |
| US20110234832A1 (en) * | 2010-03-26 | 2011-09-29 | Sony Corporation | Control device, camera system and program |
| US20120274827A1 (en) * | 2011-04-28 | 2012-11-01 | Canon Kabushiki Kaisha | Imaging apparatus and method for controlling the same |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030058255A1 (en) * | 2001-09-21 | 2003-03-27 | Yoichi Yamagishi | Image management system |
| US20100289922A1 (en) * | 2006-05-29 | 2010-11-18 | Bit-Side Gmbh | Method and system for processing data sets of image sensors, a corresponding computer program, and a corresponding computer-readable storage medium |
| US20080095526A1 (en) | 2006-10-18 | 2008-04-24 | Teng-Lung Chang | Structure of photographic apparatus |
| JP5030906B2 (ja) * | 2008-09-11 | 2012-09-19 | 株式会社日立ハイテクノロジーズ | 走査荷電粒子顕微鏡を用いたパノラマ画像合成方法およびその装置 |
| WO2011060885A1 (de) * | 2009-11-21 | 2011-05-26 | Diehl Bgt Defence Gmbh & Co. Kg | Verfahren zur bildfusion von zumindest zwei bildern zu einem panoramabild |
| US10080006B2 (en) * | 2009-12-11 | 2018-09-18 | Fotonation Limited | Stereoscopic (3D) panorama creation on handheld device |
| US9584735B2 (en) * | 2010-11-12 | 2017-02-28 | Arcsoft, Inc. | Front and back facing cameras |
| JP5814566B2 (ja) | 2011-02-28 | 2015-11-17 | オリンパス株式会社 | 撮像装置、撮像方法及び撮像装置の制御プログラム |
| JP2012178807A (ja) | 2011-02-28 | 2012-09-13 | Sanyo Electric Co Ltd | 撮像装置 |
| TW201351959A (zh) * | 2012-06-13 | 2013-12-16 | Wistron Corp | 立體全景影像合成方法及其相關之立體攝影機 |
-
2013
- 2013-02-26 KR KR1020130020767A patent/KR102090624B1/ko active IP Right Grant
-
2014
- 2014-02-18 EP EP14155619.1A patent/EP2770723A3/en not_active Withdrawn
- 2014-02-18 US US14/182,674 patent/US9992410B2/en active Active
- 2014-02-26 CN CN201410067412.7A patent/CN104010135B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060044396A1 (en) * | 2002-10-24 | 2006-03-02 | Matsushita Electric Industrial Co., Ltd. | Digital camera and mobile telephone having digital camera |
| KR20060068146A (ko) * | 2004-12-16 | 2006-06-21 | 주식회사 팬택 | 셔터조작이 필요없는 카메라 내장형 이동통신단말기 |
| US20060176364A1 (en) * | 2005-01-26 | 2006-08-10 | Inventec Appliances Corp. | Mobile communication apparatus capable of automatically capturing image data and method for automatically capturing image data thereof |
| KR20080063996A (ko) * | 2007-01-03 | 2008-07-08 | 삼성테크윈 주식회사 | 사용자의 얼굴이 모니터링되는 디지털 영상 처리 장치 |
| US20100111429A1 (en) * | 2007-12-07 | 2010-05-06 | Wang Qihong | Image processing apparatus, moving image reproducing apparatus, and processing method and program therefor |
| US20110234832A1 (en) * | 2010-03-26 | 2011-09-29 | Sony Corporation | Control device, camera system and program |
| US20120274827A1 (en) * | 2011-04-28 | 2012-11-01 | Canon Kabushiki Kaisha | Imaging apparatus and method for controlling the same |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018070633A1 (ko) * | 2016-10-12 | 2018-04-19 | 엘지전자 주식회사 | 이동 단말기 및 그의 동작 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20140240453A1 (en) | 2014-08-28 |
| EP2770723A3 (en) | 2016-12-21 |
| KR102090624B1 (ko) | 2020-03-18 |
| CN104010135A (zh) | 2014-08-27 |
| CN104010135B (zh) | 2019-07-12 |
| US9992410B2 (en) | 2018-06-05 |
| EP2770723A2 (en) | 2014-08-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102090624B1 (ko) | 이미지 촬영장치 및 방법 | |
| US11696021B2 (en) | Video recording device and camera function control program | |
| EP2757773B1 (en) | Method and apparatus for photographing in portable terminal | |
| KR102032347B1 (ko) | 이미지 센서 위치를 이용한 이미지 영역 설정 장치 및 방법 | |
| EP2693737B1 (en) | Image processing method and apparatus | |
| KR101956170B1 (ko) | 카메라의 이미지 저장 장치 및 방법 | |
| KR102114377B1 (ko) | 전자 장치에 의해 촬영된 이미지들을 프리뷰하는 방법 및 이를 위한 전자 장치 | |
| KR102032541B1 (ko) | 이미지 촬영장치 및 방법 | |
| US9344644B2 (en) | Method and apparatus for image processing | |
| KR101433157B1 (ko) | 휴대 단말기 및 그 이미지 전송 방법 | |
| US20090227283A1 (en) | Electronic device | |
| WO2016107055A1 (zh) | 拼图的处理方法及装置 | |
| KR102241840B1 (ko) | 이미지 촬영장치 및 방법 | |
| JP6840903B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
| KR20140089134A (ko) | 듀얼 카메라를 구비하는 장치의 이미지 처리 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |