KR100879648B1

KR100879648B1 - Portable Terminal Having Power Saving Image Communication Function And Method Of Power Saving In Image Communication

Info

Publication number: KR100879648B1
Application number: KR1020070027756A
Authority: KR
Inventors: 김용재
Original assignee: (주)케이티에프테크놀로지스
Priority date: 2007-03-21
Filing date: 2007-03-21
Publication date: 2009-01-20
Also published as: KR20080086087A

Abstract

적어도 하나의 카메라를 이용하여 화상통화시 전력 소모를 줄일 수 있는 절전형 화상통화 기능을 가지는 휴대용 단말기 및 휴대용 단말기의 절전형 화상통화 방법이 개시된다. 제1 카메라부는 제1 영상을 촬영하고, 제2 카메라부는 제2 영상을 촬영한다. 제1 코덱은 촬영된 제1 영상을 제1 인코딩율로 인코딩하고, 제2 코덱은 인코딩 제어신호에 기초하여 촬영된 제2 영상을 인코딩 제어신호에 상응하는 제2 인코딩율로 인코딩한다. 그리고 제어부는 배터리의 잔존전력에 기초하여 제2 코덱의 제2 인코딩율을 조절하기 위한 인코딩 제어신호를 발생시킨다. 따라서, 화상전화의 품질을 크게 훼손하지 않는 범위내에서 화상전화로 인한 전력소비를 줄일 수 있고, 이로 인해 휴대용 단말기의 사용시간을 더 연장할 수 있다.Disclosed are a portable terminal having a power saving video call function capable of reducing power consumption during a video call using at least one camera, and a power saving video call method of the portable terminal. The first camera unit photographs the first image, and the second camera unit photographs the second image. The first codec encodes the photographed first image at the first encoding rate, and the second codec encodes the photographed second image at the second encoding rate corresponding to the encoding control signal based on the encoding control signal. The controller generates an encoding control signal for adjusting the second encoding rate of the second codec based on the remaining power of the battery. Therefore, power consumption due to video telephony can be reduced within a range that does not significantly impair the quality of the video telephony, thereby further extending the use time of the portable terminal.

화상통화, 배터리, 절전, 휴대용 단말기 Video call, battery, power saving, portable terminal

Description

Portable terminal having power saving image communication function and method of power saving in image communication

도 1은 본 발명의 일 실시예에 따른 절전형 화상통화 기능을 가지는 휴대용 단말기의 구성을 나타내는 블록도이다.1 is a block diagram showing a configuration of a portable terminal having a power saving video call function according to an embodiment of the present invention.

도 2는 본 발명의 일 실시예에 따른 절전형 화상통화 기능을 가지는 휴대용 단말기에서 배터리 잔존전력에 따른 인코딩율을 나타내는 표이다.2 is a table illustrating encoding rates according to battery remaining power in a portable terminal having a power saving video call function according to an embodiment of the present invention.

도 3은 본 발명의 일 실시예에 따른 휴대용 단말기의 절전형 화상통화 과정을 나타내는 흐름도이다.3 is a flowchart illustrating a power saving video call process of a portable terminal according to an embodiment of the present invention.

도 4는 본 발명의 다른 실시예에 따른 휴대용 단말기의 절전형 화상통화 과정을 나타내는 흐름도이다.4 is a flowchart illustrating a power saving video call process of a portable terminal according to another embodiment of the present invention.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>

101 : 제1 카메라부 103 : 제2 카메라부101: first camera unit 103: second camera unit

105 : 제1 코덱 107 : 제2 코덱105: first codec 107: second codec

110 : 영상 처리부 120 : 동영상 코덱110: image processing unit 120: video codec

130 : 제어부 140 : 디스플레이부130: control unit 140: display unit

150 : 무선 송수신부 190 : 배터리 150: wireless transceiver 190: battery

195 : 아날로그-디지털 변환부195: analog-to-digital converter

본 발명은 휴대용 단말기에 관한 것으로 더욱 상세하게는 화상통화 기능을 구비한 휴대용 단말기에 적용될 수 있는 절전형 화상통화 기능을 가지는 휴대용 단말기 및 휴대용 단말기의 절전형 화상통화 방법에 관한 것이다.The present invention relates to a portable terminal, and more particularly, to a portable terminal having a power-saving video call function that can be applied to a portable terminal having a video call function, and a power-saving video call method of the portable terminal.

이동 통신이 3.5세대로 진화하면서 고속하향패킷접속(HSDPA: High Speed Downlink Packet Access) 서비스가 시작되고 화상통화 서비스가 상용화되면서 기존의 음성과 단문 메시지 위주의 통화에서 벗어나 휴대용 단말기를 이용하여 상대방의 모습을 보면서 통화할 수 있게 되었다.As mobile communication evolved into 3.5 generations, High Speed Downlink Packet Access (HSDPA) service began and video call service became commercially available. You can talk while watching.

화상통화 서비스는 휴대용 단말기에 구비된 카메라를 이용하여 발신자의 모습을 촬영하고 촬영된 영상을 화상통화의 전송 규격에 적합하도록 처리한 뒤 이를 화상통화 수신자에게 전송하고, 화상통화 수신자로부터 전송된 영상 신호를 휴대용 단말기의 디스플레이 장치에 표시될 수 있도록 변환하여 발신자의 휴대용 단말기에 표시함으로써 발신자 및 수신자가 서로 상대방의 모습을 보면서 통화하도록 하는 서비스이다.The video call service takes a picture of a caller using a camera provided in a portable terminal, processes the recorded video to meet the transmission standard of the video call, and transmits it to the video call receiver, and transmits the video signal transmitted from the video call receiver. Is converted to be displayed on the display device of the portable terminal and displayed on the sender's portable terminal to allow the caller and the receiver to talk while looking at each other.

상기와 같은 화상통화 서비스가 제공되기 위해서는 사용자의 영상을 촬영하기 위한 카메라와, 카메라로부터 촬영된 영상을 처리하는 영상처리부와, 처리된 영상을 화상통화 전송 규격에 적합하도록 인코딩하는 영상 코덱이 추가적으로 필요하 게 되고, 상기와 같은 구성요소의 동작으로 인해 음성통화시보다 전력소모가 급격하게 커지게 된다.In order to provide such a video call service, a camera for capturing an image of a user, an image processor for processing an image captured by the camera, and an image codec for encoding the processed image to comply with a video call transmission standard are additionally required. Due to the operation of the above components, the power consumption is drastically increased than during voice calls.

한국 공개특허 2004-80847(발명의 명칭:"이동통신 단말기의 전력소모 방지를 위한 영상화면 조절방법"은 배터리 전력 잔존량에 따라 LCD 표시장치에 디스플레이 되는 영상화면의 크기를 조절하여 배터리 소모량을 줄이는 방법을 개시하고 있다.Korean Patent Laid-Open Publication No. 2004-80847 (name of the invention: “Image screen adjusting method for preventing power consumption of a mobile communication terminal”) reduces battery consumption by adjusting the size of a video screen displayed on an LCD display device according to battery power remaining. A method is disclosed.

그러나 한국 공개특허 2004-80847에서는 남은 배터리 전력에 따라 인코딩되는 동영상의 프레임 크기를 줄이는 방법을 사용하기 때문에 화상통화 송신자의 휴대용 단말기의 배터리 잔존량이 작아지게 되면 이에 상응하여 축소된 화상이 화상통화 상대방의 휴대용 단말기에 전송된다. 따라서, 화상통화 상대방의 휴대용 단말기에는 축소된 화상이 표시된다.However, Korean Patent Laid-Open Publication No. 2004-80847 uses a method of reducing the frame size of a video encoded according to the remaining battery power, and when the battery remaining amount of the portable terminal of the video call is reduced, the corresponding reduced image is displayed. Is sent to the portable terminal. Therefore, the reduced image is displayed on the portable terminal of the video call counterpart.

일반적으로 휴대용 단말기는 작은 크기의 표시 영역을 가지는 디스플레이 장치가 구비되어 있고, 화상통화시 상기 디스플레이 장치의 작은 표시영역이 구분되어 송신자와 수신자가 모두 표시되는 점을 고려할 때, 한국 공개특허 2004-80847과 같이 배터리 잔존량에 따라 영상화면의 크기를 축소하여 전송하게 되면 화상통화 수신자의 휴대용 단말기에서는 송신자의 모습이 더욱 작게 표시되어 상대방의 모습을 인식하기가 불편하다는 단점이 있다.In general, a portable terminal is provided with a display device having a small display area, and in consideration of the fact that a small display area of the display device is divided so that both a sender and a receiver are displayed when a video call is made, Korean Patent Application Publication 2004-80847 As described above, when the size of the video screen is reduced and transmitted according to the remaining battery power, the portable terminal of the video call receiver is displayed with a smaller size of the sender, which makes it difficult to recognize the appearance of the other party.

또한, 최근에는 휴대용 단말기에 두 개의 카메라를 구비하여 다양한 효과가 추가된 화상통화 방식이 등장하고 있다. 두 개의 카메라를 사용하여 화상통화를 수행하게 될 경우 하나의 카메라를 사용하여 화상통화를 수행하는 경우보다 전력 소모가 더욱 커지게 된다. 따라서, 두 개의 카메라를 사용하여 화상통화를 수행하는 경우 이에 상응하는 절전 방법이 요구된다.Recently, a video call method has been introduced in which two cameras are provided in a portable terminal to which various effects are added. If a video call is performed using two cameras, power consumption is greater than that of a video call using one camera. Accordingly, when performing a video call using two cameras, a corresponding power saving method is required.

따라서, 본 발명의 제1 목적은 적어도 하나의 카메라를 이용하여 화상통화시 전력 소모를 줄일 수 있는 절전형 화상통화 기능을 가지는 휴대용 단말기를 제공하는 것이다.Accordingly, a first object of the present invention is to provide a portable terminal having a power saving type video call function that can reduce power consumption during a video call using at least one camera.

또한, 본 발명의 제2 목적은 적어도 하나의 카메라를 이용하여 화상통화시 전력 소모를 줄일 수 있는 휴대용 단말기의 절전형 화상통화 방법을 제공하는 것이다.In addition, a second object of the present invention is to provide a power-saving video call method of a portable terminal that can reduce power consumption during video calls using at least one camera.

상술한 본 발명의 제1 목적을 달성하기 위한 본 발명의 일측면에 따른 절전형 화상통화 기능을 가지는 휴대용 단말기는 제1 영상을 촬영하는 제1 카메라부, 제2 영상을 촬영하는 제2 카메라부, 상기 촬영된 제1 영상을 제1 인코딩율로 인코딩하는 제1 코덱, 인코딩 제어신호에 기초하여 상기 촬영된 제2 영상을 상기 인코딩 제어신호에 상응하는 제2 인코딩율로 인코딩하는 제2 코덱 및 배터리의 잔존전력에 기초하여 상기 제2 코덱의 제2 인코딩율을 조절하기 위한 상기 인코딩 제어신호를 발생시키는 제어부를 포함한다. 상기 제어부는 상기 배터리 잔존전력이 감소하면 이에 상응하여 상기 제2 코덱의 제2 인코딩율을 감소시키기 위한 상기 인코딩 제어신호를 발생시킬 수 있다. 상기 제어부는 상기 배터리 잔존전력이 기설정된 한계값 이하인 경우 상기 제2 코덱의 인코딩 동작을 중지시킬 수 있다. 상기 휴대용 단말기는 상기 인코딩된 제1 영상 및 상기 인코딩된 제2 영상을 합성하여 합성영상 을 생성하는 영상처리부, 상기 합성영상을 화상통화 규격으로 인코딩하는 동영상 코덱 및 배터리로부터 제공된 전압을 디지털 형식의 배터리 전압 데이터로 변환하는 아날로그-디지털 변환부를 더 포함할 수 있다. 상기 제어부는 상기 배터리 잔존전력이 기설정된 한계값 이하인 경우, 상기 영상처리부를 제어하여 상기 영상처리부가 상기 인코딩된 제1 영상과 상기 인코딩된 제2 영상 중 가장 마지막으로 인코딩된 프레임을 합성하여 상기 합성 영상을 생성하도록 할 수 있다. 상기 제어부는 상기 배터리 잔존전력이 기설정된 한계값 이하인 경우, 상기 영상처리부를 제어하여 상기 영상처리부가 상기 합성영상을 생성하지 않고 상기 인코딩된 제1 영상을 상기 동영상 코덱으로 곧바로 전달하도록 할 수 있다.In order to achieve the first object of the present invention, a portable terminal having a power saving video call function according to an aspect of the present invention includes a first camera unit for photographing a first image, a second camera unit for photographing a second image, A first codec for encoding the photographed first image at a first encoding rate, a second codec for encoding the photographed second image at a second encoding rate corresponding to the encoding control signal based on an encoding control signal, and a battery And a controller configured to generate the encoding control signal for adjusting the second encoding rate of the second codec based on the remaining power of. The controller may generate the encoding control signal for reducing the second encoding rate of the second codec when the battery residual power decreases. The controller may stop the encoding operation of the second codec when the battery residual power is less than or equal to a preset threshold. The portable terminal may include an image processor for synthesizing the encoded first image and the encoded second image to generate a synthesized image, a video codec for encoding the synthesized image to a video call standard, and a voltage provided from a battery in a digital format. The apparatus may further include an analog-digital converter configured to convert voltage data. The controller controls the image processor to synthesize the last encoded frame of the encoded first image and the encoded second image when the battery residual power is equal to or less than a preset threshold. To generate an image. The controller may control the image processor to directly transfer the encoded first image to the video codec without generating the composite image when the battery residual power is less than or equal to a preset threshold.

또한, 본 발명의 제2 목적을 달성하기 위한 본 발명의 일측면에 따른 휴대용 단말기의 절전형 화상통화 방법은 제1 카메라부에서 촬영된 제1 영상을 제1 인코딩율로 인코딩하는 단계, 배터리 잔존 전력을 확인 하는 단계, 상기 확인된 배터리 잔존 전력에 기초하여 제2 카메라부에서 촬영된 제2 영상의 제2 인코딩율을 조절하기 위한 인코딩 제어신호를 생성하는 단계 및 상기 인코딩 제어신호에 기초하여 상기 제2 영상을 상기 제2 인코딩율로 인코딩하는 단계를 포함한다. 상기 인코딩 제어신호를 생성하는 단계는 상기 배터리 잔존전력이 감소하면 이에 상응하여 상기 제2 영상의 제2 인코딩율을 감소시키는 인코딩 제어신호를 생성할 수 있다. 상기 인코딩 제어신호를 생성하는 단계는 상기 배터리 잔존전력이 기설정된 한계값 이하인 경우 상기 제2 코덱의 인코딩 동작을 중지시키는 인코딩 제어신호를 생성할 수 있다. 상기 휴대용 단말기의 절전형 화상통화 방법은 상기 인코딩된 제1 영상 및 상기 인코딩된 제2 영상을 합성하여 합성영상을 생성하는 단계 및 상기 합성영상을 화상통화 규격으로 인코딩하는 단계를 더 포함할 수 있다. 상기 인코딩된 제1 영상 및 상기 인코딩된 제2 영상을 합성하여 합성영상을 생성하는 단계는 상기 배터리 잔존전력이 기설정된 한계값 이하인 경우, 상기 인코딩된 제1 영상과 상기 인코딩된 제2 영상 중 가장 마지막으로 인코딩된 프레임을 합성하여 상기 합성영상을 생성할 수 있다. 상기 인코딩된 제1 영상 및 상기 인코딩된 제2 영상을 합성하여 합성영상을 생성하는 단계는 상기 배터리 잔존전력이 기설정된 한계값 이하인 경우, 상기 합성 영상을 생성하지 않고 상기 인코딩된 제1 영상을 곧바로 화상통화 규격으로 인코딩할 수 있다.In addition, according to an aspect of the present invention to achieve a second object of the present invention, a power-saving video call method of a portable terminal, encoding a first image photographed by a first camera unit at a first encoding rate, remaining battery power; Confirming an image, generating an encoding control signal for adjusting a second encoding rate of a second image photographed by a second camera unit based on the identified battery remaining power, and generating the encoding control signal based on the encoding control signal. Encoding a second image at the second encoding rate. The generating of the encoding control signal may generate an encoding control signal for reducing the second encoding rate of the second image when the battery residual power decreases. The generating of the encoding control signal may generate an encoding control signal for stopping the encoding operation of the second codec when the battery residual power is less than or equal to a preset threshold. The method may further include generating a composite image by synthesizing the encoded first image and the encoded second image, and encoding the synthesized image into a video call standard. The generating of the synthesized image by synthesizing the encoded first image and the encoded second image may be performed when the battery remaining power is less than or equal to a preset threshold value, which is the most of the encoded first image and the encoded second image. Finally, the synthesized image may be generated by synthesizing the encoded frames. The generating of the synthesized image by synthesizing the encoded first image and the encoded second image may directly generate the encoded first image without generating the synthesized image when the battery remaining power is less than or equal to a preset threshold. It can be encoded in a video call standard.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.As the present invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description.

그러나, 이는 본 발명의 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.However, this is not intended to be limited to the specific embodiment of the present invention, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, with reference to the accompanying drawings, it will be described in detail a preferred embodiment of the present invention. Hereinafter, the same reference numerals are used for the same components in the drawings, and duplicate descriptions of the same components are omitted.

그리고, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component. The term and / or includes a combination of a plurality of related items or any item of a plurality of related items.

도 1을 참조하면, 본 발명의 일 실시예에 따른 절전형 화상통화 기능을 가지는 휴대용 단말기는 제1 카메라부(101), 제2 카메라부(103), 제1 코덱(105), 제2 코덱(107), 영상 처리부(110), 동영상 코덱(120), 제어부(130), 디스플레이부(140), 무선 송수신부(150), 키입력부(161), 마이크(163), 스피커(165), 음성코덱(170), 저장부(180), 배터리(190) 및 아날로그-디지털 변환부(195)를 포함한다.Referring to FIG. 1, a portable terminal having a power saving video call function according to an embodiment of the present invention may include a first camera unit 101, a second camera unit 103, a first codec 105, and a second codec ( 107, the image processor 110, the video codec 120, the controller 130, the display 140, the wireless transceiver 150, the key input unit 161, the microphone 163, the speaker 165, and voice. A codec 170, a storage unit 180, a battery 190, and an analog-to-digital converter 195 are included.

제1 카메라부(101) 및 제2 카메라부(103)는 각각 광학장치(미도시)를 통하여 입사되는 피사체의 광학적 신호를 이미지 센서(미도시)를 통해 전기적인 신호로 변환하고 내부에 마련된 A/D(Analog to Digital) 컨버터(미도시)를 이용하여 변환된 전기적 신호를 디지털 영상 신호로 변환하여 출력한다.Each of the first camera unit 101 and the second camera unit 103 converts an optical signal of an object incident through an optical device (not shown) into an electrical signal through an image sensor (not shown), and A provided therein. The converted electrical signal is converted into a digital image signal using a / D (Analog to Digital) converter (not shown) and output.

휴대용 단말기가 슬라이드부와 본체부로 구성되는 슬라이드형인 경우에 제1 카메라부(101)는 휴대용 단말기의 슬라이드부에 사용자를 향하도록 설치되어 사용자의 모습을 촬영하도록 구성될 수 있고, 제2 카메라부(103)는 휴대용 단말기의 본체부에 제1 카메라부(101)와 반대의 방향을 촬영하도록 설치되어 전경을 촬영하도록 구성될 수 있다. 여기서, 전경이란 사용자가 바라보는 방향을 나타낸다.When the portable terminal is a slide type consisting of a slide unit and a main body unit, the first camera unit 101 may be installed to face the user so as to photograph the user, and the second camera unit ( 103 may be installed to photograph the opposite direction to the first camera unit 101 in the main body portion of the portable terminal may be configured to photograph the foreground. Here, the foreground represents a direction viewed by the user.

또한, 본 발명의 다른 실시예에서는 제1 카메라부(101) 및 제2 카메라부(103)가 회전이 가능하도록 설치되어 제1 카메라부(101) 및 제2 카메라부(103)가 서로 중첩되지 않는 피사체를 촬영하도록 구성될 수도 있다.In addition, in another embodiment of the present invention, the first camera unit 101 and the second camera unit 103 are installed to be rotatable so that the first camera unit 101 and the second camera unit 103 do not overlap each other. It may be configured to shoot a subject that does not.

제1 코덱(105)은 제1 카메라부(101)와 연결되어 제1 카메라부(101)로부터 촬영된 제1 영상 데이터를 제공받고 제공받은 제1 영상 데이터의 컬러 포맷을 변환함으로써 제1 영상 데이터의 크기를 축소시킨다. 예를 들어 제1 코덱(105)은 제1 카메라부(101)로부터 RGB(Red Green Blue) 형태의 로(raw) 데이터를 제공받고 이를 인코딩하여 YCbCr 420 포맷으로 변환할 수 있다.The first codec 105 is connected to the first camera unit 101 to receive the first image data photographed from the first camera unit 101 and converts the color format of the first image data received to the first image data. Reduce the size of. For example, the first codec 105 may receive raw data in the form of red green blue (RGB) from the first camera unit 101, encode the raw data, and convert the raw data into the YCbCr 420 format.

제2 코덱(107)은 제2 카메라부(103)와 연결되어 제2 카메라부(103)로부터 촬영된 제2 영상 데이터를 제공받고 제어부(130)로부터 제공된 인코딩 제어신호에 기초하여 초당 소정 프레임으로 제2 영상 데이터의 컬러 포맷을 변환함으로써 제2 영상 데이터의 크기를 축소시킨다. 예를 들어 제2 코덱(107)은 제2 카메라부(103)로부터 RGB 형태의 로(raw) 데이터를 제공받고 제어부(130)의 인코딩 제어신호에 기초하여 RGB 형태의 로 데이터를 초당 소정 프레임으로 인코딩하여 YcbCr 420 포맷으로 변환할 수 있다.The second codec 107 is connected to the second camera unit 103 to receive the second image data photographed from the second camera unit 103 and at a predetermined frame per second based on an encoding control signal provided from the controller 130. The size of the second image data is reduced by converting the color format of the second image data. For example, the second codec 107 receives raw data in the RGB form from the second camera unit 103 and converts the raw data in the RGB form at a predetermined frame per second based on the encoding control signal of the controller 130. Can be encoded and converted to the YcbCr 420 format.

영상 처리부(110)는 제1 코덱(105) 및 제2 코덱(107)과 연결되어 제1 코덱(105)으로부터 사용자의 모습이 촬영된 제1 영상 데이터를 제공받고, 제2 코덱(107)으로부터 전경 즉, 사용자가 바라보는 방향의 피사체를 촬영한 제2 영상 데이터를 제공받는다. 그리고 영상 처리부(110)는 제1 영상 데이터 및 제2 영상 데이터를 처리한 후 제1 영상 데이터와 제2 영상 데이터가 합성된 영상을 출력한다. 영 상 처리부(110)에서 출력되는 합성된 영상은 사용자가 바라보는 방향인 전경에 사용자의 모습이 합성된 영상이 된다.The image processor 110 is connected to the first codec 105 and the second codec 107 to receive first image data photographed by the user from the first codec 105 and from the second codec 107. Second image data photographing a subject in a foreground, ie, a direction viewed by a user is provided. The image processor 110 processes the first image data and the second image data, and then outputs an image obtained by combining the first image data and the second image data. The synthesized image output from the image processor 110 becomes an image obtained by synthesizing the user's view in the foreground, which is the direction in which the user looks.

이를 위해, 영상 처리부(110)는 사용자가 설정한 합성 환경 정보에 기초하여 제1 코덱(105)으로부터 사용자의 모습 및 사용자의 뒷배경을 촬영한 제1 영상 데이터를 제공받고 제공받은 제1 영상 데이터에서 추출 객체의 위치, 크기, 모양 등과 같은 사용자에 의해 설정된 합성 환경 정보에 상응하는 소정의 영역을 추출한다.To this end, the image processor 110 receives the first image data received from the first codec 105 based on the synthesis environment information set by the user and the first image data photographing the user's appearance and the background of the user. Extracts a predetermined area corresponding to the synthesis environment information set by the user, such as the location, size, and shape of the extraction object.

예를 들어, 사용자가 자신의 모습이 촬영된 영상에서 얼굴만을 추출하기 위해 얼굴에 상응하는 소정의 크기 및 위치를 가지는 타원을 추출 정보로 설정하였다면, 영상 처리부(110)는 제1 코덱(105)으로부터 제공된 제1 영상 데이터에서 상기 설정된 타원에 해당하는 영역인 얼굴 부분을 추출한다. 그리고 영상 처리부(110)는 선명화 필터를 이용하여 추출된 객체에 대한 선명화 작업을 수행 한다.For example, if the user has set an ellipse having a predetermined size and position corresponding to the face as extraction information in order to extract only the face from the image where the user is photographed, the image processor 110 may determine the first codec 105. The face part, which is a region corresponding to the set ellipse, is extracted from the first image data provided from the. The image processor 110 performs a sharpening operation on the extracted object using the sharpening filter.

또한, 영상 처리부(110)는 제2 코덱(107)으로부터 사용자가 바라보는 방향인 전경을 촬영한 제2 영상데이터를 제공받고 기설정된 합성 환경 정보에 따라 제공받은 제2 영상 데이터를 처리한다. 예를 들어, 영상 처리부(110)는 평균 필터, 미디언(median) 필터, 가우시언 필터 등과 같은 필터를 사용하여 제2 영상 데이터에 존재하는 잡음을 제거하고 제2 영상 데이터를 부드러운 영상으로 변환할 수 있다.In addition, the image processor 110 receives second image data photographing the foreground, which is the direction viewed by the user, from the second codec 107 and processes the second image data provided according to preset synthesis environment information. For example, the image processor 110 may remove noise present in the second image data by using a filter such as an average filter, a median filter, a Gaussian filter, and convert the second image data into a smooth image. Can be.

영상 처리부(110)는 제1 영상 데이터에서 소정의 영역을 추출하고 제2 영상 데이터에 대한 처리가 끝나면 사용자가 설정한 투명효과 정보에 따라 제1 영상 데이터에서 추출된 소정의 영역 및/또는 제2 영상 데이터 각각에 투명 효과를 적용하여 추출된 소정의 영역 및 제2 영상 데이터를 합성하여 합성 영상을 출력한다.The image processor 110 extracts a predetermined region from the first image data, and when the processing of the second image data is finished, the predetermined region and / or the second region extracted from the first image data according to the transparency effect information set by the user. The composite image is output by synthesizing the predetermined region and the second image data extracted by applying a transparent effect to each of the image data.

예를 들어, 영상 처리부(110)는 추출된 소정의 영역 및 제2 영상 데이터 각각에 알파 값을 지정하여 제1 영상 데이터에서 추출된 소정의 영역 및/또는 제2 영상 데이터를 반투명 처리한 후 추출된 소정의 영역과 제2 영상 데이터를 합성할 수 있다.For example, the image processor 110 assigns an alpha value to each of the extracted predetermined region and the second image data, and semi-transparently processes the predetermined region and / or the second image data extracted from the first image data. A predetermined region and second image data can be synthesized.

영상 처리부(110)는 제어부(130)의 제어에 따라 제1 영상 데이터 및 제2 영상 데이터의 합성 처리 과정을 수행하지 않고 제1 코덱(105)으로부터 제공된 제1 영상 데이터를 곧바로 동영상 코덱(120)에 전달할 수도 있다.The image processor 110 directly processes the first image data provided from the first codec 105 without performing a synthesis process of the first image data and the second image data under the control of the controller 130. You can also pass it on.

동영상 코덱(120)은 영상 처리부(110)로부터 합성 영상을 제공받고 이를 소정의 화상통화 전송 포맷으로 인코딩하여 제어부(130)에 제공한다. 또한, 동영상 코덱(120)은 제어부(130)로부터 화상통화 상대방의 영상을 제공받고 이를 디코딩하여 디스플레이부(140)에 제공한다.The video codec 120 receives the synthesized image from the image processor 110 and encodes the synthesized image into a predetermined video call transmission format to provide it to the controller 130. In addition, the video codec 120 receives an image of a video call counterpart from the controller 130 and decodes the image of the video call counterpart to provide it to the display 140.

동영상 코덱(120)은 예를 들어 H.261, H.263, H.264 및 MPEG-4 등과 같은 코덱이 적용될 수 있고, 화상통화를 위해서는 H.263, MPEG-4 simple profile level 0를 만족하는 코덱이 적용될 수 있다.The video codec 120 may be applied with a codec such as H.261, H.263, H.264, and MPEG-4, and the video codec 120 satisfies H.263 and MPEG-4 simple profile level 0. Codec can be applied.

제어부(130)는 동영상 코덱(120)으로부터 제공된 합성 영상을 무선 송수신부(150)를 통해 화상통화 상대방의 휴대용 단말기로 전송하고, 무선 송수신부(150)를 통해 화상통화 상대방의 영상을 제공받고 제공받은 영상을 동영상 코덱(120)에 제공한다.The controller 130 transmits the composite image provided from the video codec 120 to the portable terminal of the video call counterpart through the wireless transceiver 150, and receives and provides an image of the video call counterpart via the wireless transceiver 150. The received image is provided to the video codec 120.

제어부(130)는 절전형 화상통화 기능을 선택하기 위한 사용자 인터페이스 화면을 디스플레이부(140)를 통해 표시하고, 사용자가 키입력부(161)를 통해 절전형 화상통화 기능을 선택하면, 아날로그-디지털 변환부(195)에서 제공된 배터리 전압 데이터에 기초하여 배터리의 잔존 전력을 확인하고, 배터리의 잔존 전력에 따라 제2 코덱(107)의 인코딩율을 조절하기 위한 인코딩 제어신호를 제2 코덱(107)에 제공하여 초당 인코딩율을 감소시킴으로써 전력 소비를 줄인다.The controller 130 displays a user interface screen for selecting a power saving video call function through the display unit 140, and when the user selects the power saving video call function through the key input unit 161, the analog-digital converter ( The remaining power of the battery is checked based on the battery voltage data provided at 195, and an encoding control signal for adjusting the encoding rate of the second codec 107 according to the remaining power of the battery is provided to the second codec 107. It reduces power consumption by reducing the encoding rate per second.

예를 들어, 제어부(130)는 절전형 화상통화가 수행되면 아날로그-디지털 변환부(195)를 통해 제공된 배터리 전압 데이터에 기초하여 소정 시간 간격마다 배터리의 잔존 전력을 확인하고 배터리 잔존 전력에 따라 단계적으로 제2 코덱(107)의 초당 인코딩율을 감소시키고, 배터리 잔존 전력이 기설정된 한계값 이하인 경우에 는 제2 코덱(107)의 인코딩 동작을 중지시키고 제2 코덱(107)에서 인코딩된 가장 마지막의 프레임과 제1 코덱(105)에서 인코딩된 영상 데이터를 합성하여 화상전화가 수행될 수 있도록 한다.For example, when a power saving video call is performed, the controller 130 checks the remaining power of the battery at predetermined time intervals based on the battery voltage data provided through the analog-to-digital converter 195, and gradually performs the operation according to the remaining battery power. When the encoding rate per second of the second codec 107 is reduced, and the battery remaining power is lower than or equal to a preset limit value, the encoding operation of the second codec 107 is stopped and the last encoded value of the second codec 107 is stopped. A video call is performed by synthesizing the frame and the image data encoded by the first codec 105.

또한, 본 발명의 다른 실시예에서 제어부(130)는 배터리 잔존 전력이 기설정된 한계값 이하인 경우에는 제2 카메라부(103) 및 제2 코덱(107)의 동작을 중지시키고, 영상처리부(110)에서 영상 합성을 수행하지 않고 제1 코덱(105)으로부터 제공된 제1 영상 데이터를 동영상 코덱으로 바로 전달함으로써 전력 소비를 더욱 감소시킬 수도 있다.In addition, in another embodiment of the present invention, when the remaining battery power is less than or equal to a predetermined threshold value, the controller 130 stops the operations of the second camera unit 103 and the second codec 107, and the image processing unit 110. The power consumption may be further reduced by directly transmitting the first image data provided from the first codec 105 to the video codec without performing image synthesis.

그리고, 제어부(130)는 영상 합성의 환경 설정에 대한 사용자 인터페이스 화면을 디스플레이부(140)를 통해 표시하고 사용자가 키입력부(161)를 통해 설정한 환경 설정 정보를 저장부(180)에 저장하고 영상 처리부(110)에 제공한다. 영상 합성의 환경 설정 정보는 예를 들어 카메라 선택, 전경 갱신 주기, 추출 객체의 위 치, 크기, 모양 및 반투명 효과 설정값 등이 될 수 있다.In addition, the controller 130 displays the user interface screen for setting the environment of the image synthesis through the display unit 140 and stores the environment setting information set by the user through the key input unit 161 in the storage unit 180. The image processor 110 is provided. The configuration information of the image composition may be, for example, a camera selection, a foreground update period, a location of an extracted object, a size, a shape, and a translucent effect setting value.

디스플레이부(140)는 예를 들어 액정표시장치(LCD: Liquid Crystal Display)와 같은 표시 장치이며 휴대용 단말기의 기능 표시 및 기능 선택을 위한 사용자 인터페이스를 표시하거나, 휴대용 단말기에 구비된 다양한 응용프로그램의 실행 화면을 표시한다.The display unit 140 is, for example, a display device such as a liquid crystal display (LCD) and displays a user interface for displaying a function and selecting a function of the portable terminal, or executing various applications provided in the portable terminal. Display the screen.

특히, 디스플레이부(140)는 화상통화가 실행되면 사용자 즉, 발신자의 합성 영상 및 화상통화 상대방의 영상을 표시한다.In particular, when the video call is executed, the display 140 displays a composite image of the user, that is, the caller and the video of the video call counterpart.

무선 송수신부(150)는 안테나(ANT)를 통하여 수신된 무선 고주파(RF) 신호를 베이스 밴드(base band) 신호로 변환하여 제어부(130)에 제공하고, 제어부(130)로부터 제공되는 베이스 밴드 신호를 무선 신호로 변환하여 안테나(ANT)를 통해 출력한다. 화상통화의 실행시 제어부(130)에 제공되는 베이스 밴드 신호는 화상통화 상대방의 영상 신호 및 음성 신호를 포함할 수 있고, 제어부(130)로부터 제공되는 베이스 밴드 신호는 발신자 즉, 휴대용 단말기 사용자의 영상 신호 및 음성 신호를 포함할 수 있다.The wireless transceiver 150 converts a radio frequency (RF) signal received through the antenna ANT into a base band signal and provides it to the controller 130, and a base band signal provided from the controller 130. Is converted into a wireless signal and output through the antenna (ANT). The baseband signal provided to the controller 130 when the video call is executed may include a video signal and an audio signal of a video call counterpart, and the baseband signal provided from the controller 130 may be an image of a caller, that is, a portable terminal user. Signal and voice signal.

키입력부(161)는 복수의 문자, 숫자 입력 키 및 특수 기능을 실행하기 위한 기능키를 포함하고, 사용자로부터 입력된 키조작에 상응하는 키입력 이벤트 신호를 제어부(130)에 제공한다. 특히, 키입력부(161)는 절전형 화상 통화 기능 선택 및 실행에 상응하는 키이벤트 신호와 영상 합성의 환경 설정을 위한 키조작에 상응하는 키이벤트 신호를 제어부(130)에 제공한다.The key input unit 161 includes a plurality of text, numeric input keys, and function keys for executing a special function, and provides the control unit 130 with a key input event signal corresponding to a key operation input from a user. In particular, the key input unit 161 provides the control unit 130 with a key event signal corresponding to selection and execution of a power saving video call function and a key event signal corresponding to a key operation for setting an environment for image synthesis.

마이크(163)는 화상통화 실행시 발신자의 음성을 입력받고 이를 전기신호로 변환하여 음성 코덱(170)에 제공한다. 스피커(165)는 음성 코덱(170)으로부터 화상통화 상대방의 음성 신호를 제공받고 이를 가청주파수 대역으로 출력한다.The microphone 163 receives the caller's voice during the video call and converts the caller's voice into an electrical signal to provide the voice codec 170. The speaker 165 receives the voice signal of the video call counterpart from the voice codec 170 and outputs the voice signal in the audio frequency band.

음성 코덱(170)은 마이크(163)로부터 제공된 발신자의 음성을 소정의 포맷으로 인코딩한 후 제어부(130)에 제공한다. 또한, 음성 코덱(170)은 제어부(130)로부터 화상통화 상대방의 음성을 제공받고 이를 디코딩한 후 스피커(165)에 제공한다.The voice codec 170 encodes the caller's voice provided from the microphone 163 into a predetermined format and provides the control unit 130. In addition, the voice codec 170 receives the voice of the video call counterpart from the controller 130, decodes the voice of the video call counterpart, and provides the decoded voice to the speaker 165.

음성 코덱(170)은 예를 들어, G.711, G.723, G.723.1, G.728 등과 같은 코덱 표준을 사용하여 음성의 인코딩 및 디코딩을 수행할 수 있다.The speech codec 170 may perform encoding and decoding of speech using, for example, codec standards such as G.711, G.723, G.723.1, G.728, and the like.

저장부(180)는 휴대용 단말기의 기본 동작을 위한 운영체제와 같은 시스템 프로그램과 각종 응용프로그램 그리고 휴대용 단말기가 응용프로그램을 처리하는 과정에서 발생되는 일시적인 데이터를 저장한다. 특히, 저장부(180)에는 사용자의 선택에 따라 합성 영상이 저장될 수 있고, 영상 합성의 환경 설정 정보가 저장될 수 있다. The storage unit 180 stores system programs such as an operating system for basic operations of the portable terminal, various application programs, and temporary data generated while the portable terminal processes application programs. In particular, the storage unit 180 may store a synthesized image according to a user's selection and store environment setting information of the image synthesis.

배터리(190)는 휴대용 단말기의 동작에 필요한 전력을 공급한다. 특히, 배터리(190)는 아날로그-디지털 변환부(195)와 연결되어 전압을 아날로그-디지털 변환부(195)다.The battery 190 supplies power required for the operation of the portable terminal. In particular, the battery 190 is connected to the analog-to-digital converter 195 to convert the voltage to the analog-to-digital converter 195.

아날로그-디지털 변환부(Analog-Digital Converter)(195)는 배터리(190)로부터 전압을 제공받고, 제공된 배터리 전압을 디지털 형식의 배터리 전압 데이터로 변환한 후 제어부(130)에 제공된다.The analog-to-digital converter 195 receives a voltage from the battery 190, converts the provided battery voltage into battery voltage data in a digital format, and is provided to the controller 130.

도 1에 도시된 본 발명의 일 실시예에 따른 절전형 화상통화 기능을 가지는 휴대용 단말기에서는 배터리 잔존 전력에 따라 제2 영상 데이터의 인코딩율을 조절 하는 것으로 예를 들어 설명하였으나, 본 발명의 다른 실시예에서는 배터리 잔존 전력에 따라 제1 영상 데이터 및 제2 영상 데이터의 인코딩율을 모두 조절할 수도 있다.In the portable terminal having a power saving video call function according to an embodiment of the present invention illustrated in FIG. 1, the encoding rate of the second image data is adjusted according to the remaining battery power. In some embodiments, the encoding rate of the first image data and the second image data may be adjusted according to the remaining battery power.

도 2는 본 발명의 일 실시예에 따른 휴대용 단말기에서 배터리 잔존전력에 따른 인코딩율을 나타내는 표이다.2 is a table showing an encoding rate according to battery remaining power in a portable terminal according to an embodiment of the present invention.

도 2를 참조하면, 사용자에 의해 절전형 화상통화 기능이 수행되면, 제어부(130)는 아날로그-디지털 변환부(195)로부터 디지털 형식의 배터리 전압 데이터를 제공받고 소정시간 간격으로 배터리 잔존 전력을 확인한다.Referring to FIG. 2, when a power saving type video call function is performed by a user, the controller 130 receives the digital battery voltage data from the analog-digital converter 195 and checks the remaining battery power at predetermined time intervals. .

그리고, 제어부(130)는 판단된 배터리 잔존 전력이 80% 이상인 경우는 제2 코덱(107)을 제어하여 제2 영상 데이터가 기본 인코딩율(예를 들면, 초당 15프레임)로 인코딩되도록 하고, 배터리 잔존 전력이 60 내지 80%인 경우는 제2 코덱(107)을 제어하여 제2 영상 데이터의 인코딩율을 초당 10프레임으로 감소시키고, 배터리 잔존 전력이 40 내지 60%인 경우는 제2 영상 데이터의 인코딩율을 초당 5프레임으로 감소시킨다.When the determined battery residual power is 80% or more, the controller 130 controls the second codec 107 so that the second image data is encoded at a basic encoding rate (for example, 15 frames per second), and the battery When the remaining power is 60 to 80%, the second codec 107 is controlled to reduce the encoding rate of the second image data to 10 frames per second. When the battery remaining power is 40 to 60%, the second codec 107 Reduce the encoding rate to 5 frames per second.

그리고, 제어부(130)는 배터리 잔존 전력이 40% 이하인 경우에는 제2 코덱(107)을 제어하여 제2 코덱(107)의 인코딩 동작을 중지시킨다. 또한, 제어부(130)는 배터리 잔존 전력이 40% 이하인 경우에는 영상처리부(110)를 제어하여 제2 코덱(107)에서 인코딩된 제2 영상 데이터 중 가장 마지막으로 인코딩된 프레임과 제1 코덱(105)에서 초당 소정 프레임(예를 들면 15프레임)으로 인코딩되는 제1 영상 데이터를 합성하도록 한다.When the battery residual power is 40% or less, the controller 130 controls the second codec 107 to stop the encoding operation of the second codec 107. In addition, when the battery residual power is 40% or less, the controller 130 controls the image processor 110 to control the last encoded frame and the first codec 105 of the second image data encoded by the second codec 107. ) Synthesizes first image data encoded at a predetermined frame (for example, 15 frames) per second.

도 3은 본 발명의 일 실시예에 따른 휴대용 단말기의 절전형 화상통화 과정을 나타내는 흐름도로서, 휴대용 단말기가 초기화된 후 사용자가 절전형 화상통화 기능을 선택한 것으로 가정한다.3 is a flowchart illustrating a power saving type video call process of a portable terminal according to an embodiment of the present invention. It is assumed that a user selects a power saving type video calling function after the portable terminal is initialized.

도 3을 참조하면, 화상통화가 시작되면 제1 코덱(105)은 기설정된 인코딩율(예를 들면, 초당 15프레임)에 따라 제1 영상 데이터를 인코딩하여 영상처리부(110)에 제공한다(단계 301).Referring to FIG. 3, when a video call starts, the first codec 105 encodes the first image data according to a preset encoding rate (for example, 15 frames per second) and provides the first image data to the image processor 110 (step). 301).

제어부(130)는 아날로그-디지털 변환부(195)로부터 배터리 전압 데이터를 제공받고(단계 303), 제공받은 배터리 전압 데이터에 기초하여 배터리의 잔존 전력을 확인한다(단계 305).The controller 130 receives the battery voltage data from the analog-to-digital converter 195 (step 303), and checks the remaining power of the battery based on the provided battery voltage data (step 305).

이후, 제어부(130)는 배터리(190)의 잔존 전력이 80% 이상인지를 판단하여(단계 307), 배터리(190)의 잔존 전력이 80% 이상인 경우에 제어부(130)는 제2 코덱(107)을 제어하여 제2 영상 데이터가 초당 15프레임으로 인코딩되도록 한다(단계 309).Thereafter, the controller 130 determines whether the remaining power of the battery 190 is 80% or more (step 307), and when the remaining power of the battery 190 is 80% or more, the controller 130 determines the second codec 107. ), So that the second image data is encoded at 15 frames per second (step 309).

단계 307에서 배터리(190)의 잔존 전력이 80% 이상이 아닌 것으로 판단되면 제어부(130)는 배터리(190)의 잔존 전력이 60% 이상, 즉 배터리(190)의 잔존 전력이 60 내지 80%에 해당하는지를 판단하여(단계 311), 배터리(190)의 잔존 전력이 60 내지 80%에 해당하는 것으로 판단되면 제2 코덱(107)을 제어하여 제2 영상 데이터가 초당 10프레임으로 인코딩되도록 한다(단계 313).If it is determined in step 307 that the remaining power of the battery 190 is not 80% or more, the controller 130 determines that the remaining power of the battery 190 is 60% or more, that is, the remaining power of the battery 190 is 60-80%. In operation 311, if it is determined that the remaining power of the battery 190 corresponds to 60 to 80%, the second codec 107 is controlled to encode the second image data at 10 frames per second (step 311). 313).

단계 311에서 배터리(190)의 잔존 전력이 60% 이상이 아닌 것으로 판단되면 제어부(130)는 배터리(190)의 잔존 전력이 40% 이상, 즉 배터리(190)의 잔존 전력 이 40 내지 60%에 해당하는지를 판단하여(단계 315), 배터리(190)의 잔존 전력이 40 내지 60%에 해당하는 것으로 판단되면 제2 코덱(107)을 제어하여 제2 영상 데이터가 초당 5프레임으로 인코딩되도록 한다(단계 317).If it is determined in step 311 that the remaining power of the battery 190 is not 60% or more, the controller 130 determines that the remaining power of the battery 190 is 40% or more, that is, the remaining power of the battery 190 is 40 to 60%. In operation 315, if the remaining power of the battery 190 is determined to correspond to 40 to 60%, the second codec 107 is controlled to encode the second image data at 5 frames per second (step 315). 317).

상기와 같이 제2 영상 데이터는 단계 303 내지 단계 317의 과정을 통해 배터리(190)의 잔존 전력에 상응하는 소정의 인코딩율로 인코딩된다.As described above, the second image data is encoded at a predetermined encoding rate corresponding to the remaining power of the battery 190 through steps 303 to 317.

이후, 영상 처리부(110)는 제1 코덱(105) 및 제2 코덱(107)에 의해 각각 인코딩된 제1 영상 데이터 및 제2 영상데이터를 합성하여 합성 영상을 생성한다(단계 319). Thereafter, the image processor 110 synthesizes the first image data and the second image data encoded by the first codec 105 and the second codec 107, respectively, to generate a synthesized image (step 319).

그리고, 단계 315에서 배터리(190)의 잔존 전력이 40% 이상이 아닌 것으로 판단되면 제어부(130)는 제2 코덱(107)을 제어하여 제2 영상 데이터의 인코딩을 중지시키고(단계 321), 영상 처리부(110)를 제어하여 제1 코덱(105)으로부터 제공된 제1 영상 데이터와 제2 영상 데이터 중 가장 마지막으로 인코딩된 프레임을 합성하도록 한다(단계 323).If it is determined in step 315 that the remaining power of the battery 190 is not 40% or more, the controller 130 controls the second codec 107 to stop encoding of the second image data (step 321). The processor 110 controls the processor 110 to synthesize the last encoded frame of the first image data and the second image data provided from the first codec 105 (step 323).

제어부(130)는 배터리(190)의 잔존 전력이 40% 이하인 경우에는 제2 코덱(107)의 인코딩 동작을 중지시키고, 영상 처리부(110)를 제어하여 인코딩된 제2 영상 데이터 중에서 가장 최근에 인코딩된 프레임(즉, 정지영상)과, 기설정된 인코딩율(예를 들면, 초당 15 프레임)에 따라 실시간으로 인코딩되는 제1 영상 데이터를 합성하여 합성된 영상을 출력하도록 한다.When the remaining power of the battery 190 is 40% or less, the controller 130 stops the encoding operation of the second codec 107 and controls the image processor 110 to encode the most recently encoded second image data. The first image data encoded in real time according to a predetermined frame (that is, a still image) and a preset encoding rate (for example, 15 frames per second) to output a synthesized image.

상기의 단계 319 또는 단계 323에서 영상 처리부(110)에 의해 합성된 영상 데이터는 동영상 코덱(120)에 의해 화상통화에 적합한 전송 포맷으로 인코딩된 후, 무선 송수신부(150)를 통해 화상통화 상대방의 휴대용 단말기로 전송된다(단계 325).The image data synthesized by the image processing unit 110 in step 319 or step 323 is encoded into a transmission format suitable for a video call by the video codec 120, and then is transmitted to the video call counterpart through the wireless transceiver 150. Is sent to the portable terminal (step 325).

이후, 제어부(130)는 화상통화 종료를 지시하는 이벤트 신호(예를 들면 키이벤트 신호)가 발생되었는지를 판단하여(단계 327), 화상통화 종료를 지시하는 이벤트 신호가 발생되지 않은 것으로 판단되면 단계 301로 되돌아가서 이후의 단계들을 순차적으로 수행함으로써 절전형 화상통화가 계속 수행되도록 하고, 화상통화 종료를 지시하는 이벤트 신호가 발생된 것으로 판단되면 절전형 화상통화 과정을 종료한다.Thereafter, the controller 130 determines whether an event signal (for example, a key event signal) indicating the end of the video call has been generated (step 327), and if it is determined that no event signal indicating the end of the video call has been generated, Returning to 301, the subsequent steps are sequentially performed to continue the power saving video call, and when it is determined that an event signal indicating the end of the video call is generated, the power saving video call process is terminated.

도 3에 도시된 바와 같이 본 발명의 일 실시예에 따른 휴대용 단말기의 절전형 화상 통화 방법은 배터리(190)의 잔존 전력에 따라 제2 영상 데이터의 인코딩율을 단계적으로 감소시키고 배터리(190)의 잔존 전력이 기설정된 한계값(예를 들면 40%) 이하인 경우에는 제2 코덱(107)의 동작을 중지시키고 가장 마지막으로 인코딩된 프레임과 제1 영상 데이터를 합성함으로써 제2 코덱(107)에서 소비되는 전력을 감소시키고, 영상 처리부(110)에서 상기의 가장 마지막으로 인코딩된 프레임과 제1 영상 데이터를 합성하도록 함으로써 영상 처리부(110)의 처리 부하를 감소시킨다.As shown in FIG. 3, the power saving video call method of the portable terminal according to an embodiment of the present invention may gradually reduce the encoding rate of the second image data according to the remaining power of the battery 190, and maintain the remaining battery 190. When the power is lower than or equal to a preset threshold (for example, 40%), the second codec 107 is stopped and the second codec 107 is consumed by synthesizing the first encoded data with the last encoded frame. The power is reduced, and the image processing unit 110 synthesizes the last encoded frame and the first image data to reduce the processing load of the image processing unit 110.

도 4는 본 발명의 다른 실시예에 따른 휴대용 단말기의 절전형 화상통화 과정을 나타내는 흐름도로서 휴대용 단말기가 초기화된 후 사용자가 절전형 화상통화 기능을 선택한 것으로 가정한다.4 is a flowchart illustrating a power saving type video call process of a portable terminal according to another embodiment of the present invention. It is assumed that a user selects a power saving type video calling function after the portable terminal is initialized.

도 4를 참조하면, 화상통화가 시작되면 제1 코덱(105)은 기설정된 인코딩율(예를 들면, 초당 15프레임)에 따라 제1 영상 데이터를 인코딩하여 영상 처리 부(110)에 제공한다(단계 401).Referring to FIG. 4, when the video call starts, the first codec 105 encodes the first image data according to a preset encoding rate (for example, 15 frames per second) and provides the first image data to the image processing unit 110 ( Step 401).

제어부(130)는 아날로그-디지털 변환부(195)로부터 배터리 전압 데이터를 제공받고(단계 403), 제공받은 배터리 전압 데이터에 기초하여 배터리(190)의 잔존 전력을 확인한다(단계 405).The controller 130 receives the battery voltage data from the analog-digital converter 195 (step 403), and checks the remaining power of the battery 190 based on the provided battery voltage data (step 405).

이후, 제어부(130)는 배터리(190)의 잔존 전력이 80% 이상인지를 판단하여(단계 407), 배터리(190)의 잔존 전력이 80% 이상인 경우에 제어부(130)는 제2 코덱(107)을 제어하여 제2 영상 데이터가 초당 15프레임으로 인코딩되도록 한다(단계 409).Thereafter, the controller 130 determines whether the remaining power of the battery 190 is 80% or more (step 407), and when the remaining power of the battery 190 is 80% or more, the controller 130 determines the second codec 107. ) So that the second image data is encoded at 15 frames per second (step 409).

단계 407에서 배터리(190)의 잔존 전력이 80% 이상이 아닌 것으로 판단되면 제어부(130)는 배터리(190)의 잔존 전력이 60% 이상, 즉 배터리(190)의 잔존 전력이 60 내지 80%에 해당하는지를 판단하여(단계 411), 배터리(190)의 잔존 전력이 60 내지 80%에 해당하는 것으로 판단되면 제2 코덱(107)을 제어하여 제2 영상 데이터가 초당 10프레임으로 인코딩되도록 한다(단계 413).If it is determined in step 407 that the remaining power of the battery 190 is not 80% or more, the controller 130 determines that the remaining power of the battery 190 is 60% or more, that is, the remaining power of the battery 190 is 60-80%. In operation 411, if it is determined that the remaining power of the battery 190 corresponds to 60 to 80%, the second codec 107 is controlled to encode the second image data at 10 frames per second (step 411). 413).

단계 411에서 배터리(190)의 잔존 전력이 60% 이상이 아닌 것으로 판단되면 제어부(130)는 배터리(190)의 잔존 전력이 40% 이상, 즉 배터리(190)의 잔존 전력이 40 내지 60%에 해당하는지를 판단하여(단계 415), 배터리(190)의 잔존 전력이 40 내지 60%에 해당하는 것으로 판단되면 제2 코덱(107)을 제어하여 제2 영상 데이터가 초당 5프레임으로 인코딩되도록 한다(단계 417).If it is determined in step 411 that the remaining power of the battery 190 is not 60% or more, the controller 130 determines that the remaining power of the battery 190 is 40% or more, that is, the remaining power of the battery 190 is 40 to 60%. In operation 415, if the remaining power of the battery 190 corresponds to 40 to 60%, the second codec 107 is controlled to encode the second image data at 5 frames per second (step 415). 417).

상기와 같이 제2 영상 데이터는 단계 403 내지 단계 417의 과정을 통해 배터리(190)의 잔존 전력에 상응하는 소정의 인코딩율로 인코딩된다.As described above, the second image data is encoded at a predetermined encoding rate corresponding to the remaining power of the battery 190 through steps 403 to 417.

이후, 영상 처리부(110)는 제1 코덱(105) 및 제2 코덱(107)에 의해 각각 인코딩된 제1 영상 데이터 및 제2 영상데이터를 합성하여 동영상 코덱(120)에 제공하고(단계 419), 동영상 코덱(120)은 합성된 영상을 화상통화 포맷으로 인코딩한다(단계 421).Thereafter, the image processor 110 synthesizes the first image data and the second image data encoded by the first codec 105 and the second codec 107, respectively, and provides the synthesized image data to the video codec 120 (step 419). The video codec 120 encodes the synthesized video into a video call format (step 421).

그리고, 단계 415에서 배터리(190)의 잔존 전력이 40% 이상이 아닌 것으로 판단되면 제어부(130)는 제2 코덱(107)을 제어하여 제2 영상 데이터의 인코딩 동작을 중지시키고(단계 423), 영상 처리부(110)를 제어하여 제1 코덱(105)으로부터 제공된 제1 영상 데이터를 곧바로 동영상 코덱(120)에 전달하도록 한다. 동영상 코덱(120)은 제1 영상 데이터를 화상통화에 적합한 전송 포맷으로 인코딩한다(단계 425).If it is determined in step 415 that the remaining power of the battery 190 is not more than 40%, the controller 130 controls the second codec 107 to stop the encoding operation of the second image data (step 423). The image processor 110 is controlled to transfer the first image data provided from the first codec 105 directly to the video codec 120. The video codec 120 encodes the first video data into a transmission format suitable for a video call (step 425).

상기의 단계 421 또는 단계 425에서 동영상 코덱(120)에 의해 화상통화 전송 포맷으로 인코딩된 영상은 무선 송수신부(150)를 통해 화상통화 상대방의 휴대용 단말기로 전송된다(단계 427).The video encoded in the video call transmission format by the video codec 120 in step 421 or step 425 is transmitted to the portable terminal of the video call counterpart via the wireless transceiver 150 (step 427).

이후, 제어부(130)는 화상통화 종료를 지시하는 이벤트 신호(예를 들면 키이벤트 신호)가 발생되었는지를 판단하여(단계 429), 화상통화 종료를 지시하는 이벤트 신호가 발생되지 않은 것으로 판단되면 단계 401로 되돌아가서 이후의 단계들을 순차적으로 수행함으로써 절전형 화상통화가 계속 수행되도록 하고, 화상통화 종료를 지시하는 이벤트 신호가 발생된 것으로 판단되면 절전형 화상통화 과정을 종료한다.Thereafter, the controller 130 determines whether an event signal (for example, a key event signal) indicating the end of the video call has been generated (step 429), and if it is determined that no event signal indicating the end of the video call has been generated, Returning to 401, the subsequent steps are sequentially performed to continue the power saving video call, and when it is determined that an event signal indicating the end of the video call is generated, the power saving video call process is terminated.

도 4에 도시된 바와 같이 본 발명의 다른 실시예에 따른 휴대용 단말기의 절 전형 화상 통화 방법은 배터리(190)의 잔존 전력에 따라 제2 영상 데이터의 인코딩율을 단계적으로 감소시키고 배터리(190)의 잔존 전력이 기설정된 한계값(예를 들면 40%) 이하인 경우에는 제1 영상 및 제2 영상을 합성하지 않고 제1 영상만을 화상통화 상대방의 휴대용 단말기에 전송함으로써 제2 코덱(107) 및 영상 처리부(110)에서 소비되는 전력을 감소시킬 수 있다.As shown in FIG. 4, the power saving video call method of the portable terminal according to another embodiment of the present invention reduces the encoding rate of the second image data in stages according to the remaining power of the battery 190. When the remaining power is less than or equal to a preset threshold (for example, 40%), the second codec 107 and the image processor by transmitting only the first image to the portable terminal of the video call counterpart without combining the first image and the second image. The power consumed at 110 may be reduced.

상기와 같은 절전형 화상통화 기능을 가지는 휴대용 단말기 및 휴대용 단말기의 절전형 화상통화 방법에 따르면, 전전형 화상통화가 시작되면 제어부는 배터리의 잔존 전력을 확인하여 배터리의 잔존 전력에 따라 제2 영상 데이터의 인코딩율을 단계적으로 감소시키고, 배터리 잔존 전력이 기설정된 한계값 이하가 되면 제2 영상 데이터의 인코딩을 더 이상 수행하지 않고 가장 마지막으로 인코딩된 제2 영상 데이터의 프레임과 제1 영상 데이터를 합성하여 전송하거나, 제1 영상 데이터만을 전송함으로써 제2 코덱 및 영상 처리부의 동작으로 인해 소모되는 전력을 줄인다.According to the power-saving video call method of the portable terminal and the portable terminal having the power-saving video call function as described above, when a full-featured video call starts, the controller checks the remaining power of the battery and encodes the second image data according to the remaining power of the battery. Reduce the rate step by step, and when the remaining battery power is below the preset limit, the second image data is no longer encoded and the frame of the last encoded second image data and the first image data are combined and transmitted. Alternatively, the power consumed by the operation of the second codec and the image processor may be reduced by transmitting only the first image data.

따라서, 화상전화의 품질을 크게 훼손하지 않는 범위내에서 화상전화로 인한 전력소비를 줄일 수 있고, 이로 인해 휴대용 단말기의 사용시간을 더 연장할 수 있다.Therefore, power consumption due to video telephony can be reduced within a range that does not significantly impair the quality of the video telephony, thereby further extending the use time of the portable terminal.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이 다.Although described with reference to the embodiments above, those skilled in the art will understand that the present invention can be variously modified and changed without departing from the spirit and scope of the invention as set forth in the claims below. I will be able.

Claims

A first camera unit for photographing a first image;

A second camera unit for photographing a second image;

A first codec for encoding the photographed first image at a first encoding rate;

A second codec for encoding the photographed second image at a second encoding rate corresponding to the encoding control signal based on an encoding control signal;

A controller configured to generate the encoding control signal for adjusting a second encoding rate of the second codec based on a remaining power of a battery; And

And a video processor configured to generate a composite image by synthesizing the encoded first image and the encoded second image based on a control signal of the controller.

delete

The portable terminal of claim 1, wherein the controller stops the encoding operation of the second codec when the battery residual power is less than or equal to a predetermined threshold value.

delete

The method of claim 1, wherein the control unit

When the battery residual power is less than or equal to a preset threshold, the image processor controls the image processor to synthesize the last encoded frame of the encoded first image and the encoded second image to generate the synthesized image. Portable terminal having a power-saving video call function, characterized in that.

The method of claim 1, wherein the control unit

And the battery processor controls the image processor not to generate a composite image when the battery remaining power is less than or equal to a predetermined threshold value.

In the video call method of a portable terminal,

Encoding the first image photographed by the first camera unit at a first encoding rate;

Checking battery remaining power;

Generating an encoding control signal for adjusting a second encoding rate of the second image photographed by the second camera unit based on the identified battery remaining power;

Encoding the second image at the second encoding rate based on the encoding control signal; And

And generating a composite image by synthesizing the encoded first image and the encoded second image.

delete

The method of claim 7, wherein generating the encoding control signal

And generating an encoding control signal for stopping the encoding operation of the second codec when the battery remaining power is less than or equal to a predetermined threshold value.

delete

The method of claim 7, wherein the generating of the synthesized image by synthesizing the encoded first image and the encoded second image comprises:

When the battery remaining power is less than or equal to a preset threshold, the composite image is generated by synthesizing the last encoded frame of the encoded first image and the encoded second image to generate the composite image. Call way.

When the battery remaining power is less than a predetermined threshold value, the composite image is not generated, power saving type video call method of a portable terminal.