KR101430522B1 - 휴대 단말기의 화상 정보 활용 방법 - Google Patents

Abstract

본 발명은 휴대 단말기 및 휴대 단말기에 저장되어 있는 화상 정보를 활용하는 방법에 관한 것으로 화상 정보 등록이 선택되면, 표시된 이미지에서 얼굴 영역을 인식하는 과정; 상기 인식된 얼굴 영역에 해당하는 사용자 정보가 있는지 판단하는 과정; 상기 사용자 정보가 존재하면, 상기 이미지에 상기 얼굴 영역과 상기 사용자 정보를 표시하는 과정; 상기 사용자 정보가 존재하지 않으면, 상기 사용자 정보를 등록하는 과정; 및 상기 이미지에 상기 얼굴 영역과 상기 등록된 사용자 정보를 표시하는 과정을 갖는다. 이에 따라 사용자는 휴대 단말기에서 수행될 수 있는 다양한 기능들을 화상 정보를 통해 사용할 수 있으며, 휴대 단말기에 표시되는 상대방의 얼굴이 포함되는 이미지에서 상대방의 이름 또는 전화번호 등을 용이하게 확인할 수 있다.

휴대 단말기, 얼굴 인식 알고리즘, 화상 정보, 사용자 정보

Description

휴대 단말기의 화상 정보 활용 방법{METHOD FOR USING FACE DATA IN MOBILE TERMINAL}

본 발명은 휴대 단말기에 저장된 데이터를 활용하는 방법에 관한 것으로 특히 얼굴 인식 알고리즘을 통해 획득된 화상 정보를 이용하여 휴대 단말기의 통신 기능 등과 같은 다양한 기능들을 수행하는 방법에 관한 것이다.

현대 과학 기술이 발전해가면서 휴대 단말기에서 사용될 수 있는 기능들은 다양해지고 있다. 예를 들어 휴대 단말기에서 사용될 수 있는 기능들로는 통신 기능, 카메라 기능, 디지털 방송 기능(DMB;Digital Multimedia broadcasting)이 포함될 수 있으며, 이러한 기능들을 통해 다양한 데이터들이 생성되고 있다.

카메라를 구비하고 얼굴 인식 기능을 수행할 수 있는 휴대 단말기의 경우에는 카메라를 통해 촬영되는 이미지에서 얼굴 영역을 인식하여, 인식된 얼굴영역에 해당하는 화상 정보가 생성될 수도 있다.

그러나 휴대 단말기에 저장된 데이터 및 화상 정보들은 사용자가 휴대 단말기에 어떠한 데이터가 저장되어 있는지 확인하기 위한 용도로만 사용될 뿐이지, 이러한 데이터 및 화상 정보들 이용한 기능을 수행할 수 없다는 문제점이 있다. 이에 휴대 단말기에 저장된 데이터 및 화상 정보를 이용한 다양한 기능들을 수행할 수 있는 방법에 대한 연구가 요구되고 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 화상 정보를 활용하여 휴대 단말기에서 기능을 수행하는 방법을 제공하는데 있다.

상기와 같은 목적을 달성하기 위해 본 발명의 실시예에 따른 화상 정보 활용 방법은 화상 정보 등록이 선택되면, 표시된 이미지에서 얼굴 영역을 인식하는 과정; 상기 인식된 얼굴 영역에 해당하는 사용자 정보가 있는지 판단하는 과정; 상기 사용자 정보가 존재하면, 상기 이미지에 상기 얼굴 영역과 상기 사용자 정보를 표시하는 과정; 상기 사용자 정보가 존재하지 않으면, 상기 사용자 정보를 등록하는 과정; 및 상기 이미지에 상기 얼굴 영역과 상기 등록된 사용자 정보를 표시하는 과정을 포함한다.

본 발명에 따르면, 사용자는 휴대 단말기에 저장되어지는 화상 정보를 통해 이미지에 포함된 상대방의 이름, 연락처 등을 확인할 수 있으며, 이러한 화상 정보 를 이용하여 통신 기능, 이미지 폴더 관리 기능들을 수행할 수 있다.

'화상 정보'는 휴대 단말기에서 카메라를 통해 입력된 이미지에서 얼굴 인식 알고리즘을 통해 얼굴 영역만을 인식하고, 인식된 얼굴 영역에서 추출된 특징점들이 저장된 정보를 의미한다.

'사용자 정보'는 휴대 단말기에 저장되는 사용자와 관련된 정보를 의미한다. 여기서 사용자 정보로는 이름, 전화번호, 이메일 주소, 생일, 주소, 이미지 등에 대한 정보들이 포함될 수 있다.

'이미지'는 휴대 단말기에 카메라를 통해 입력되었거나, 외부 단말기로부터 또는 인터넷을 통해 다운로드되어 저장된 이미지를 의미하며, '얼굴 영역'은 이미지 중에서 사용자들의 얼굴만이 포함되는 영역을 의미한다.

'콜러 아이디(Caller ID)'는 휴대 단말기에서 상대방의 휴대 단말기와 통신 기능을 수행하기 위해 전화번호 등이 다이얼링되는 화면이나, 상대방의 휴대 단말기로부터 통신 기능 수행 요청(예를 들어 호 수신 등)될 때 표시되는 화면을 의미한다.

이하 본 발명의 바람직한 실시 예들을 첨부한 도면을 참조하여 상세히 설명한다.

도 1은 본 발명에 따른 휴대 단말기의 개략적인 구성을 도시한 블록도이다.

도 1을 참조하면, 휴대 단말기는 저장부(110), 표시부(120), 무선 통신부(130), 입력부(140), 제어부(150), 카메라부(160)를 포함한다.

저장부(110)는 휴대 단말기의 일반적인 동작들을 제어하기 위한 각종 프로그램과 휴대 단말기의 동작 중 발생되는 각종 정보를 저장한다. 특히 저장부(110)는 제어부(150)의 제어 하에 이미지, 전화번호, 이름 등에 해당하는 정보를 포함하는 사용자 정보와 얼굴 인식 정보를 저장한다. 또한 이미지에 해당하는 파일명이 설정될 때 또는 이미지의 파일명이 재설정될 때, 저장부(110)는 이미지에 해당하는 파일명을 태그 정보에 포함시켜 저장할 수 있다.

이미지는 카메라를 통해 입력되어 저장된 이미지이거나, 외부 단말기로부터 전송된 이미지, 인터넷 등을 통해 다운로드된 이미지 등이 포함될 수 있다. 그리고 얼굴 인식 정보는 사용자 정보와 링크되는 얼굴 영역에 해당하는 화상 정보를 포함할 수 있다. 좀더 자세히 얼굴 인식 정보는 얼굴 영역의 특징점에 해당하는 화상 정보뿐만 아니라, 전체 이미지에서 인식된 얼굴 영역의 위치, 크기, 인식된 얼굴 영역의 화면 크기별 비율에 대한 정보 등을 포함할 수 있다. 또한 얼굴 인식 정보는 이미지에서 인식되는 얼굴 영역에 해당하는 화상 정보별 링크된 사용자 정보에 대한 링크 정보를 포함할 수 있다. 링크 정보는 화상 정보에 링크된 사용자 정보가 저장된 위치를 나타내는 정보를 의미한다.

표시부(120)는 휴대 단말기의 상태 및 동작과 관련된 각종 정보를 표시한다. 여기서 표시부(120)는 제어부(150)의 제어 하에 얼굴 인식 기능이 수행시, 선택된 이미지에서 인식되는 얼굴 영역을 사용자가 확인할 수 있도록 표시할 수 있다. 이때, 얼굴 영역을 표시하는 방법으로는 인식된 얼굴 영역을 프레임으로 표시하거나, 도형 등을 이용하여 표시할 수 있다. 본 발명에서는 인식된 얼굴 영역이 사각형의 프레임으로 표시된다고 가정한다. 또한 표시부(120)는 제어부(150)의 제어 하에 인식된 얼굴 영역에 해당하는 사용자 정보를 표시할 수 있다. 여기서 표시되는 사용자 정보는 이름이 표시된다고 가정한다.

무선 통신부(130)는 휴대 단말기와 기지국 간의 통신 기능을 수행한다. 무선 통신부(130)는 송수신 기능을 분리하는 듀플렉서와 송신 신호의 주파수를 상승 변환하는 송신부와 수신 신호의 주파수를 하강 변환하는 수신부로 구성될 수 있다. 여기서 무선 통신부(130)는 제어부(150)의 제어 하에 이미지에서 얼굴 영역과 함께 표시된 사용자 정보가 선택되면, 선택된 사용자 정보를 이용하여 음성 통화, 화상 통화 또는 메시지를 송수신할 수 있다. 또한 도면에 도시되지 않았지만, 디지털 방송 수신부가 더 구비되어 디지털 방송 데이터를 수신할 수 있다.

입력부(140)는 사용자로부터 입력된 숫자 및 문자 정보, 각종 기능들의 설정 및 휴대 단말기의 기능 제어와 관련하여 입력되는 신호를 제어부(150)로 전달한다. 또한 입력부(140)는 터치스크린으로 형성되거나, 일반적인 키로 형성될 수 있으며, 숫자 및 문자가 배열된 문자 키, 기능이 수행될 수 있도록 선택되는 기능키, 소프트 키 등으로 구성된다.

제어부(150)는 휴대 단말기를 구성하는 각 구성의 전반적인 동작 및 상태를 제어한다. 특히 입력부(140)를 통해 화상 정보 등록 기능이 선택되면, 제어부(150)는 카메라부를 통해 입력되는 이미지, 저장부(110)에 저장된 이미지, 외부 단말기나 인터넷을 통해 다운로드된 이미지들 중 사용자에 의해 선택된 이미지를 표시부(120)에 표시하고, 표시된 이미지에서 얼굴 인식 알고리즘을 이용하여 얼굴 영역 을 인식할 수 있다. 다음으로 제어부(150)는 표시된 이미지에서 인식된 얼굴 영역을 분석하여 화상 정보를 추출하고, 추출된 화상 정보를 저장부(110)에 저장할 수 있다. 그리고 제어부(150)는 분석된 화상 정보에 해당하는 사용자 정보가 있는지를 확인하여, 화상 정보에 해당하는 사용자 정보가 있는 경우, 표시부(120)를 제어하여 인식된 얼굴 영역과 사용자 정보를 함께 표시할 수 있다.

여기서 얼굴 인식 알고리즘으로 종래의 다양한 방법이 사용될 수 있다. 예를 들어 주성분 분석법(PCA; Principal Component Analysis)과 같이 전체 영상 공간에서 고유 얼굴(Eigen Face)이라고 명칭된 얼굴 전체에 해당하는 영역을 추출하는 방법이 사용될 수 있고, 피셔 판별 분석법(FDA; Fisher Discriminant Analysis)과 같이 인식되는 얼굴 영역과 저장된 얼굴 영역과 비교하여 얼굴의 국부적 특징을 추출하는 방법이 사용될 수 있고, 독립 성분 분석법(ICA; Independent Component Analysis)과 같이 인식된 전체 얼굴 영역에서 얼굴의 특징을 분류하고, 분류된 얼굴의 특징을 저장된 얼굴 영역의 특징과 비교하는 방법이 사용될 수 있다.

제어부(150)는 화상 정보를 이용하여 다양한 기능을 수행할 수 있다. 예를 들어 이미지에 표시된 얼굴 영역 및 사용자 정보 중에서 특정 얼굴 영역이 선택되면, 제어부(150)는 선택된 얼굴 영역에 해당하는 사용자 정보를 확인하고, 확인된 사용자 정보를 이용하여, 입력부(140)를 통해 선택되는 통신 기능을 수행할 수 있다. 여기서 수행될 수 있는 통신 기능으로는 음성 통화 기능. 화상 통화 기능, 메시지 전송이 포함될 수 있으며, 메시지 전송은 단문 메시지, 멀티미디어 메시지, 인스턴트 메시지, 이메일(E-mail)이 포함될 수 있다.

제어부(150)는 화상 정보를 이용하여 보안 기능을 수행할 수 있다. 여기서 보안 기능으로는 휴대 단말기의 전원 온 또는 오프 제한 기능, 사생활 보호 기능, 특정 기능 사용 제한 등이 포함될 수 있다. 예를 들어 DMB 기능에서 유료 채널 제한 기능이 설정되어 있다고 가정한다. DMB 기능 수행시, 입력부(140)를 통해 유료 채널이 선택되면, 제어부(150)는 보안 기능이 설정되어 있는지 판단한다. 보안 기능이 설정되어 있으면, 제어부(150)는 카메라부(160)를 제어하여 얼굴 인식 기능을 수행하고, 인식된 얼굴 영역을 분석하여 화상 정보를 추출한다. 다음으로 제어부(150)는 저장부(110)에 저장된 화상 정보와 인식된 얼굴 영역에 해당하는 화상 정보를 비교하여, 저장부(110)에 저장된 화상 정보와 일치하면, 무선 통신부(130)를 제어하여 유료 채널로부터 수신되는 방송 데이터를 표시부(120)에 표시할 수 있다.

또한 제어부(150)는 화상 정보를 이용하여 저장부(110)에 저장된 이미지들을 관리할 수 있다. 다시 말해 제어부(150)는 이미지에 포함된 얼굴 영역을 인식하여, 이미지를 인식된 얼굴 영역에 해당하는 사용자 정보가 포함되는 사용자별로, 그룹별로, 설정된 폴더별 등으로 분류하여 표시부(120)에 표시할 수 있다. 예를 들어 이미지에 세 사람에 해당하는 얼굴 영역들이 포함되어 있다면, 제어부(150)는 각각의 얼굴 영역에 해당하는 사용자 정보에 따라 이미지를 사용자별, 전화번호부에 설정된 그룹별로 분류할 수도 있고, 폴더별로 분류하거나, 얼굴 영역에 해당하는 사용자 정보가 없는 경우에는 무명(Unknown)으로 분류하여 표시부(120)에 표시할 수 있다.

그리고 제어부(150)는 저장부(110)를 제어하여 인식된 얼굴 영역을 콜러 아이디(Caller ID)로 저장할 수 있다. 좀 더 자세히 입력부(140)를 통해 콜러 아이디 설정이 선택되면, 제어부(150)는 콜러 아이디로 설정할 얼굴 영역 및 사용자 정보를 확인한다. 그리고 제어부(150)는 이미지에서 선택된 얼굴 영역만을 크롭(crop)하고, 저장부(110)를 제어하여 크롭된 얼굴 영역과 선택된 사용자 정보를 매칭하여 저장한다. 이때 제어부(150)는 크롭된 얼굴 영역의 위치, 크기, 전체 화면 크기에 대한 크롭된 얼굴 영역의 비율 정보를 저장부(110)에 저장할 수 있다. 이에 따라 크롭된 얼굴 영역을 표시부(120)에 표시할 때, 제어부(150)는 화면 크기의 비율 정보를 이용하여 크롭된 얼굴 영역의 크기를 얼굴 영역이 표시될 화면 크기별로 조절하여 표시할 수 있다.

제어부(150)는 여러 사람의 얼굴 영역들이 포함된 이미지에서 각 사람별로 얼굴 영역을 인식하여, 인식된 얼굴 영역별로 해당하는 각각의 화상 정보를 추출할 수 있다. 그리고 제어부(150)는 추출된 각각의 화상 정보와 저장부(110)에 저장된 화상 정보를 비교하여, 추출된 각각의 화상 정보와 일치하는 저장된 화상 정보별로 링크된 사용자 정보를 확인한다. 이어서 제어부(150)는 표시부(120)를 제어하여 각각의 해당하는 얼굴 영역에 링크된 사용자 정보들을 표시한다. 그리고 입력부(140)를 통해 인식된 얼굴 영역 중에서 적어도 하나의 얼굴 영역이 선택된 다음, 통신 기능과 같은 특정 기능이 선택되면, 제어부(150)는 선택된 얼굴 영역에 링크된 사용자 정보를 확인하고, 확인된 사용자 정보를 이용하여 선택된 특정 기능을 수행할 수 있다. 여기서 사용자 정보는 전화번호가 될 수 있다.

카메라부(160)는 제어부(150)의 제어 하에 이미지를 촬영할 수 있다. 카메라부(160)는 촬영된 광 신호를 아날로그 영상 신호로 변환하는 카메라 센서와 카메라 센서로부터 변환된 아날로그 영상 신호를 디지털 데이터로 변환하는 신호 처리부를 구비한다. 카메라 센서는 CCD 센서로, 신호 처리부는 DSP(Digital Signal Processor)로 구현될 수 있다. 또한 카메라 센서 및 신호 처리부는 일체형으로 구현되거나, 따로 분리해서 구현될 수 있다.

이와 같은 구성을 갖는 휴대 단말기에서 제어부(150)는 카메라부(160)를 통해 입력된 이미지 또는 저장된 이미지를 표시부(120)를 제어하여 표시하고, 입력부(140) 또는 메뉴를 통해 얼굴 인식 기능이 선택되면, 표시된 이미지에서 얼굴 영역을 인식한다. 그리고 제어부(150)는 인식된 얼굴 영역을 분석하여 화상 정보를 추출하고, 저장부(110)에 저장된 사용자 정보 중에서 추출된 화상 정보에 해당하는 사용자 정보를 검색하여 링크하고, 인식된 얼굴 영역과 검색된 사용자 정보를 이미지에 표시한다. 또한 인식된 얼굴 영역과 사용자 정보가 표시된 이미지에서 입력부(140)를 통해 통신기능 수행이 선택되면, 제어부(150)는 무선 통신부(130)를 제어하여, 사용자 정보를 이용하여 통신 기능을 수행할 수 있다. 또한 제어부(150)는 저장부(110)에 저장된 화상 정보와 화상 정보와 링크된 사용자 정보를 이용하여 저장부(110)에 저장된 이미지들을 분류하여 저장하거나, 표시부(120)를 제어하여 화상 정보 및 사용자 정보를 통해 분류된 이미지를 표시할 수 있다.

다음으로 휴대 단말기에서 화상 정보를 이용하여 기능을 수행하는 방법에 대해 설명한다.

도 2는 본 발명의 실시예에 따라 휴대 단말기에서 화상 정보를 이용하여 기능을 수행하는 방법을 나타낸 흐름도이다. 도 2는 도 3 내지 도 16b를 참조로 하여 설명한다.

도 2를 참조하면, 휴대 단말기의 전원이 오프된 상태에서 사용자가 입력부(140)에 구비된 전원키를 입력하면, 제어부(150)는 210단계에서 휴대 단말기를 구성하는 구성들에게 전원을 공급하여 전원을 ON한다. 그리고 제어부(150)는 220단계에서 잠금 기능이 설정되어 있는지 판단한다. 잠금 기능이 설정되어 있지 않으면, 제어부(150)는 240단계에서 표시부(120)를 제어하여 대기 화면을 표시한다.

그러나 잠금 기능이 설정되어 있으면, 제어부(150)는 230단계에서 잠금 해제 기능을 수행한다. 여기서 230단계는 도 3을 참조로 하여 설명한다.

도 3을 참조하면, 제어부(150)는 310단계에서 잠금을 해제하기 위해 화상 정보를 통한 잠금 해제 기능이 설정되어 있는지 판단한다. 만약에 화상 정보를 통한 잠금 해제 기능이 아닌 다른 해제 기능이 설정되어 있으면, 제어부(150)는 370단계에서 설정된 잠금 해제 기능을 수행한다. 여기서 설정된 잠금 해제 기능은 비밀번호 입력, 음성 인식을 통한 잠금 해제 기능이 포함될 수 있다.

그러나 3110단계에서 화상 정보를 통한 잠금 해제 기능이 설정되어 있으면, 제어부(150)는 320단계에서 카메라부(160)를 제어하여 카메라를 구동하고, 330단계에서 얼굴 영역이 인식되는지 판단한다. 좀 더 자세히 입력부(140)를 통해 확인 키 등이 입력되면, 제어부(150)는 카메라부(160)를 제어하여 이미지를 캡쳐한 다음, 캡쳐된 이미지에서 얼굴 영역이 인식되는지 판단한다. 얼굴 영역이 인식되면, 제어 부(150)는 340단계에서 인식된 얼굴 영역에 해당하는 화상 정보를 분석한다. 그리고 제어부(150)는 350단계에서 저장부(110)에 저장된 화상 정보와 분석된 화상 정보를 비교하고, 분석된 화상 정보와 일치하는 저장된 화상 정보가 있는지 판단한다.

저장된 화상 정보와 분석된 화상 정보가 일치하지 않으면, 제어부(150)는 360단계에서 일치되는 화상 정보가 없음을 표시부(120)에 팝업으로 표시하고, 310단계로 돌아간다. 여기서 제어부(150)는 표시부(120)에 재인식을 선택할 수 있는 선택창을 표시하여, 얼굴 영역을 재인식할 것인지에 대한 선택 여부를 판단할 수 있다.

저장된 화상 정보와 분석된 화상 정보가 일치하면, 제어부(150)는 도 2로 돌아가 250단계에서 대기 화면을 표시부(120)에 표시한다. 이때 제어부(150)는 분석된 화상 정보와 저장된 화상 정보의 유사율을 산출하여, 산출된 유사율에 따라 잠금 해제 기능을 수행할 수도 있다. 예를 들어 제어부(150)는 산출된 유사율이 70%이상이면, 잠금 해제 기능을 수행하고, 유사율이 30% 이상이면, 비밀번호 등을 입력할 수 있는 비밀번호 입력창을 표시부(120)에 표시하여, 입력부(140)를 통해 비밀번호를 입력받아 잠금 해제 기능을 수행하거나, 화상 정보 재인식을 요구할 수도 있다.

잠금 기능을 해제하고 대기 화면을 표시한 제어부(150)는 250단계에서 입력부(140)를 통해 화상 정보를 이용한 기능이 선택되는지 판단한다. 이때 화상 정보를 이용한 기능이 아니면 제어부(150)는 260단계에서 입력부(140)를 통해 선택된 기능을 수행한다. 여기서 선택된 기능은 전화번호 입력을 통한 통신 기능, 이미지를 촬영할 수 있는 카메라 기능, 일정 관리 기능 등과 같이 기존의 휴대 단말기에서 수행될 수 있는 모든 기능을 포함할 수 있다.

반면에 화상 정보를 이용한 기능이 선택되면, 제어부(150)는 270단계에서 선택된 화상 기능을 이용한 기능을 수행한다. 여기서 290단계는 도 4를 참조하여 상세히 설명한다.

도 4는 본 발명의 실시예에 따른 화상 정보를 이용하여 기능을 수행하는 방법을 나타낸 흐름도이다. 도 4는 도 5 내지 도 11을 참조하여 설명한다. 도 5는 본 발명의 실시예에 따른 화상 정보 등록을 수행하는 방법을 나타낸 흐름도이다. 도 6은 본 발명의 실시예에 따른 사용자 정보 등록을 수행하는 방법을 나타낸 흐름도이다. 도 7은 본 발명의 실시예에 따른 이미지 폴더를 관리하는 방법을 나타낸 흐름도이다. 도 8은 본 발명에 따른 이미지 폴더에서 기능을 수행하는 방법을 나타낸 흐름도이다. 도 9는 본 발명의 실시예에 따른 콜러 아이디를 설정하는 방법을 나타낸 흐름도이다. 도 10은 본 발명의 실시예에 따른 통신 기능을 수행하는 방법을 나타낸 흐름도이다. 도 11은 본 발명의 실시예에 따른 보안 기능을 수행하는 방법을 나타낸 흐름도이다.

도 4를 참조하면, 제어부(150)는 410단계에서 선택된 화상 정보를 이용한 기능이 화상 정보 등록인지를 판단한다. 사용자가 메뉴 또는 기능키 등을 통해 화상 정보 등록을 선택하면, 제어부(150)는 420단계에서 화상 정보 등록 기능을 수행한다. 420단계는 도 5 내지 도 6을 참조로 하여 상세히 설명한다.

도 5를 참조하면, 입력부(140)를 통해 화상 정보 등록이 선택되면, 제어부(150)는 510단계에서 카메라부(160)를 구동한다. 그리고 제어부(150)는 515단계에서 카메라부(160)를 통해 입력되는 프리뷰 이미지를 표시부(120)에 표시하고, 520단계에서 표시된 프리뷰 이미지에 얼굴 영역이 존재하는지 판단한다. 만약에 인식되는 얼굴 영역이 존재하지 않으면, 제어부(150)는 515단계로 돌아가 카메라부(160)를 통해 입력되고 있는 이미지인 프리뷰 이미지를 표시부(120)에 표시한다. 여기서 입력부(140)를 통해 화상 정보 등록이 선택되면, 제어부(150)는 카메라부(160)를 구동시키고, 입력되는 이미지에서 얼굴 영역을 인식하는 것으로 설명하고 있다. 그러나 이 외에도 카메라 기능이 선택되어, 카메라부(160)가 구동된 다음에 입력부(140)에 구비된 기능키 또는 통화키를 통해 얼굴 인식 기능이 선택되면, 제어부(150)는 이를 감지하여 카메라부(160)를 통해 입력된 이미지에서 얼굴 영역을 인식할 수도 있다.

카메라부(160)를 통해 입력되고 있는 이미지에서 얼굴 영역이 인식되면, 제어부(150)는 530단계에서 표시부(120)를 제어하여 인식되고 있는 얼굴 영역을 사용자가 확인할 수 있도록 프레임 또는 도형 등으로 표시한다. 다음으로 제어부(150)는 535단계에서 입력부(140)를 통해 이미지 캡처가 선택되는지 확인한다. 사용자가 입력부(140)를 통해 확인키 또는 촬영키를 입력하면, 제어부(150)는 이를 이미지 캡처 선택으로 판단하고, 540단계에서 인식된 얼굴 영역에 해당하는 화상 정보를 분석한다.

다음으로 제어부(150)는 545단계에서 분석된 화상 정보에 해당하는 사용자 정보가 있는지 확인한다. 여기서 사용자 정보를 확인하는 방법으로는 우선 제어부(150)는 분석된 화상 정보를 저장부(110)에 저장된 화상 정보와 비교하고, 분석된 화상 정보와 유사 또는 일치하는 저장된 화상 정보가 있으면, 저장된 화상 정보와 링크되어 있는 사용자 정보가 있는지 판단함으로 사용자 정보의 유무를 확인할 수 있다.

분석된 화상 정보에 해당하는 사용자 정보가 있으면, 제어부(150)는 550단계에서 인식된 얼굴 영역과 사용자 정보를 캡처된 이미지와 함께 표시부(120)에 표시하고, 560단계에서 저장이 선택되는지 판단한다. 입력부(140)를 통해 확인키 또는 저장키가 입력되면, 제어부(150)는 565단계에서 저장부(110)를 제어하여 인식된 얼굴 영역에 해당하는 화상 정보와 화상 정보, 화상 정보와 링크된 사용자 정보에 해당하는 링크 정보 및 이미지를 저장하고 도 4로 돌아간다. 이렇게 저장된 화상 정보와 사용자 정보를 통해 제어부(150)는 휴대 단말기에서 수행될 수 있는 다양한 기능들을 수행할 수 있다.

545단계에서 분석된 화상 정보에 해당하는 사용자 정보가 없으면, 제어부(150)는 570단계에서 사용자의 선택에 따라 사용자 정보 등록을 수행한다. 570단계는 도 6을 참조로 하여 설명한다.

도 6을 참조하면, 제어부(150)는 610단계에서 분석된 화상 정보에 해당하는 사용자 정보가 없음과 인식된 얼굴 영역을 이미지에 포함하여 표시부(120)에 표시하고, 615단계에서 입력부(140)를 통해 사용자 정보 등록이 선택되는지 판단한다. 이때 제어부(150)는 사용자 정보를 unknown으로 표시할 수 있다.

사용자 정보 등록이 선택되면, 제어부(150)는 620단계에서 사용자 정보 등록을 하는 방법으로 검색 등록인지, 직접 등록인지를 판단한다. 좀 더 자세히 메뉴 선택 또는 기능키 입력으로 사용자 정보 등록이 선택되면, 제어부(150)는 사용자 정보 등록 방법으로 검색 등록인지 직접 등록인지를 선택할 수 있는 선택창을 표시한다.

사용자가 입력부(140)를 통해 검색 등록을 선택하면, 제어부(150)는 이를 감지하고, 625단계에서 사용자 정보 검색창을 표시한다. 다음으로 제어부(150)는 630단계에서 검색창에 검색어가 입력되는지 판단한다. 검색어가 입력되면, 제어부(150)는 635단계에서 저장부(110)에서 저장된 사용자 정보 중에서 검색어에 해당하는 사용자 정보를 검색하고, 640단계에서 검색어에 해당하는 사용자 정보가 존재하는지 판단한다. 여기서 검색어를 통해 사용자 정보를 검색하는 방법으로는 이름이 입력되어 검색하는 방법, 그룹별로 사용자 정보를 검색하는 방법 등이 포함될 수 있다.

검색어에 해당하는 사용자 정보가 존재하지 않으면, 제어부(150)는 645단계에서 검색어에 해당하는 사용자 정보가 없음을 표시하고, 615단계로 돌아간다. 이때, 제어부(150)는 사용자 정보 재등록 선택창을 표시하여, 입력부(140)를 통해 사용자 정보 재등록 여부를 선택받을 수 있다. 반면에 검색어에 해당하는 사용자 정보가 존재하면, 제어부(150)는 650단계에서 검색된 사용자 정보 및 얼굴 영역을 이미지에 링크하여 표시하고, 670단계에서 입력부(140)를 통해 저장이 선택되는지 판단한다.

그러나 620단계에서 사용자가 메뉴 또는 기능키 등을 통해 사용자 정보 직접 등록을 선택하면, 제어부(150)는 이를 감지하고, 655단계에서 사용자 정보 입력창을 표시부(120)에 표시한다. 그리고 제어부(150)는 660단계에서 사용자 정보 입력이 완료되었는지 판단한다. 사용자가 입력부(140)는 통해 인식된 얼굴 영역에 해당하는 이름과 같은 사용자 정보를 입력한 다음 확인키 또는 완료키 등을 입력하면, 제어부(150)는 이를 사용자 정보 입력 완료로 판단한다. 사용자 정보 입력이 완료되면, 제어부(150)는 665단계에서 인식된 얼굴 영역에 해당하는 화상 정보와 입력된 사용자 정보를 링크시킨다. 그리고 제어부(150)는 입력된 사용자 정보 및 인식된 얼굴 영역을 이미지와 함께 표시부(120)에 표시하고, 670단계에서 입력부(140)를 통해 저장이 선택되는지 판단한다.

입력부(140)를 통해 저장이 선택되면, 제어부(150)는 675단계에서 저장부(110)를 제어하여 인식된 얼굴 영역에 해당하는 화상 정보와 링크된 사용자 정보에 해당하는 링크 정보를 얼굴 인식 데이터에 포함하여 저장하고, 이미지는 일반 데이터에 포함하여 저장한 다음 도 4로 돌아간다.

여기서 사용자 정보를 등록하는 방법으로 검색 등록 및 직접 등록을 실시예로 설명했다. 이외에도 사용자 정보를 등록하는 방법으로는 이미지가 저장되는 파일명을 이용하여 사용자 정보를 등록할 수 있다. 좀 더 자세히 사용자가 입력부(140)를 통해 이미지를 저장하기 위한 파일명을 입력한 다음 얼굴 인식을 선택하면, 제어부(150)는 이를 감지하고 이미지에 포함된 얼굴 영역을 인식하여, 인식된 얼굴 영역에 해당하는 화상 정보를 분석한 다음 이미지를 저장하기 위한 파일명을 저장부(110)에 저장된 그룹별로 또는 사용자별로 사용자 정보와 비교한다. 그리고 파일명과 일치하는 사용자 정보가 확인되면, 제어부(150)는 확인된 사용자 정보를 분석된 화상 정보와 링크하고, 표시부(120)를 제어하여 인식된 얼굴 영역과 확인된 사용자 정보를 이미지에 포함하여 표시할 수 있다.

그리고 새롭게 분석된 화상 정보를 저장시 제어부(150)는 미리 저장되어 있던 화상 정보를 삭제한 다음 새로 분석된 화상 정보를 저장할 수도 있고, 미리 저장된 화상 정보와 새롭게 분석된 화상 정보를 화상 정보에 해당하는 사용자별로 묶어서 저장할 수도 있다.

다시 도 4의 410단계에서 화상 정보 등록이 선택되지 않으면, 제어부(150)는 430단계에서 화상 정보에 따른 이미지 폴더 관리가 선택되는지 확인한다. 메뉴 또는 기능키 등을 통해 이미지 폴더 관리가 선택되면, 제어부(150)는 440단계에서 이미지 폴더 관리 기능을 수행한다. 440단계는 도 7 내지 도 9을 참조로 하여 설명한다.

도 7을 참조하면, 입력부(140)를 통해 이미지 폴더 관리가 선택되면, 제어부(150)는 710단계에서 폴더 관리 화면을 표시부(120)에 표시한다. 이때, 표시부(120)는 이미지를 표시할 수 있는 이미지 표시 영역, 이미지를 항목별로 분류할 수 있는 필터링 영역, 및 메뉴, 확인 등을 선택할 수 있는 메뉴 선택 영역으로 구분되어질 수 있다. 필터링 영역에서 이미지를 분류하기 위해 표시되는 항목으로는 사람별, 그룹별, 폴더별 등으로 표시될 수 있다.

다음으로 제어부(150)는 715단계에서 필터링 영역에서 이미지를 분류하기 위 한 항목들이 선택되는지 판단한다. 사용자가 입력부(140)를 통해 필터링 영역을 선택하고, 방향키를 이용하여 선택된 필터링 영역에서 항목을 선택하면, 제어부(150)는 720단계에서 선택된 항목에 해당하는 이미지들을 분류하여 이미지 표시 영역에 표시한다. 여기서 필터링할 수 있는 항목으로는 사용자별로, 그룹별로, 설정된 폴더별 등이 될 수 있다. 여러 사람의 얼굴 영역을 포함하는 단체 이미지를 필터링하여 표시할 때, 제어부(150)는 단체 이미지에 포함되는 각각의 얼굴 영역에 해당하는 사용자 또는 그룹이 선택될 때, 선택된 사용자 또는 그룹에 포함되는 다른 이미지들과 함께 이미지 표시 영역에 표시할 수 있다.

이미지가 표시된 다음, 제어부(150)는 725단계에서 표시된 이미지에서 특정 이미지가 선택되는지 판단한다. 사용자가 입력부(140)에 구비된 방향키 등을 이용하여 특정 이미지를 선택하면, 제어부(150)는 730단계에서 선택된 이미지를 이미지 표시 영역에 표시한다. 그리고 제어부(150)는 735단계에서 얼굴 인식 기능이 선택되는지 판단한다. 얼굴 인식 기능이 선택되는지 판단하는 방법은 메뉴 선택 또는 기능 키 등의 입력으로 판단할 수 있지만, 표시부(120)에 이미지가 표시되어 있는 상태에서 통화키가 입력되면, 제어부(150)는 통화키 입력을 얼굴 인식 기능을 선택하기 위한 신호로 판단할 수 있다.

메뉴 또는 기능키 등을 통해 얼굴 인식 기능이 선택되면, 제어부(150)는 740단계에서 이미지에 포함된 얼굴 영역을 통해 화상 정보를 분석하고, 745단계에서 분석된 화상 정보에 링크된 사용자 정보가 존재하는지 판단한다. 만약에 링크된 사용자 정보가 존재하지 않으면, 제어부(150)는 750단계에서 사용자 정보 등록이 선 택되는지 판단한다. 만약에 사용자 등록이 선택되면, 제어부(150)는 755단계에서 사용자 정보 등록을 수행하고, 760단계에서 얼굴 영역 및 사용자 정보를 이미지와 함께 표시한다. 여기서 755단계는 도 6의 상세한 설명과 동일하므로 755단계의 상세한 설명을 생략하기로 한다. 반면에 사용자 등록이 선택되지 않으면, 제어부(150)는 757단계에서 인식된 얼굴 영역에 해당하는 사용자 정보가 없음과 얼굴 영역을 이미지에 표시하고, 730단계로 돌아가 선택된 이미지를 재표시한다.

다시 745단계에서 돌아와 사용자 정보가 존재하면, 제어부(150)는 760단계에서 얼굴 영역 및 사용자 정보를 이미지와 함께 표시하고, 765단계에서 화상 정보를 이용하는 기능이 선택되는지 판단한다. 여기서 수행될 수 있는 화상 정보를 이용한 기능은 통신 기능, 대기 화면 설정 기능, 콜러 아이디 설정 기능, 얼굴 영역 편집 기능 등이 포함될 수 있다. 사용자가 메뉴를 선택하면, 제어부(150)는 표시부(120)를 제어하여 화상 정보를 이용하여 수행될 수 있는 기능들을 목록으로 표시한다. 그리고 사용자가 입력부(140)를 통해 목록으로 표시된 기능 중에서 특정 기능을 선택하면, 제어부(150)는 770단계에서 선택되는 기능을 수행한다. 여기서 770단계는 도 8을 참조로 하여 상세히 설명한다.

도 8을 참조하면, 얼굴 영역과 사용자 정보를 이미지와 함께 표시한 제어부(150)는 810단계에서 통신 기능이 선택되는지 판단한다. 통신 기능이 선택되면, 제어부(150)는 815단계에서 통신 기능을 수행한다. 즉 제어부(150)는 표시된 사용자 정보를 이용하여 입력부(140)를 통해 선택되는 통신 기능을 수행한다. 여기서 통신 기능을 수행하는 과정인 815단계는 도 10의 상세한 설명에서 후술하기로 한 다.

반면에 통신 기능이 선택되지 않으면, 제어부(150)는 820단계에서 대기 화면 설정이 선택되는지 판단한다. 사용자가 입력부(140)를 통해 대기 화면 설정을 선택하면, 제어부(150)는 823단계에서 표시된 이미지를 확대하여 전체 화면에 표시한다. 그리고 제어부(150)는 이미지에 링크된 사용자 정보와 얼굴 영역 표시를 유지할 것인지를 선택할 수 있는 선택창을 표시하고, 825단계에서 사용자 정보와 얼굴 영역 표시 유지가 선택되는지 판단한다.

만약에 사용자 정보와 얼굴 영역 표시 유지가 선택되면, 제어부(150)는 827단계에서 사용자 정보와 얼굴 영역이 표시된 이미지를 대기 화면으로 저장한다. 반면에 표시 유지가 선택되지 않으면, 제어부(150)는 829단계에서 사용자 정보와 얼굴 영역을 제거하고 이미지만을 대기 화면으로 설정한다.

이에 따라 제어부(150)는 사용자 선택에 의해 대기 화면으로 설정된 이미지에 표시된 사용자 정보를 이용하여 통신 기능과 같은 다양한 기능을 수행할 수 있다. 이와 같은 기능을 이용하기 위해 사용자는 자주 연락하는 상대방들의 얼굴 영역이 포함된 이미지를 하나의 이미지로 편집한 다음 대기 화면으로 설정할 수도 있다. 그러면 제어부(150)는 설정된 대기 화면에 포함된 상대방의 얼굴 영역들을 인식하고, 인식된 각각의 얼굴 영역에 해당하는 사용자 정보를 링크하여 저장할 수 있다.

입력부(140)를 통해 다수개의 사용자 정보가 링크된 얼굴 영역이 포함된 대기 화면에서 얼굴 영역 및 통신 기능이 선택되면, 제어부(150)는 선택된 얼굴 영역 에 링크된 사용자 정보를 이용하여 통신 기능을 수행할 수 있다. 여기서 대기 화면으로 얼굴 영역 및 사용자 정보가 포함된 이미지를 설정되었을 때 취소 키 또는 종료키가 입력되면, 제어부(150)는 표시하고 있던 이미지를 삭제하고, 원래 설정되어 있던 대기 화면을 표시할 수 있다. 또한 대기 화면을 표시하고 있는 중에 입력부(140)를 통해 확인키 또는 통화키가 길게 입력되면, 제어부(150)는 이를 감지하여 미리 선택되어있던 사용자 정보와 얼굴 영역이 포함된 이미지를 표시부(120)에 대기 화면으로 표시할 수 있다.

그러나 820단계에서 대기 화면 설정이 선택되지 않으면, 제어부(150)는 830단계에서 콜러 아이디 설정이 선택되는지 판단한다. 입력부(140)를 통해 콜러 아이디 설정이 선택되면, 제어부(150)는 835단계에서 콜러 아이디 설정 기능을 수행한다. 835단계는 도 9를 참조로 하여 상세히 설명한다.

도 9를 참조하면, 제어부(150)는 910단계에서 콜러 아이디로 설정할 얼굴 영역이 선택되는지 판단한다. 사용자가 입력부(140)에 구비된 방향키를 이용하여 얼굴 영역을 선택하면, 제어부(150)는 이를 감지하고 915단계에서 선택된 얼굴 영역에 링크된 사용자 정보를 확인한다.

다음으로 제어부(150)는 920단계에서 확인되는 사용자 정보가 존재하는지 판단한다. 만약에 사용자 정보가 존재하지 않으면, 제어부(150)는 930단계에서 사용자 정보 선택창을 표시부(120)에 표시한다. 여기서 사용자 정보 선택창은 전화번호부와 같이 사용자의 이름, 전화번호, 이메일 주소등이 표시될 수 있으며, 검색어를 입력할 수 있는 입력창이 함께 표시될 수 있다. 다음으로 제어부(150)는 935단계에 서 사용자 정보가 선택되는지 판단한다. 사용자가 입력부(140)를 통해 사용자 정보를 선택하거나, 검색어 등을 입력하여 사용자 정보를 선택하면, 제어부(150)는 선택된 사용자 정보를 확인하고 940단계에서 선택된 얼굴 영역만을 크롭하여, 표시부(120)에 표시한다. 다시 920단계로 돌아가서 얼굴 영역에 해당하는 사용자 정보가 존재하면, 제어부(150)는 940단계에서 선택된 얼굴 영역만을 크롭하여, 표시부(120)에 표시한다.

이어서 제어부(150)는 950단계에서 저장이 선택되는지 판단한다. 입력부(140)를 통해 저장이 선택되면, 제어부(150)는 960단계에서 저장부(110)를 제어하여 크롭된 얼굴 영역을 사용자 정보와 매칭하여 콜러 아이디로 저장한다.

다시 도 8로 돌아와, 830단계에서 콜러 아이디 설정이 선택되지 않으면, 제어부(150)는 840단계에서 얼굴 영역 편집이 선택되는지 판단한다. 얼굴 영역 편집 기능은 이미지에서 인식된 얼굴 영역의 크기가 제대로 인식되지 않은 경우, 원래의 얼굴 영역에서 벗어난 위치를 얼굴 영역으로 인식된 경우 및 얼굴 영역이 존재함에도 얼굴 영역이 인식되지 않는 경우에 사용자가 인식된 얼굴 영역의 범위를 편집할 수 있는 기능이다.

얼굴 영역 편집이 선택되면, 제어부(150)는 845단계에서 사용자 선택에 의한 얼굴 영역 편집을 수행한다. 이때 얼굴 영역을 편집하는 방법으로는 인식된 얼굴 영역의 크기, 위치 등을 편집하는 방법이 될 수 있다. 좀더 자세히 메뉴 또는 기능키 등을 통해 얼굴 영역 편집이 선택되면, 제어부(150)는 크기 편집, 위치 편집, 얼굴 영역 추가(얼굴 영역 수동 설정) 등의 편집 방법을 선택할 수 있는 선택창을 표시하여, 사용자로부터 얼굴 영역의 편집 방법을 선택받을 수 있다.

예를 들어 이미지에 포함된 얼굴 영역의 크기가 제대로 인식되지 않은 경우에 얼굴 영역을 편집하는 과정은 다음과 같을 수 있다. 입력부(140)를 통해 얼굴 영역 크기 편집이 선택되면, 제어부(150)는 이를 감지하고, 얼굴 영역 편집을 위해 선택된 얼굴 영역을 표시하는 프레임을 확인한다. 그리고 사용자가 ??향키를 입력하면, 제어부(150)는 입력되는 방향키에 따라 확인된 프레임의 크기를 조절할 수 있다. 예를 들어 프레임 크기 확대는 오른쪽 방향키로, 프레임 크기 축소는 왼쪽 방향키로 조절한다고 설정했다면, 제어부(150)는 얼굴 영역 크기를 편집할 때 오른쪽 방향키가 입력되면, 프레임 크기를 확대하고, 왼쪽 방향키가 입력되면, 프레임의 크기를 축소할 수 있다.

또한 얼굴 영역 수동 설정이 선택된 경우에 제어부(150)는 표시부(120)에 얼굴 영역을 표시할 수 있는 프레임을 표시한다. 그리고 입력부(140)를 통해 프레임의 위치 및 크기가 선택되면, 제어부(150)는 프레임이 위치한 영역을 얼굴 영역으로 판단하고, 화상 정보를 분석할 수 있다.

그리고 사용자가 입력부(140)를 통해 편집하고자 하는 얼굴 영역을 선택한 다음 편집 방법을 선택하면, 제어부(150)는 선택된 얼굴 영역을 선택된 편집 방법으로 편집할 수 있다. 예를 들어 사용자자 입력부(140)를 통해 편집할 얼굴 영역을 먼저 선택한 다음, 메뉴 등을 통해 편집 방법을 선택하면, 제어부(150)는 선택된 얼굴 영역을 선택된 편집 방법으로 편집하여 저장할 수 있다.

얼굴 영역 편집이 완료되면, 제어부(150)는 850단계에서 저장이 선택되는지 판단한다. 입력부(140)를 통해 저장이 선택되면, 제어부(150)는 855단계에서 편집된 프레임에 포함된 얼굴 영역을 재인식하여 저장한다. 그리고 제어부(150)는 도4로 돌아간다.

도 4의 430단계에서 화상 정보에 따른 이미지 폴더 관리가 선택되지 않으면, 제어부(150)는 450단계에서 화상 정보에 따른 통신 기능 수행이 선택되는지 판단한다. 통신 기능 수행이 선택되면, 제어부(150)는 460단계에서 통신 기능을 수행한다. 여기서 460단계는 도 10을 참조로 하여 설명한다.

도 10을 참조하면, 제어부(150)는 1100단계에서 음성 통화 기능이 선택되는지 판단한다. 다시 말해 얼굴 영역과 사용자 정보가 표시된 이미지가 표시되어 있고, 메뉴 입력 영역에서 메뉴가 선택되면, 음성 통화 기능, 화상 통화 기능, 메시지 전송기능을 선택할 수 있는 선택창을 표시한다. 그리고 제어부(150)는 표시된 선택창에서 음성 통화 기능, 화상 통화 기능 또는 메시지 전송 기능 중 어느 하나가 선택되는지 판단한다.

본 발명에서 제어부(150)는 이미지에 표시된 얼굴 영역과 사용자 정보를 이용하여 통신 기능을 수행할 수 있다. 예를 들어 대기 화면으로 인식된 얼굴 영역에 해당하는 사용자 정보가 존재하는 이미지이면, 제어부(150)는 사용자의 선택에 따라 선택된 사용자 정보를 이용하여 음성 통화, 화상 통화, 메시지 전송 등을 수행할 수 있다. 또한 제어부(150)는 저장부(110)에 이미지 폴더 관리 기능 등과 같이 저장된 이미지를 표시부(120)에 표시하는 과정에서도 표시부(120)에 표시된 이미지가 얼굴 영역이 인식되고, 인식된 얼굴 영역에 해당하는 사용자 정보가 존재하면, 사용자에 의해 선택된 얼굴 영역에 해당하는 사용자 정보를 이용하여 통신 기능을 수행할 수 있다.

음성 통화가 선택되면, 제어부(150)는 1105단계에서 표시부(120)를 제어하여 인식된 얼굴 영역에 해당하는 사용자 정보를 목록으로 표시한다. 이때 사용자 정보가 표시되는 목록에는 이름뿐만 아니라 전화번호까지 표시될 수 있다. 다음으로 제어부(150)는 1110단계에서 음성 통화를 수행할 사용자 정보가 선택되는지 판단한다. 음성 통화를 수행할 사용자 정보가 선택되면, 제어부(150)는 1120단계에서 무선 통신부(130)를 제어하여, 선택된 사용자 정보에 해당하는 상대방 휴대 단말기와 음성 통화 기능을 수행한다.

그러나 음성 통화가 선택되지 않으면, 제어부(150)는 1130단계에서 화상 통화 기능이 선택되는지 판단한다. 화상 통화가 선택되면, 제어부(150)는 1135단계에서 인식된 얼굴 영역에 해당하는 사용자 정보 중에서 화상 통화가 가능한 사용자 정보를 표시한다. 그리고 제어부(150)는 1140단계에서 화상 통화할 사용자 정보가 선택되는지 판단한다. 여기서도 음성 통화를 수행하기 위한 사용자 정보를 표시하는 과정과 마찬가지로 전화번호가 이름과 함께 표시부(120)에 표시될 수 있다.

화상 통화할 사용자 정보가 선택되면, 제어부(150)는 1145단계에서 무선 통신부(130)를 제어하여 선택된 사용자 정보에 해당하는 상대방 휴대 단말기와 화상 통화 기능을 수행한다.

다시 1130단계에서 화상 통화가 선택되지 않으면, 제어부(150)는 1150단계에서 메시지 전송이 선택되는지 판단한다. 메시지 전송이 선택되면, 제어부(150)는 1155단계에서 사용자 정보 및 텍스트 입력창을 표시부(120)에 표시한다. 예를 들어 표시부(120)는 제어부(150)의 제어 하에 이미지에 포함된 사용자 정보들이 표시된 사용자 정보 선택창과 메시지를 입력할 수 있는 텍스트 입력창을 표시할 수 있다. 여기서 사용자 정보는 이름뿐만 아니라 전화번호 또는 이메일 주소가 포함될 수 있다.

그리고 제어부(150)는 1160단계에서 사용자 정보 선택 및 메시지 입력 완료가 선택되는지 판단한다. 사용자가 메시지를 전송할 사용자 정보를 선택하고, 메시지를 입력한 다음, 메뉴 또는 확인 키를 입력하면, 제어부(150)는 이를 감지하고, 1165단계에서 무선 통신부(130)를 제어하여 사용자 정보에 해당하는 상대방의 휴대 단말기로 메시지를 전송한다. 이와 같이 통신 기능을 수행한 제어부(150)는 도 4로 돌아간다. 여기서 제어부(150)는 통신 기능이 선택되면, 이미지에 포함된 사용자 정보를 표시하고, 표시된 사용자 정보 중 선택되는 사용자 정보를 이용하여 통신 기능을 수행한다고 설명했다. 그러나 이외에도 입력부(140)를 통해 이미지에 표시된 얼굴 영역 중에서 특정 얼굴 영역이 선택된 다음 통신 기능이 선택되면, 제어부(150)는 선택된 얼굴 영역에 해당하는 사용자 정보를 이용하여 선택된 통신 기능을 수행할 수 있다.

다시 도 4의 450단계에서 화상 정보에 따른 통신 기능 수행이 선택되지 않으면, 제어부(150)는 470단계에서 보안 기능 수행이 선택되는지 판단한다. 입력부(140)를 통해 보안 기능 수행이 선택되면, 제어부(150)는 480단계에서 선택된 보안 기능을 수행한다. 여기서 480단계는 도 11을 참조로 하여 상세히 설명한다.

여기서 보안 기능은 휴대 단말기에서 수행되는 모든 기능에 설정될 수 있다. 예를 들어 이미지 폴더 관리 기능, 발신 전화 제한 기능, 로그 데이터 확인 기능, 전자 다이어리(일정관리, 메모 등) 기능, 폰북(Phone Book) 기능 등 사용자가 다른 사람들과 공유하고 싶어하지 않는 기능들을 보호하기 위해 보안 기능이 설정될 수 있다. 본원발명에서는 DMB 기능 수행시, 유료 채널 시청을 제한하기 위해 설정된 보안 기능을 가정하여 설명한다.

도 11을 참조하면, 입력부(140)를 통해 DMB 기능이 선택되면, 제어부(150)는 1200단계에서 DMB 메인 화면을 표시부(120)에 표시한다. 여기서 DMB 메인 화면은 디지털 방송 채널을 선택할 수 있는 채널 목록 및 DMB 기능에서 선택되어 수행될 수 있는 메뉴들을 표시한다.

DMB 메인 화면을 표시한 제어부(150)는 1205단계에서 유료 채널이 선택되는지 판단한다. 유료 채널이 선택되지 않으면, 제어부(150)는 1210단계에서 입력부(140)를 통해 선택되는 채널에 해당하는 방송 데이터를 수신하여 표시부(120)에 표시한다.

그러나 입력부(140)를 통해 유료 채널이 선택되면, 제어부(150)는 1215단계에서 유료 채널 시청을 제한하기 위한 보안 기능이 설정되어 있는지 판단한다. 보안 기능이 설정되어 있으면, 제어부(150)는 1220단계에서 카메라부(160)를 구동하고, 1225단계에서 카메라부(160)를 통해 입력된 이미지에서 얼굴 영역이 인식되는지 판단한다. 얼굴 영역이 인식되면, 제어부(150)는 1230단계에서 인식된 얼굴 영역의 화상 정보를 분석하여, 1235단계에서 분석된 화상 정보와 저장부(110)에 저장 된 화상 정보가 일치하는지 판단한다.

만약에 분석된 화상 정보와 저장된 화상 정보가 일치하면, 제어부(150)는 1240단계에서 선택된 유료 채널을 통해 수신되는 방송 데이터를 표시부(120)에 표시한다. 반면에 분석된 화상 정보와 저장된 화상 정보가 일치하지 않으면, 제어부(150)는 1250단계에서 해당 화상 정보가 없음을 표시하거나, 유료 채널 시청이 제한되어 있음을 팝업으로 표시부(120)에 표시한다.

다음으로 제어부(150)는 1255단계에서 얼굴 영역 재인식이 선택되는지 판단한다. 다시 말해 해당 화상 정보가 없음을 표시한 제어부(150)는 얼굴 영역을 재인식할 것인지 선택할 수 있는 선택창을 표시하고, 입력부(140)를 통해 얼굴 영역 재인식이 선택되면, 제어부(150)는 1220단계로 돌아가 얼굴 영역을 인식하는 과정을 재수행한다. 여기서 DMB 기능에서 화상 정보를 이용하여 보안 기능이 수행되는 것으로 가정하여 설명했으나, 사생활 보호 기능, 발신 전화 제한 기능 등에서도 화상 정보를 이용하여 보안 기능이 수행될 수 있다. 예를 들어 사용자가 입력부(140)를 통해 전화번호를 입력하고, 통화키를 입력하면, 제어부(150)는 발신 전화 제한 기능이 설정되어 있는지 판단한다. 발신 전화 제한 기능이 설정되어 있으면, 제어부(150)는 카메라부(160)를 구동한 다음 카메라부(160)를 통해 입력되는 이미지에서 얼굴 영역을 인식하여 화상 정보를 분석하고, 분석된 화상 정보가 저장부(110)에 저장된 화상 정보와 일치하는지 판단한다. 화상 정보가 일치하면, 제어부(150)는 전화번호를 다이얼링하고, 무선 통신부(130)를 통해 다이얼링된 전화번호에 해당하는 상대방 휴대 단말기와 통신 기능을 수행할 수 있다.

다시 도 4로 돌아와 470단계에서 보안 기능이 선택되지 않으면, 제어부(150)는 490단계에서 메뉴 또는 기능키 등을 통해 선택되는 기능들을 수행한다. 여기서 수행될 수 있는 기능은 통신 기능과 같이 종래의 휴대 단말기에서 수행될 수 있는 모든 기능이 수행될 수 있다.

도 12 내지 도 16b는 화상 정보를 통해 각각의 기능들이 수행되는 화면들을 예시한 화면 예시도이다. 도 12는 본 발명의 실시예에 따른 얼굴 영역과 사용자 정보를 표시하는 화면을 예시한 화면 예시도이다. 도 13은 본 발명에 따른 이미지 폴더 관리 화면을 예시한 화면 예시도이다. 도 14는 본 발명에 따라 이미지 폴더 관리 기능을 수행할 때 얼굴 영역을 표시하는 화면을 예시한 화면 예시도이다. 도 15는 본 발명에 따라 이미지 폴더 관리 기능 중에서 콜러 아이디를 설정하는 화면을 예시한 화면 예시도이다. 도 16a 내지 도 16b는 본 발명에 따라 이미지 폴더 관리 기능 중에서 인식된 열굴 영역을 편집하는 화면을 예시한 화면 예시도이다.

도 12는 카메라 등을 통해 입력된 이미지나, 저장부(110)에 저장된 이미지를 표시부(120)에 표시한 다음, 얼굴 인식 기능이 선택되었을 때 표시부(120)에 표시되는 화면을 예시한 도면이다. 좀 더 자세히, 이미지가 표시부(120)에 표시된 다음, 사용자가 통화키 또는 기능키를 입력하면, 제어부(150)는 얼굴 인식 기능이 선택되었음을 감지하고, 표시부(120)에 표시된 이미지 중에서 얼굴 영역을 인식한다. 그리고 제어부(150)는 인식된 얼굴 영역에서 화상 정보를 분석하여, 분석된 화상 정보에 해당하는 사용자 정보를 확인하고, 확인된 사용자 정보와 인식된 얼굴 영역을 도 12와 같이 표시부(120)를 제어하여 표시한다. 여기서 사용자 정보와 인식된 얼굴 영역을 사각 프레임을 이용하여 표시하는 것으로 설명했으나, 사용자의 설정에 의해 또는 휴대 단말기의 제조사 설정에 의해 얼굴 영역 및 사용자 정보를 표시하는 방법은 다양하게 채택될 수 있다.

도 13은 이미지 폴더 관리 기능이 선택되었을 때 표시되는 메인 화면을 예시한 도면이다. 좀 더 자세히 메뉴 또는 기능키 등을 통해 이미지 폴더 관리 기능이 선택되면, 제어부(150)는 표시부(120)를 제어하여 도 13과 같이 이미지가 표시될 수 있는 이미지 표시 영역, 이미지를 폴더별로, 사람별로, 그룹별로 분류할 수 있는 필터링 영역, 메뉴를 선택할 수 있는 메뉴 선택 영역으로 구분하여 표시할 수 있다.

도 14는 이미지 폴더 관리 기능 수행 시 이미지 표시 영역에 표시된 이미지에서 얼굴 인식 기능이 실행된 화면을 예시한 도면이다. 좀 더 자세히 이미지 폴더 관리 기능에서 선택된 이미지가 표시되고, 입력부(140)를 통해 통화키 또는 기능키를 통해 얼굴 인식 기능이 선택되면, 제어부(150)는 이미지에 포함된 얼굴 영역을 인식하여 도 14와 같이 이미지 표시 영역에 표시할 수 있다.

도 15는 이미지 폴더 관리 기능 중에서 콜러 아이디가 설정되는 화면을 예시한 화면 예시도이다. 좀 더 자세히, 얼굴 영역이 인식된 이미지에서 사용자가 입력부(140)를 통해 콜러 아이디로 사용할 얼굴 영역을 선택한 다음, 메뉴 또는 기능키를 통해 콜러 아이디 설정을 선택하면, 제어부(150)는 이를 감지하여, 선택된 얼굴 영역을 크롭하고, 도 15와 같이 표시부(120)에 표시한다. 그리고 제어부(150)는 인식된 얼굴 영역에 해당하는 사용자 정보와 함께 크롭된 얼굴 영역을 콜러 아이디로 서 저장할 수 있다.

도 16a 내지 도 16b는 이미지 폴더 관리 기능 중에서 인식된 얼굴 영역을 편집하는 화면을 예시한 도면이다. 좀 더 자세히 도 16a와 같이 인식된 얼굴 영역이 원래의 얼굴 영역보다 작으며, 위치 또한 잘못 인식되어 있는 경우에 사용자가 방향키등을 이용하여 편집하고자 하는 얼굴 영역을 선택한 다음, 메뉴 또는 기능키를 통해 얼굴 영역 편집 기능을 선택하면, 제어부(150)는 이를 감지하여 선택된 얼굴 영역을 확인하고, 얼굴 영역에 표시된 프레임의 크기 및 위치를 입력부(140)를 통해 입력되는 사용자의 선택에 따라 도 16b와 같이 변경할 수 있다.

이상으로 화상 정보를 이용한 기능을 수행하는 방법으로 표시부(120)에 표시된 이미지에서 미리 얼굴 영역이 인식되고, 인식된 얼굴 영역에 링크된 사용자 정보가 포함되어 있는 경우에 입력부(140)를 통해 선택되는 기능들을 수행하는 방법에 대하여 설명하였다. 그러나 이러한 방법 외에도 카메라 기능이 수행되고 있을 때 입력된 이미지를 표시부(120)에 표시하거나, 표시부(120)에 저장부(110)에 저장된 이미지를 표시하고 있는 경우, 사용자가 입력부(140)를 통해 얼굴 인식 기능을 선택하면, 제어부(150)는 표시부(120)에 표시하고 있는 이미지에서 얼굴 영역만을 인식하고, 인식된 얼굴 영역에 해당하는 화상 정보를 분석하여, 분석된 화상 정보에 해당하는 사용자 정보를 인식된 얼굴 영역에 링크하여, 표시부(120)에 표시된 이미지와 함께 인식된 얼굴 영역 및 사용자 정보를 표시할 수 있다.

도 17은 본 발명의 다른 실시예에 따른 카메라 기능 수행 시 화상 정보를 등록하는 방법을 나타낸 흐름도이다.

도 17을 참조하면, 1701단계에서 휴대 단말기의 모드가 대기 모드이면, 제어부(150)는 1705단계에서 카메라 기능이 선택되는지 판단한다. 만약에 사용자가 메뉴 또는 기능키 등으로 통해 카메라 기능을 선택하지 않고, 다른 기능들을 선택하였다면, 제어부(150)는 1710단계에서 선택된 기능을 수행한다.

그러나 입력부(140)를 통해 카메라 기능이 선택되었다면, 제어부(150)는 1710단계에서 카메라부(160)를 구동하고, 구동된 카메라부(160)를 통해 입력되는 프리뷰 이미지를 표시한다. 다음으로 제어부(150)는 1715단계에서 화상 정보 등록이 선택되는지 판단한다. 만약에 입력부(140)를 통해 화상 정보 등록이 선택되지 않으면, 제어부(150)는 1720단계에서 다른 기능들이 선택되는지 판단한다. 그리고 입력부(140)를 통해 기능이 선택되면, 제어부(150)는 1725단계에서 선택되는 기능을 수행한다. 여기서 선택되는 기능은 이미지 촬영, 카메라 환경 설정 등 카메라 기능시 일반적으로 수행될 수 있는 기능들이 포함된다.

만약에 1715단계에서 통화키가 입력되거나, 메뉴 및 기능키를 통해 화상 정보 등록이 선택되면, 제어부(150)는 1730단계에서 표시되는 프리뷰 이미지에서 얼굴 영역이 인식되는지 판단한다.

이하 1735단계부터 1770단계까지는 도 5의 530단계 및 570단계와 동일한 과정이므로 이하 상세한 설명은 생략하도록 한다. 간단히 요약하자면, 제어부(150)는 얼굴 영역을 인식하여, 인식된 얼굴 영역에 해당하는 화상 정보를 분석하고, 분석된 화상 정보에 따른 사용자 정보를 확인하여 분석된 화상 정보에 링크하고, 링크된 사용자 정보를 캡처된 이미지에 얼굴 영역과 함께 표시할 수 있다. 이때 분석된 화상 정보에 해당하는 사용자 정보가 없을 경우, 제어부(150)는 사용자의 선택에 따라 화상 정보에 해당하는 사용자 정보를 등록할 수 있다.

이러한 화상 정보 등록 방법으로 카메라 기능에서 이미지를 캡처할 때 화상 정보를 등록하는 것으로 예를 들어 설명했으나, 제어부(150)는 사용자의 선택에 따라 캡처된 이미지를 저장부(110)에 저장하고, 저장된 이미지를 표시하는 과정에서도 화상 정보를 등록할 수 있다. 좀 더 상세히 제어부(150)는 카메라 기능에서 촬영된 이미지를 저장한 다음, 저장된 이미지를 표시한다. 그리고 입력부(140)를 통해 얼굴 영역 인식 기능이 선택되면, 제어부(150)는 표시된 이미지에서 얼굴 영역을 인식하여 인식된 얼굴 영역에 해당하는 화상 정보를 분석한다. 다음으로 제어부(150)는 분석된 화상 정보에 따른 사용자 정보를 링크하여 표시할 수 있다. 이때 제어부(150)는 이미지뿐만 아니라 분석된 화상 정보와 링크된 사용자 정보에 해당하는 링크 정보를 저장부(110)에 저장할 수도 있다.

또한 외부 단말기 또는 인터넷 등을 통해 다운로드한 이미지를 표시부(120)에 표시할 때도, 제어부(150)는 사용자의 선택에 따라 얼굴 인식 기능을 수행하여, 화상 정보를 등록할 수 있다. 예를 들어 사용자가 입력부(140)를 통해 다운로드한 이미지를 선택하면, 제어부(150)는 표시부(120)에 선택된 다운로드한 이미지를 표시하고, 다시 통화키 입력 또는 메뉴, 기능키를 통해 얼굴 인식 기능이 선택되면, 제어부(150)는 다운로드한 이미지에서 얼굴 영역을 인식하고, 인식된 얼굴 영역에 해당하는 화상 정보 및 사용자 정보를 확인하여 표시하고, 다운로드한 이미지와 함께 화상 정보 및 사용자 정보를 저장부(110)에 저장할 수도 있다.

본 발명에서 이미지 폴더 관리 기능 선택시 얼굴 영역 인식 기능이 선택되면, 제어부(150)는 선택된 이미지에 얼굴 영역 및 사용자 정보를 표시한다고 설명했다. 여기서 이미지 폴더 관리 기능 선택시, 제어부(150)는 저장부(110)를 확인하여 사용자 정보 및 얼굴 영역에 해당하는 화상 정보를 포함하는 이미지는 확인된 사용자 정보 및 얼굴 영역과 함께 표시되도록 표시부(120)를 제어할 수 있다. 또한 이미지 폴더 관리 기능은 외부 단말기 또는 인터넷을 통해 다운로드된 이미지를 표시하는 기능, 카메라부(160)를 통해 촬영된 이미지를 표시하는 기능 및 저장부(110)에 저장된 이미지를 표시하는 기능 등이 포함될 수 있다.

이상에서는 본 발명에서 특정의 바람직한 실시 예에 대하여 도시하고 또한 설명하였다. 그러나 본 발명은 상술한 실시 예에 한정되지 아니하며, 특허 청구의 범위에서 첨부하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능할 것이다.

도 1은 본 발명에 따른 휴대 단말기의 개략적인 구성을 도시한 블록도.

도 2는 본 발명의 실시예에 따라 휴대 단말기에서 화상 정보를 이용하여 기능을 수행하는 방법을 나타낸 흐름도.

도 3은 본 발명에 따른 화상 정보를 획득하는 방법을 나타낸 흐름도.

도 4는 본 발명의 실시예에 따른 화상 정보를 이용하여 기능을 수행하는 방법을 나타낸 흐름도.

도 5는 본 발명의 실시예에 따른 화상 정보 등록을 수행하는 방법을 나타낸 흐름도.

도 6은 본 발명의 실시예에 따른 사용자 정보 등록을 수행하는 방법을 나타낸 흐름도.

도 7은 본 발명의 실시예에 따른 이미지 폴더를 관리하는 방법을 나타낸 흐름도.

도 8은 본 발명에 따른 이미지 폴더에서 기능을 수행하는 방법을 나타낸 흐름도.

도 9는 본 발명의 실시예에 따른 콜러 아이디를 설정하는 방법을 나타낸 흐름도.

도 10은 본 발명의 실시예에 따른 통신 기능을 수행하는 방법을 나타낸 흐름도.

도 11은 본 발명의 실시예에 따른 보안 기능을 수행하는 방법을 나타낸 흐름 도.

도 12는 본 발명의 실시예에 따른 얼굴 영역과 사용자 정보를 표시하는 화면을 예시한 화면 예시도.

도 13은 본 발명에 따른 이미지 폴더 관리 화면을 예시한 화면 예시도.

도 14는 본 발명에 따라 이미지 폴더 관리 기능을 수행할 때 얼굴 영역을 표시하는 화면을 예시한 화면 예시도.

도 15는 본 발명에 따라 이미지 폴더 관리 기능 중에서 콜러 아이디를 설정하는 화면을 예시한 화면 예시도.

도 16a 내지 도 16b는 본 발명에 따라 이미지 폴더 관리 기능 중에서 인식된 열굴 영역을 편집하는 화면을 예시한 화면 예시도.

도 17은 본 발명의 다른 실시예에 따른 카메라 기능 수행 시 화상 정보를 등록하는 방법을 나타낸 흐름도.

Claims (25)

1. 삭제
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 이미지 폴더 관리 기능이 선택되면, 폴더 관리 화면을 표시하는 과정;

    얼굴 인식 기능이 선택되면, 상기 폴더 관리 화면에 표시된 이미지에 포함된 얼굴 영역을 인식하는 과정;

    상기 인식된 얼굴 영역에 해당하는 사용자 정보가 존재하면, 상기 사용자 정보를 상기 얼굴 영역과 함께 상기 이미지에 표시하는 과정; 및

    상기 이미지에 표시된 상기 사용자 정보를 이용하여 선택되는 화상 정보를 이용한 기능을 수행하는 과정을 포함하는 휴대 단말기의 화상 정보 활용 방법.
12. 제11 항에 있어서, 상기 화상 정보를 이용한 기능은,

    통신 기능, 대기 화면 설정 기능, 콜러 아이디 설정 기능 및 얼굴 영역 편집 기능 중 하나임을 특징으로 하는 휴대 단말기의 화상 정보 활용 방법.
13. 제12 항에 있어서, 상기 화상 정보를 이용한 기능을 수행하는 과정은,

    상기 통신 기능이 선택되면, 상기 표시된 사용자 정보를 이용하여 통신 기능을 수행하는 과정을 포함하는 것을 특징으로 하는 휴대 단말기의 화상 정보 활용 방법.
14. 제13 항에 있어서, 상기 통신 기능은,

    음성 통화 기능, 화상 통화 기능 및 메시지 전송 기능 중 하나임을 특징으로 하는 휴대 단말기의 화상 정보 활용 방법.
15. 제12 항에 있어서, 상기 화상 정보를 이용한 기능을 수행하는 과정은,

    상기 대기 화면 설정 기능이 선택되면, 상기 이미지를 전체 화면에 확대하여 표시하는 과정; 및

    상기 사용자 정보와 상기 얼굴 영역 유지가 선택되면, 상기 사용자 정보와 상기 얼굴 영역이 표시된 상기 이미지를 상기 대기 화면으로 설정하는 과정을 포함하는 것을 특징으로 하는 휴대 단말기의 화상 정보 활용 방법.
16. 제15 항에 있어서,

    상기 사용자 정보와 상기 얼굴 영역의 유지가 선택되지 않으면, 상기 이미지만을 상기 대기 화면으로 설정하는 과정을 더 포함하는 것을 특징으로 하는 휴대 단말기의 화상 정보 활용 방법.
17. 제12 항에 있어서, 상기 화상 정보를 이용한 기능을 수행하는 과정은,

    상기 콜러 아이디 설정 기능이 선택되면, 상기 이미지에서 콜러 아이디로 설정할 얼굴 영역이 선택되는지 판단하는 과정;

    상기 선택된 얼굴 영역에 해당하는 사용자 정보를 확인하고, 상기 이미지에서 상기 얼굴 영역만 크롭하여 표시하는 과정; 및

    상기 크롭된 얼굴 영역을 상기 사용자 정보와 매칭하여 콜러 아이디로 저장하는 과정을 포함하는 것을 특징으로 하는 휴대 단말기의 화상 정보 활용 방법.
18. 제12 항에 있어서, 상기 화상 정보를 이용한 기능을 수행하는 과정은,

    상기 얼굴 영역 편집 기능이 선택되면, 편집 방법을 선택할 수 있는 선택창을 표시하는 과정;

    상기 편집 방법이 선택되면, 상기 이미지에 포함된 얼굴 영역을 편집하는 과정; 및

    상기 편집된 얼굴 영역을 재인식하여 저장하는 과정을 포함하는 것을 특징으로 하는 휴대 단말기의 화상 정보 활용 방법.
19. 제18 항에 있어서, 상기 얼굴 영역을 편집하는 과정은,

    상기 얼굴 영역의 크기를 편집하는 과정과 상기 얼굴 영역의 위치를 조정하는 과정 중 적어도 하나를 포함하는 것을 특징으로 하는 휴대 단말기의 화상 정보 활용 방법.
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제

Images