JP5634910B2 - 携帯情報端末装置 - Google Patents

Description

本発明は、携帯情報端末装置に係り、更に詳しくは、位置情報を取得可能な携帯情報端末装置の改良に関する。

被写体を撮影して画像データを生成するとともに、例えば、ＧＰＳ（Global Positioning System：全地球測位システム）衛星からの信号を受信することにより、位置情報を取得することができる携帯情報端末装置が従来から知られている。この様な携帯情報端末装置では、画像データにその撮影位置を対応づけて保持し、ユーザが撮影位置を指定することにより、その撮影位置に対応する画像データを表示することができる。また、表示画面に地図を表示し、この地図上でいずれかの位置が指定された場合に、指定された位置の周辺で撮影された画像データを表示することができる（例えば、特許文献１）。

更に、特許文献２には、撮影時に位置情報の取得に失敗した場合に、撮影時の前後に取得された位置情報を撮影位置として画像データに対応づけることが記載されている。この場合、撮影時に位置情報の取得に失敗した画像データについても、撮影位置と対応づけて保持することができる。

特開２００１−２８９６５０ 特開２００９−１４７６９４

一般に、携帯情報端末装置では、他の撮像装置で撮影された画像データが入力されたときに、当該画像データに撮影位置が対応づけられていないことがある。この場合、特許文献２に記載の構成では、他の撮像装置により撮影が行われた時刻に携帯情報端末装置で取得された位置情報が、撮影位置として画像データに対応づけられる。このため、携帯情報端末装置が撮影時刻に他の撮像装置と近い位置にあった場合には、画像データに撮影位置を対応づけることができるが、携帯情報端末装置が撮影時刻に他の撮像装置から離れていた場合には、画像データに誤った撮影位置が対応づけられてしまうという問題があった。

本発明は、上記の事情に鑑みてなされたものであり、他の撮像装置により撮影された画像データが入力された場合に、この画像データの撮影位置を判別することのできる携帯情報端末装置を提供することを目的とする。

第１の本発明による携帯情報端末装置は、位置情報を取得する位置情報取得手段と、上記位置情報に対し、当該位置情報の取得時刻を対応づけた移動履歴情報を保持する移動履歴記憶手段と、ユーザの特徴情報を保持する特徴情報記憶手段と、撮影時刻が対応づけられた画像データを入力するための画像入力手段と、上記特徴情報に基づいて、上記画像データに被写体として上記ユーザが含まれているか否かを判別する被写体判別手段と、上記被写体判別手段の判別結果に基づいて、上記移動履歴記憶手段内の上記位置情報を上記画像データに対応づける撮影位置判別手段とを備え、上記撮影位置判別手段が、上記撮影時刻と上記移動履歴記憶手段内の上記取得時刻とを比較することにより、上記位置情報を上記画像データに対応づけるように構成される。

この様な構成によれば、入力された画像データに被写体としてユーザが含まれているか否かの判別が行われ、その判別結果に基づいて、画像データが、撮影時刻の前後に取得された位置情報に対応づけられる。従って、他人の撮像装置により撮像された画像データについて、撮影位置を判別する場合の信頼性を向上させることができる。

第２の本発明による携帯情報端末装置は、上記構成に加え、ユーザ操作に基づいて、被写体を撮影するための撮像手段を備え、上記位置情報取得手段が、上記ユーザ操作に基づいて、上記位置情報を取得するように構成される。

この様な構成によれば、被写体を撮影するためのユーザ操作に基づいて、位置情報の取得が行われる。通常、被写体を撮影するためのユーザ操作が行われるときには、ユーザが他の撮像装置により撮影されることが多い。このため、ユーザの撮影操作に基づいて位置情報を取得し、移動履歴情報として保持することにより、ユーザが撮影されている画像データがその後に入力された場合に、この位置情報を対応づけることができる。この場合、高い頻度で位置情報を取得しなくても、位置情報を精度良く対応づけることができるので、消費電力を低減することができる。

第３の本発明による携帯情報端末装置は、上記構成に加え、上記位置情報取得手段が、第１の周期ごとに上記位置情報を取得するとともに、被写体を撮影するためのユーザ操作に基づいて、第１の周期よりも短い第２の周期ごとに上記位置情報を取得するように構成される。

この様な構成によれば、被写体を撮影するためのユーザ操作に基づいて、位置情報を取得する頻度をより高くしている。このため、ユーザが他人から撮影される可能性が高いと予想される場合に、高頻度で位置情報を取得することができる。従って、消費電力を低減しつつ、被写体としてユーザが含まれている画像データについて、撮像位置を精度良く判別することができる。

第４の本発明による携帯情報端末装置は、上記構成に加え、上記撮影位置判別手段が、上記撮影時刻を上記移動履歴記憶手段内の上記取得時刻と比較する時刻比較手段と、上記画像データに被写体として上記ユーザが含まれていると判別された場合に、上記時刻比較手段の比較結果に基づいて、上記画像データの撮影位置として、上記移動履歴記憶手段内の上記位置情報を選択する位置情報選択手段とを有するように構成される。

この様な構成によれば、画像データに被写体としてユーザが含まれていると判別された場合に、画像データが、撮影時刻の前後に取得された位置情報に対応づけられるので、撮影位置を判別する場合の信頼性を向上させることができる。

第５の本発明による携帯情報端末装置は、上記構成に加え、上記位置情報選択手段が、上記撮影時刻に最も近い上記取得時刻に対応づけられた上記位置情報を選択するように構成される。

この様な構成によれば、撮影時刻に最も近い時刻に取得された位置情報が撮影位置として選択されるので、撮影位置を精度良く選択することができる。

第６の本発明による携帯情報端末装置は、上記構成に加え、上記特徴情報記憶手段が、顔画像から抽出された上記ユーザの特徴情報を保持し、上記被写体判別手段が、上記顔画像から抽出された特徴情報と上記画像データから抽出された特徴情報とを比較することにより、当該画像データに被写体として上記ユーザが含まれているか否かを判別するように構成される。

第７の本発明による携帯情報端末装置は、上記構成に加え、上記撮影位置判別手段により上記位置情報が対応づけられた上記画像データを保持する画像データ記憶手段と、ユーザの操作入力に基づいて、エリアを指定するエリア指定手段と、上記エリアを上記画像データ記憶手段に保持されている上記画像データの上記位置情報と比較する位置比較手段と、上記位置比較手段の比較結果に基づいて、上記画像データを閲覧するための画面データを生成する画像閲覧画面生成手段とを備えて構成される。

この様な構成によれば、ユーザは、エリアを指定することにより、このエリアで撮影された画像データを表示させることができる。従って、ユーザが任意のエリアで撮影された画像データを容易に表示させることができるので、利便性が高い。

本発明による携帯情報端末装置では、入力された画像データに被写体としてユーザが含まれているか否かの判別が行われ、その判別結果に基づいて、画像データが、撮影時刻の前後に取得された位置情報に対応づけられる。従って、他人の撮像装置により撮像された画像データについて、撮影位置を判別する場合の信頼性を向上させることができる。

特に、被写体を撮影するためのユーザ操作に基づいて、位置情報の取得が行われるので、ユーザが撮影されている画像データがその後に入力された場合に、この位置情報を対応づけることができる。この場合、高い頻度で位置情報を取得しなくても、位置情報を精度良く対応づけることができるので、消費電力を低減することができる。

本発明の実施の形態による携帯情報端末装置の概略構成の一例を示した外観図である。 図１の携帯電話機１００の電気的構成の一例を示したブロック図である。 図２の携帯電話機１００の要部についての一構成例を示したブロック図である。 図３の被写体判別部４９の構成例を示したブロック図である。 図１の携帯電話機１００に用いられる移動履歴情報の一例を示した図である。 ユーザを表す画像の登録画面の表示例を示した図である。 画像データに撮影位置を対応づけることをユーザに促す確認画面の表示例を示した図である。 図１の携帯電話機１００における撮影位置の追加処理の一例を示したフローチャートである。 図１の携帯電話機１００における画像選択処理の一例を示したフローチャートである。 本発明の実施の形態２による携帯電話機１００の要部についての一構成例を示したブロック図である。 図１０の携帯電話機１００における撮影位置の追加処理の一例を示したフローチャートである。

実施の形態１．
図１は、本発明の実施の形態による携帯情報端末装置の概略構成の一例を示した外観図であり、携帯情報端末装置の一例としてＧＰＳ機能を有するカメラ付の携帯電話機１００が示されている。図１（ａ）には、表示筐体１０及び操作筐体２０を展開させたオープン状態の場合が示され、図１（ｂ）には、両筐体を折り畳んだクローズ状態の場合が示されている。

携帯電話機１００では、ＧＰＳ信号の受信データに基づいて位置情報を取得し、移動履歴情報として格納している。このため、他の撮像装置で撮影された画像データが入力された場合に、この画像データの撮影時刻に携帯電話機１００で取得された位置情報をこの画像データに撮影位置として対応づけることができる。その際、画像データに被写体としてユーザが含まれているか否かの判別を行って、携帯電話機１００の近くで画像データの撮影が行われたことを確認することにより、画像データに対応づける撮影位置の信頼性を向上させることができる。

この携帯電話機１００は、折り畳み式の携帯電話機であり、メインディスプレイ１１を有する表示筐体１０と、複数の操作キー２１を有する操作筐体２０と、表示筐体１０及び操作筐体２０を連結するヒンジ部３０からなる。

メインディスプレイ１１は、表示筐体１０の一主面に配置された表示装置である。表示筐体１０には、メインディスプレイ１１と同じ側に受話用のレシーバ１２及びサブカメラ１５、反対側にサブディスプレイ１３及びメインカメラ１４が配置されている。

操作筐体２０には、２以上の操作キー２１と、送話用のマイクロホン２２とが配置されている。メインカメラ１４及びサブカメラ１５は、ユーザ操作に基づいて、被写体を撮影する撮像手段である。ここでは、操作キー２１を操作することによってカメラ画像が保存用に取り込まれる。

図２は、図１の携帯電話機１００の電気的構成の一例を示したブロック図である。この携帯電話機１００は、プロセッサからなる端末制御部４４、並びに、この端末制御部４４によりそれぞれ制御可能なセルラー通信部４１、近距離無線通信部４２、ＧＰＳ受信部４３、操作キー２１、メインディスプレイ１１、メインカメラ１４、サブカメラ１５及びデータ入出力部４５を備えて構成される。

セルラー通信部４１は、アンテナを介して基地局との間で電波の送受信を行っている。近距離無線通信部４２は、近距離通信用のアンテナ及び赤外線の投受光器を介して他の携帯電話機との間でデータの送受信を行う近距離データ通信処理手段である。ここでは、ブルートゥース（Bluetooth：登録商標）や赤外線通信により画像データの送受信が行われる。

ＧＰＳ受信部４３は、一定周期ごとにＧＰＳ衛星からの信号を受信し、このＧＰＳ信号の受信データを端末制御部４４へ出力する動作を行っている。データ入出力部４５は、カードスロット内に収容されたメモリーカードに対して、データの入出力を行う外部インターフェースである。

図３は、図２の携帯電話機１００の要部についての一構成例を示したブロック図であり、端末制御部４４内の機能構成の一例が示されている。端末制御部４４は、位置情報取得部４６、移動履歴記憶部４７、画像入力部４８、被写体判別部４９、特徴情報記憶部５０、撮影位置判別部５１、画像データ記憶部５２、エリア指定部５３、位置比較部５４及び画像閲覧画面生成部５５により構成される。

位置情報取得部４６は、ＧＰＳ受信部４３によるＧＰＳ信号の受信データに基づいて、現在位置を示す位置情報を取得する動作を行っている。位置情報は、複数のＧＰＳ衛星からの信号の受信結果を解析することによって判定され、例えば、緯度及び経度によって表される。また、セルラー通信部４１の通信先の基地局を識別する位置情報を取得することにより、携帯電話機１００がどの基地局のサービスエリア内に位置しているかを判別する構成であってもよい。ここでは、位置情報取得部４６は、一定周期ごとに位置情報を取得しているものとする。

移動履歴記憶部４７は、位置情報取得部４６により取得された位置情報にその取得時刻を対応づけた移動履歴情報を保持している。画像入力部４８は、画像データを入力するための入力手段であり、例えば、受信メールに添付された画像データがセルラー通信部４１を介して入力される。また、メモリーカード内に保持された画像データがデータ入出力部４５を介して入力される構成であってもよい。ここでは、画像データがブルートゥースにより近距離無線通信部４２を介して入力されるものとする。また、入力された画像データは、その撮影時刻が対応づけられている。

被写体判別部４９は、特徴情報記憶部５０に予め保持されているユーザの特徴情報に基づいて、画像データに被写体としてユーザが含まれているか否かを判別する動作を行っている。具体的には、ユーザの顔画像から抽出されて特徴情報記憶部５０内に予め保持されている特徴情報と、画像データから抽出された特徴情報とを比較することにより、当該画像データに被写体としてユーザが含まれているか否かが判別される。特徴情報記憶部５０には、ユーザの特徴情報が保持されている。より詳しくは、ユーザの顔画像から抽出された特徴情報、例えば、ユーザの目、鼻、口及び輪郭といった顔の各部分についての形や大きさなどの特徴情報が保持されている。

撮影位置判別部５１は、被写体判別部４９の判別結果に基づいて、移動履歴記憶部４７に保持されている位置情報を画像データに対応づける動作を行っている。この場合、画像データの撮影時刻と、移動履歴記憶部４７内に保持されている移動履歴情報の取得時刻とを比較することにより、位置情報が画像データに対応づけられる。具体的には、画像データに被写体としてユーザが含まれている場合に、この画像データが携帯電話機１００の近くで撮影されたものとして判断し、移動履歴記憶部４７に保持されている位置情報を画像データに対応づけている。一方、画像データに被写体としてユーザが含まれていない場合には、画像データの撮影位置の判別は行われない。

この撮影位置判別部５１は、時刻比較部５１１及び位置情報選択部５１２からなる。時刻比較部５１１は、画像データの撮影時刻と移動履歴情報の取得時刻とを比較する動作を行っている。例えば、移動履歴記憶部４７内に保持されている取得時刻のうち、画像データの撮影時刻に最も近い取得時刻を判別している。また、画像データの撮影時刻より前の取得時刻であって、画像データの撮影時刻に最も近い取得時刻を判別する構成であってもよい。ここでは、時刻比較部５１１が、移動履歴記憶部４７内に保持されている取得時刻のうち、画像データの撮影時刻に最も近い取得時刻を判別するものとして説明する。

位置情報選択部５１２は、画像データに被写体としてユーザが含まれていると被写体判別部４９により判別された場合に、時刻比較部５１１の比較結果に基づいて、移動履歴記憶部４７内の位置情報を画像データの撮影位置として選択する動作を行っている。例えば、画像データの撮影時刻に最も近いと時刻比較部５１１により判別された取得時刻に対応づけられた位置情報を撮影位置として選択している。一方、画像データに被写体としてユーザが含まれていないと被写体判別部４９により判別された場合には、位置情報の選択は行われない。画像データ記憶部５２は、画像データと位置情報選択部５１２により選択された撮影位置とを対応づけて保持している。

エリア指定部５３は、ユーザの操作入力に基づいて、画像データを選択するためのエリアを指定する動作を行っている。例えば、地名や駅名などを入力するキー操作に基づいて、その位置周辺のエリアが指定される。ここでは、メインディスプレイ１１に地図画像が表示されているときに、ユーザが地図上のいずれかの位置を選択するキー操作を行うことにより、その位置周辺のエリアが指定されるものとする。

位置比較部５４は、エリア指定部５３により指定されたエリアと、画像データ記憶部５２に保持されている画像データの撮影位置とを比較する動作を行っている。具体的には、エリア内に含まれる撮影位置を判別し、この撮影位置に対応する画像データを選択している。

画像閲覧画面生成部５５は、位置比較部５４の比較結果に基づいて、画像データを閲覧するための画面データを生成する動作を行っている。ここでは、位置比較部５４により選択された画像データの閲覧画面を表示するための画面データを生成し、メインディスプレイ１１上に表示させている。

図４は、図３の被写体判別部４９の構成例を示したブロック図である。被写体判別部４９は、特徴抽出部４９１、一致度算出部４９２及び一致度判定部４９３からなる。特徴抽出部４９１は、画像データに含まれる顔画像から、目、鼻、口及び輪郭といった顔の各部分についての形や大きさなどの特徴情報を抽出する動作を行っている。

画像データが顔画像を含まない風景画像などである場合には、画像データから特徴情報を抽出することができない。この場合、画像データに被写体としてユーザが含まれていないと判別される。一方、撮影画像から特徴情報を抽出することに成功した場合には、一致度算出部４９２により、抽出された特徴情報と特徴情報記憶部５０に保持されているユーザの特徴情報とが比較され、数値化された一致度が算出される。

一致度判定部４９３は、一致度算出部４９２により算出された一致度を所定の閾値と比較し、その比較結果を出力している。このとき、一致度が閾値を超えた場合には、画像データに被写体としてユーザが含まれていると判別され、一致度が閾値よりも小さい場合には、画像データにユーザが含まれていないと判別される。ここでいう一致度とは、比較されたすべての特徴情報のうち一致した特徴情報の占める割合である。

このような構成を採用すれば、被写体判別部４９により、入力された画像データに被写体としてユーザが含まれているか否かの判別が行われ、その判別結果に基づいて、撮影位置判別部５１が、画像データの撮影位置として、撮影時刻に最も近い時刻に取得された位置情報を選択し、当該画像データに対応づけている。すなわち、被写体として携帯電話機１００のユーザが含まれていれば、携帯電話機１００に近い位置で撮影された画像データであると判断できるので、その撮影時刻に対応する携帯電話機１００の位置情報が割り当てられる。従って、他人の撮像装置により撮像された画像データの撮影位置を判別する場合の信頼性を向上させることができる。

また、画像データの撮影時刻と位置情報の取得時刻とを比較するだけで位置情報を選択することができるので、簡単な処理により画像データの撮影位置を判別することができる。更に、撮影時刻に最も近い時刻に取得された位置情報が撮影位置として選択されるので、撮影位置を精度良く選択することができる。

図５は、図１の携帯電話機１００に用いられる移動履歴情報の一例を示した図である。この例では、携帯電話機１００の緯度及び経度を示す位置情報が、ＧＰＳ受信部４３により１分ごとに取得されるとともに、その取得時刻に対応づけられて保持されている。例えば、２０１０年６月２３日２２時１０分に取得された位置情報では、携帯電話機１００が北緯３３．００度、東経１３１．００度の地点に位置していたことが示されている。また、２０１０年６月２３日２２時１４分に取得された位置情報では、携帯電話機１００が北緯３３．０１度、東経１３１．０１度の地点に位置していたことが示されている。

図６は、ユーザを表す画像の登録画面の表示例を示した図である。ユーザを表す画像は、ユーザの特徴情報を抽出するための画像であり、サブカメラ１５により撮影される。このユーザの特徴情報は、特徴情報記憶部５０内に保持され、入力された画像データに被写体としてユーザが含まれているか否かを判別する場合に用いられる。

ユーザを表す画像の登録を指示するユーザ操作が行われると、サブカメラ１５が起動され、サブカメラ１５による撮影が可能な状態になった後、サブカメラ１５に対する被写体の画像がリアルタイムでメインディスプレイ１１に表示される（図６参照）。このとき、メインディスプレイ１１は、サブカメラ１５のファインダとして機能し、メインディスプレイ１１により構成されるファインダ画面には、メインディスプレイ１１を見ながら操作を行っている者の顔が映し出されることとなる。また、メインディスプレイ１１には、サブカメラ１５による撮影を行うためのアイコン１１１が表示されている。

図６のファインダ画面において、ユーザが自分の顔の位置あわせなどを行った後、アイコン１１１に対応する操作キー２１を操作することにより登録操作を行うと、被写体判別部４９の特徴抽出部４９１が、そのときサブカメラ１５で撮影された画像からユーザの特徴情報を抽出する処理を行う。このとき、抽出された特徴情報は、特徴情報記憶部５０に格納される。

図７は、画像データに撮影位置を対応づけることをユーザに促す確認画面の表示例を示した図である。この画面は、画像データに撮影位置を対応づけるか否かをユーザに確認するための入力画面であり、画像データに被写体としてユーザが含まれていると判別された場合にメインディスプレイ１１に表示される。

この確認画面の上端表示領域６１には、画像データのファイル名「ＩＭＧ＿０００１．ＪＰＧ」が表示されており、下端表示領域６３には、アイコン１１２及びアイコン１１３が表示されている。メイン表示領域６２には、被写体としてユーザが含まれている画像データが表示されるとともに、画像データに撮影位置を対応づけるか否かをユーザに確認するためのメッセージが表示されている。

アイコン１１２及びアイコン１１３には、それぞれ文字列「はい」、「いいえ」が表示されており、ユーザがいずれかを選択することにより、画像データに撮影位置を対応づけるか否かが選択される。アイコン１１２に対応する操作キー２１が操作された場合、画像データに撮影位置が対応づけられて画像データ記憶部５２に格納される。一方、アイコン１１３に対応する操作キー２１が操作された場合には、画像データと撮影位置とは対応づけられない。

図８のステップＳ１０１〜Ｓ１０９は、図１の携帯電話機１００における撮影位置の追加処理の一例を示したフローチャートである。まず、画像入力部４８により画像データが入力されると、この画像データが撮影位置と対応づけられているかの判定が行われる（ステップＳ１０１，Ｓ１０２）。画像データに撮影位置が対応づけられている場合には、画像データに撮影位置を追加する必要はないので、ステップＳ１０９に進む。一方、画像データに撮影位置が対応づけられていない場合、この画像データに撮影時刻が対応づけられているかの判定が行われる（ステップＳ１０３）。画像データに撮影時刻が対応づけられていない場合には、ステップＳ１０９に進む。一方、画像データに撮影時刻が対応づけられている場合には、特徴抽出部４９１が、画像データから特徴情報を抽出し（ステップＳ１０４）、一致度算出部４９２が、画像データから抽出された特徴情報と、特徴情報記憶部５０に保持されているユーザの特徴情報との一致度を算出する。更に、一致度判定部４９３が、算出された一致度が所定の閾値より高いか否かの判定を行う（ステップＳ１０５）。

画像データから抽出された特徴情報と、特徴情報記憶部５０に保持されているユーザの特徴情報との一致度が閾値より低い場合には、ステップＳ１０９に進む。一方、画像データから抽出された特徴情報と、特徴情報記憶部５０に保持されているユーザの特徴情報との一致度が閾値より高い場合には、時刻比較部５１１が、画像データの撮影時刻と、移動履歴記憶部４７内に保持されている取得時刻とを比較し、撮影時刻に最も近い取得時刻を判別する（ステップＳ１０６）。更に、位置情報選択部５１２が、撮影時刻に最も近い取得時刻に対応づけられた位置情報を選択し、この位置情報を画像データの撮影位置として画像データに対応づけ、画像データ記憶部５２に格納する（ステップＳ１０７，Ｓ１０８）。そして、他に入力された画像データがある場合には、ステップＳ１０２〜Ｓ１０９の処理手順が繰り返される（ステップＳ１０９）。

図９のステップＳ２０１〜Ｓ２０６は、図１の携帯電話機１００における画像選択処理の一例を示したフローチャートである。まず、メインディスプレイ１１上に地図画像が表示される（ステップＳ２０１）。次に、地図画像上のいずれかの位置を選択するユーザ操作が行われると、その位置周辺のエリア内の撮影位置に対応づけられた画像データが読み出され、これらの画像データのサムネイル画像が一覧表示される（ステップＳ２０２〜Ｓ２０４）。例えば、いずれかの都道府県を地図画像から選択するユーザ操作が行われた場合、選択された県内の撮影位置に対応づけられた画像データが読み出され、これらの画像データのサムネイル画像が一覧表示される。更に、これらの画像データのいずれかを選択するユーザ操作が行われた場合には、選択された画像データがメインディスプレイ１１上に表示され（ステップＳ２０５，Ｓ２０６）、処理を終了する。

従来の携帯情報端末装置では、他の撮像装置により撮影が行われた時刻に携帯情報端末装置で取得された位置情報が、一律に撮影位置として画像データに対応づけられていた。このため、携帯情報端末装置が撮影時刻に他の撮像装置と近い位置にあった場合には、画像データに撮影位置を対応づけることができるが、携帯情報端末装置が撮影時刻に他の撮像装置から離れていた場合には、画像データに誤った撮影位置が対応づけられてしまうという問題があった。

これに対し、本実施の形態によれば、例えば、ユーザと他の撮像装置の所有者とが共に行動することにより、携帯情報端末装置１００と他の撮像装置とが近い位置にあった場合、他の撮像装置により撮影された画像データにユーザが被写体として含まれていることを判別することにより、この画像データに撮影位置を対応づけることができる。一方、ユーザと他の撮像装置の所有者とが別行動することにより、携帯情報端末装置１００が撮影時刻に他の撮像装置から離れていた場合には、画像データにユーザが被写体として含まれることはなく、携帯情報端末装置１００で取得された位置情報が撮影位置として画像データに対応づけられることはない。このため、画像データに誤った撮影位置が対応づけられることを抑制することができ、画像データに対応づけられる撮影位置の信頼性を向上させることができる。

また、本実施の形態によれば、ユーザは、メインディスプレイ１１に表示された地図からいずれかのエリアを指定することにより、指定したエリアで撮影された画像データを表示させることができる。従って、ユーザが任意のエリアで撮影された画像データを容易に表示させることができるので、利便性が高い。

なお、本実施の形態では、画像データが静止画像である場合の例について説明したが、本発明はこれに限られるものではない。例えば、画像データが一連のフレーム画像からなる動画像であってもよい。

また、本実施の形態では、位置情報取得部４６が、一定周期ごとに位置情報を取得する場合の例について説明したが、本発明は、これに限られるものではない。例えば、セルラー通信部４１により通信が行われている基地局が切り替わった場合に、位置情報を取得する構成であってもよい。また、近距離無線通信部４２による近距離無線通信が行われたとき、セルラー通信部４１による電子メールの送受信が行われたとき、又は、メモリーカードがカードスロット内に挿入されたときに位置情報を取得する構成であってもよい。更に、ユーザがテキスト形式のメモを作成したときや、ナビゲーション機能を使用したときに位置情報を取得する構成であってもよい。

実施の形態２．
実施の形態１では、被写体判別部４９が、顔に関するユーザの特徴情報と画像データから抽出された特徴情報とを比較することにより、画像データに被写体としてユーザが含まれているか否かを判別する場合の例について説明した。これに対し、本実施の形態では、画像データに含まれる服装又は帽子に関するユーザの特徴情報と画像データから抽出された対応する特徴情報とを比較することにより、画像データに被写体としてユーザが含まれているか否かを判別する場合の例について説明する。

図１０は、本発明の実施の形態２による携帯電話機１００の要部についての一構成例を示したブロック図であり、端末制御部４４内の機能構成の一例が示されている。被写体判別部４９及び特徴情報追加部７１以外の構成は、実施の形態１の場合と同一であるため、重複する説明は省略する。

被写体判別部４９は、特徴情報記憶部５０に予め保持されているユーザの特徴情報に基づいて、画像データに被写体としてユーザが含まれているか否かを判別する動作を行っている。具体的には、顔に関するユーザの特徴情報と、画像データから抽出された特徴情報とを比較することにより、画像データに被写体としてユーザが含まれているか否かが判別される。また、ユーザの服装又は帽子の画像から抽出され、特徴情報記憶部５０に予め保持されている特徴情報と、画像データから抽出された特徴情報とを比較することにより、画像データに被写体としてユーザが含まれているか否かが判別される。

画像データに含まれる人物の顔の位置が特定された場合、帽子及び服の位置が推定できるため、帽子及び服の色合いや模様に関する特徴情報を抽出することができる。このため、抽出された特徴情報と、特徴情報記憶部５０に予め保持されているユーザの特徴情報とを比較することにより、画像データに被写体としてユーザが含まれているか否かを判別することができる。

特徴情報追加部７１は、画像データに被写体としてユーザが含まれていると判別された場合に、この画像データから抽出された服装又は帽子に関するユーザの特徴情報を特徴情報記憶部５０に格納する動作を行っている。具体的には、顔に関するユーザの特徴情報と、画像データから抽出された特徴情報とを比較することにより、画像データに被写体としてユーザが含まれていると判別された場合に、この画像データから抽出された服装又は帽子に関する特徴情報をユーザの特徴情報として特徴情報記憶部５０に格納している。

図１１は、図１０の携帯電話機１００における撮影位置の追加処理の一例を示したフローチャートである。このフローチャートは、ステップＳ３０４〜Ｓ３０６を除き、図８のステップＳ１０１〜Ｓ１０９と同一であるため、重複する説明は省略する。

ステップＳ３０４では、画像データに撮影時刻が対応づけられている場合に、特徴抽出部４９１が、画像データから顔、服装及び帽子に関する特徴情報を抽出する。次に、画像データから抽出された特徴情報と、特徴情報記憶部５０に保持されているユーザの特徴情報との一致度が一致度算出部４９２により算出され、この一致度が所定の閾値より高いか否かの判定が一致度判定部４９３によって行われる（ステップＳ３０５）。このとき、一致度算出部４９２は、顔、服装又は帽子に関する特徴情報をユーザの特徴情報と比較することによって一致度を算出する。例えば、服装又は帽子に関する特徴情報が特徴情報記憶部５０に保持されていない場合には、画像データから抽出された顔に関する特徴情報とユーザの特徴情報とを比較することにより、一致度が算出される。また、画像データから顔に関する特徴情報を抽出できない場合には、画像データから抽出された服装又は帽子に関する特徴情報とユーザの特徴情報とを比較することにより、一致度が算出される。

画像データから抽出された特徴情報と、特徴情報記憶部５０に保持されているユーザの特徴情報との一致度が所定の閾値より高い場合には、特徴情報追加部７１が、画像データから抽出された服装又は帽子に関するユーザの特徴情報を特徴情報記憶部５０に格納する（ステップＳ３０６）。一方、画像データから抽出された特徴情報と、特徴情報記憶部５０に保持されているユーザの特徴情報との一致度が所定の閾値より低い場合には、図８のステップＳ１０９と同様に、他に画像データがあるか否かの判定が行われる（ステップＳ３１０）。

本実施の形態によれば、被写体としてユーザが含まれていると判別された画像データから抽出された服装又は帽子に関する特徴情報が、特徴情報追加部７１により特徴情報記憶部５０に格納される。更に、この特徴情報を用いて一致度判定部４９３により他の画像データに被写体としてユーザが含まれているか否かの判別が行われる。従って、例えば、ユーザの後ろ姿が撮影されている場合など、顔に関する特徴情報の比較ではユーザが撮影されているか否かを正しく判別できない場合に、服装又は帽子に関する特徴情報の比較を行うことにより、ユーザが撮影されているか否かを精度良く判別することができる。

なお、本実施の形態では、特徴情報追加部７１がユーザの服装又は帽子に関する特徴情報を特徴情報記憶部５０内に格納する場合の例について説明したが、本発明はこれに限られるものではない。例えば、ユーザの服装又は帽子に関する特徴情報が、予め特徴情報記憶部５０に保持される構成であってもよい。

実施の形態３．
実施の形態１及び２では、位置情報取得部４６が、一定周期ごとに位置情報を取得する場合の例について説明した。しかしながら、本発明はこれに限られるものではなく、位置情報取得部４６が、メインカメラ１４又はサブカメラ１５により被写体を撮影するためのユーザ操作に基づいて、位置情報を取得する構成であってもよい。例えば、被写体を撮影するためのキー操作が行われたときに、位置情報を取得することが考えられる。

ユーザと他者とがお互いを被写体として撮影することは少なくないので、通常、被写体を撮影するためのユーザ操作が行われるときには、ユーザが他の撮像装置により撮影されることが多い。従って、位置情報取得部４６が、ユーザの撮影操作に基づいて位置情報を取得し、移動履歴情報として移動履歴記憶部４７に格納することにより、ユーザが撮影されている画像データがその後に入力された場合に、この位置情報を対応づけることができる。この場合、高い頻度で位置情報を取得しなくても、位置情報を精度良く対応づけることができるので、消費電力を低減することができる。

また、位置情報取得部４６が、一定周期ごとに位置情報を取得する場合に、被写体を撮影するためのユーザ操作が行われてから所定の期間、より短い周期で位置情報を取得する構成であってもよい。

すなわち、位置情報取得部４６が、第１の周期ごとに位置情報を取得するとともに、被写体を撮影するためのユーザ操作に基づいて、第１の周期よりも短い第２の周期ごとに位置情報を取得する構成であってもよい。

このような構成を採用すれば、被写体を撮影するためのユーザ操作に基づいて、位置情報取得部４６が、位置情報を取得する頻度をより高くしているので、ユーザが他人から撮影される可能性が高いと予想される場合に、高頻度で位置情報を取得することができる。従って、消費電力を低減しつつ、被写体としてユーザが含まれている画像データについて、撮像位置を精度良く判別することができる。

１１ メインディスプレイ
１４ メインカメラ
１５ サブカメラ
２１ 操作キー
４１ セルラー通信部
４２ 近距離無線通信部
４３ ＧＰＳ受信部
４４ 端末制御部
４５ データ入出力部
４６ 位置情報取得部
４７ 移動履歴記憶部
４８ 画像入力部
４９ 被写体判別部
５０ 特徴情報記憶部
５１ 撮影位置判別部
５２ 画像データ記憶部
５３ エリア指定部
５４ 位置比較部
５５ 画像閲覧画面生成部
７１ 特徴情報追加部
１００ 携帯電話機
４９１ 特徴抽出部
４９２ 一致度算出部
４９３ 一致度判定部
５１１ 時刻比較部
５１２ 位置情報選択部

Claims (7)

1. 位置情報を取得する位置情報取得手段と、
   上記位置情報に対し、当該位置情報の取得時刻を対応づけた移動履歴情報を保持する移動履歴記憶手段と、
   ユーザの特徴情報を保持する特徴情報記憶手段と、
   撮影時刻が対応づけられた画像データを入力するための画像入力手段と、
   上記特徴情報に基づいて、上記画像データに被写体として上記ユーザが含まれているか否かを判別する被写体判別手段と、
   上記被写体判別手段の判別結果に基づいて、上記移動履歴記憶手段内の上記位置情報を上記画像データに対応づける撮影位置判別手段とを備え、
   上記撮影位置判別手段は、上記撮影時刻と上記移動履歴記憶手段内の上記取得時刻とを比較することにより、上記位置情報を上記画像データに対応づけることを特徴とする携帯情報端末装置。
2. ユーザ操作に基づいて、被写体を撮影するための撮像手段を備え、
   上記位置情報取得手段は、上記ユーザ操作に基づいて、上記位置情報を取得することを特徴とする請求項１に記載の携帯情報端末装置。
3. 上記位置情報取得手段は、第１の周期ごとに上記位置情報を取得するとともに、被写体を撮影するためのユーザ操作に基づいて、第１の周期よりも短い第２の周期ごとに上記位置情報を取得することを特徴とする請求項２に記載の携帯情報端末装置。
4. 上記撮影位置判別手段は、上記撮影時刻を上記移動履歴記憶手段内の上記取得時刻と比較する時刻比較手段と、上記画像データに被写体として上記ユーザが含まれていると判別された場合に、上記時刻比較手段の比較結果に基づいて、上記画像データの撮影位置として、上記移動履歴記憶手段内の上記位置情報を選択する位置情報選択手段とを有することを特徴とする請求項１に記載の携帯情報端末装置。
5. 上記位置情報選択手段は、上記撮影時刻に最も近い上記取得時刻に対応づけられた上記位置情報を選択することを特徴とする請求項４に記載の携帯情報端末装置。
6. 上記特徴情報記憶手段は、顔画像から抽出された上記ユーザの特徴情報を保持し、
   上記被写体判別手段は、上記顔画像から抽出された特徴情報と上記画像データから抽出された特徴情報とを比較することにより、当該画像データに被写体として上記ユーザが含まれているか否かを判別することを特徴とする請求項１に記載の携帯情報端末装置。
7. 上記撮影位置判別手段により上記位置情報が対応づけられた上記画像データを保持する画像データ記憶手段と、
   ユーザの操作入力に基づいて、エリアを指定するエリア指定手段と、
   上記エリアを上記画像データ記憶手段に保持されている上記画像データの上記位置情報と比較する位置比較手段と、
   上記位置比較手段の比較結果に基づいて、上記画像データを閲覧するための画面データを生成する画像閲覧画面生成手段とを備えたことを特徴とする請求項１に記載の携帯情報端末装置。

Images