JP2006072506A - 写真処理装置 - Google Patents

Abstract

【課題】写真処理装置において、顔画像の自動的なトリミング処理機能と、自動的に設定されたトリミング領域を変更する変更機能とを実現すること。
【解決手段】本発明の写真処理装置は、処理手段は、前記取り込んだ写真画像に所定の大きさ以上の顔画像が含まれている場合に、前記顔画像の領域を自動的に認識する顔画像認識手段と、該顔画像認識手段にて認識した領域を含んだ所定形状のトリミング領域を自動的に設定する領域設定手段と、を備え、該領域設定手段にて設定したトリミング領域に基づいた処理を行う。さらに、前記領域設定手段で設定されたトリミング領域を、タッチパネルユニットによって指定された条件に応じて、拡大、縮小、移動の少なくとも何れかの処理を行う領域修正手段を付加した。
【選択図】 図２

Description

本発明は、人物の顔画像を含んだ写真画像から、前記顔画像を自動的に認識して、当該顔画像に対して自動的にトリミング領域を設定するトリミング技術に関するものである。

スナップ写真等の写真画像から、前記写真画像に含まれている顔画像を自動的に認識して、当該顔画像に対して自動的にトリミング領域を設定するトリミング技術が、例えば特許文献１、２、３に開示されている。

特開平８−６３５９７ 特開平１０−３３４２１３ 特開２００３−９２７２６

特許文献１には、ネガフィルムやポジフィルム等のカラー原画像から、人手を介さず完全に自動で且つ精度よく人間の顔を抽出するために、人の顔の形状に相当する顔候補領域を決定し、顔候補領域内の特徴量から顔領域を決定することにより、カラー原画像から人の顔を抽出する顔抽出方法が開示されている。
特許文献２には、撮影背景、照度に影響されることなく、人物像を含むカラー画像データから対象の人物像の顔画像を自動認識し、顔画像のサイズに応じた領域を切り出すために、人物像を含むカラー画像を取得する画像取得ＣＰＵと、取得されたカラー画像などを画面表示するカラー液晶表示部と、前記カラー画像から人物像の顔画像を認識するため複数の顔認識色データを予め記憶した顔認識色メモリと、顔画像認識処理を指示する認識指示部と、前記画像認識処理の指示を受け、前記カラー画像の全領域の色データと前記顔認識色データを比較しいずれかの顔認識色データに一致する色データの領域を顔画像として認識する顔画像認識ＣＰＵと、認識された顔画像の切出領域を指示する領域指示部と、切出領域の指示を受け、顔画像のサイズに応じた領域の枠を作成する枠作成ＣＰＵと、前記枠に囲まれる領域の顔画像を切り出す顔画像切出ＣＰＵとから構成された画像処理装置およびパソコン用のプログラムが開示されている。
特許文献３には、顔画像を認識、判別することで自動的にサイズと傾きを補正した顔画像を切り出し、別の画像ファイルとして保存することを可能とするために、被写体の画像を１枚分記憶する画像メモリと、そのメモリから所定の単位で他のメモリあるいはレジスタに取り込む画像取り込み部と、全体の制御を司る制御部と、複数の顔の特徴を格納する顔特徴記憶部と、画像取り込み部からのデータと顔特徴記憶部からのデータから顔を認識して各部分を判別する認識・判別部と、その結果データから所定の顔画像を切り出す顔画像切り出し部と、最終的な判断結果を外部に出力する出力部から構成された撮像装置（デジタルカメラ）が開示されている。

以上において示した特許文献に記載されているように、パソコンやデジタルカメラにおいては、顔画像の自動的なトリミングは可能となっているが、写真処理装置では実現されていないとともに、自動的に設定されたトリミング領域を変更する機能が実現されていないので、一般的なデジタルカメラで撮影した媒体や、写真プリントを、ラボの店頭の受付装置から読み込ませた場合等において、顔画像の自動的なトリミングができないという問題と、自動的なトリミングが可能となったとしても、顔画像だけでなく顔画像以外の画像まで取り込んだトリミングを行うことができないという問題があった。

そこで、本発明は、写真処理装置において、顔画像を含んだ写真画像に対する自動的なトリミング処理機能と、自動的に設定されたトリミング領域を変更する変更機能とを実現することを目的としてなされたものである。

本発明にかかる請求項１の写真処理装置は、
入力媒体から写真画像を取り込む取り込み手段と、該取り込み手段で取り込んだ写真画像を処理する処理手段と、該処理手段で処理した写真画像を出力する出力手段とを備えた写真処理装置において、
前記処理手段は、
前記取り込んだ写真画像に所定の大きさ以上の顔画像が含まれている場合に、前記顔画像の領域を自動的に認識する顔画像認識手段と、
該顔画像認識手段にて認識した領域を含んだ所定形状のトリミング領域を自動的に設定する領域設定手段と、を備え、
該領域設定手段にて設定したトリミング領域に基づいた処理を行うように構成されていることを特徴としている。
請求項２では、
前記顔画像認識手段は、前記取り込んだ写真画像に所定の大きさ以上の顔画像が複数含まれている場合に、前記複数の顔画像の領域をそれぞれ自動的に認識し、
前記領域設定手段は、前記顔画像認識手段にて認識した複数の顔画像の領域を全て含んだ所定形状のトリミング領域を自動的に設定することを特徴としている。
請求項３では、
前記領域設定手段で設定されたトリミング領域を、指定された条件に応じて、拡大、縮小、移動の少なくとも何れかの処理を行う領域修正手段を付加したことを特徴としている。
請求項４では、
前記領域修正手段は、前記領域設定手段で設定されたトリミング領域を、複数の顔画像の内の指定された顔画像のみを含んだ領域、もしくは複数の顔画像の内の指定された顔画像を含まない領域に修正すること特徴としている。
請求項５では、
前記領域修正手段は、ディスプレイ装置の画面に配設されたタッチパネルユニットによって指定された条件に応じてトリミング領域の修正処理を行うように構成されていることを特徴としている。

本発明によれば、写真画像に所定の大きさ以上の顔画像が含まれている場合に、前記顔画像の領域を自動的に認識するので、トリミング作業が容易である。
また、顔画像認識手段は、前記取り込んだ写真画像に所定の大きさ以上の顔画像が複数含まれている場合に、前記複数の顔画像の領域をそれぞれ自動的に認識し、領域設定手段は、前記顔画像認識手段にて認識した複数の顔画像の領域を全て含んだ所定形状のトリミング領域を自動的に設定するので、複数の人物が写っている場合もトリミング作業が容易である。
また、前記領域設定手段で設定されたトリミング領域を、指定された条件に応じて、拡大、縮小、移動の少なくとも何れかの処理を行うことができるので、さらに、効果的なトリミング作業をすることができる。
また、前記領域修正手段は、前記領域設定手段で設定されたトリミング領域を、複数の顔画像の内の指定された顔画像のみを含んだ領域、もしくは複数の顔画像の内の指定された顔画像を含まない領域に修正することができるので、意図した通りのトリミング作業が容易に行える。
また、ディスプレイ装置の画面に配設されたタッチパネルユニットによって修正内容を指定するので、トリミング領域の修正作業が容易である。

以下、本発明の実施の形態を図面に基づいて説明する。
図１にブロック図を示したプリントシステムにおいて、
１はデジタル画像受付装置（以下、受付装置と略称する）であり、主に、一般の客が自分で持ち込んだ種々の形式の記録メディア（入力媒体）から写真画像情報を読み取るとともに、記録メディアの種類に応じては写真画像情報を書き込むことのできる読取装置ＲＷと、前記客が自分で操作することのできるタッチパネル式の液晶ディスプレイ装置２と、レシート発行装置３と、制御装置４とを備えている。
前記制御装置４は、前記各装置を系統的に制御するとともにネットワークを介して写真画像情報と注文情報を出力する機能を備えている。
５はデジタル型の写真プリント装置であり、印画紙５に画像情報のプリント（いわゆるプリント画像の形成）を行う。前記受付装置１は、１台もしくは複数台がネットワークを介して写真プリント装置３と接続されてプリントシステムを構成している。
前記受付装置１にはスキャナが接続されている場合もある。

以下に受付装置１の構成を説明する。受付装置１の筐体１０の上面には表示面にタッチパネルを備えた液晶ディスプレイ装置２を備え、筐体１０の上面で液晶ディスプレイ装置２の前面には前記読取装置ＲＷが設けられている。
前記読取装置ＲＷには、マルチメディアカード、メモリスティック、スマートメディア、コンパクトフラッシュ（登録商標）、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−Ｒ、ＭＯ、ＺＩＰ等の種々の記録メディアを読み書きするためのドライブユニットが配置されており、また、ＵＳＢ接続ポートや赤外線通信装置等も備えている。
さらに、筐体１０の前面側には受付証を発行するレシート発行装置３を備えている。

前記受付装置１のブロック構成を図２を参照して説明する。
図２において、
タッチパネル式の液晶ディスプレイ装置２は、液晶ユニット２１と、この液晶ユニット２１の画面に重ねて形成されたタッチパネルユニット２２とから構成されている。前記タッチパネルユニット２２の表面を人の指等でタッチすると、タッチした状態と、タッチした位置情報とからなるタッチ情報を出力するように構成されている。

制御部４は、前記タッチパネルユニット２２から入力されるタッチ情報を認識して指示情報に変換するタッチパネル認識部４１と、前記読取装置ＲＷから入力される写真画像情報を処理して顔画像を自動的に認識する顔画像認識部４２と、顔画像を含んだ矩形のトリミング領域を自動的に設定する領域設定部４３と、前記タッチパネル認識部４１から出力される指示情報に基づいて前記トリミング領域を修正する領域修正部４４と、修正されたトリミング領域を示す枠画像を生成して、入力された写真画像情報と重ねて表示する画像生成部４５と、を備えている。
この制御部４は、一般的には、ＣＰＵと、半導体メモリと、ハードディスク装置、入出力インターフェースとから構成されており、前記タッチパネル認識部４１、顔画像認識部４２、領域設定部４３、領域修正部４４、画像生成部４５は、専用プログラムに従って動作する前記ＣＰＵによって実現されている。
なお、前記読取装置ＲＷは特許請求の範囲の取り込み手段に相当し、前記制御部は特許請求の範囲の処理手段と出力手段に相当し、前記顔画像認識部４２は特許請求の範囲の顔画像認識手段に相当し、前記領域設定部４３は特許請求の範囲の領域設定手段に相当し、前記領域修正部４４は特許請求の範囲の領域修正手段に相当し、前記画像生成部４５は特許請求の範囲の出力手段に相当している。

上記構成において、前記タッチ情報は、前記制御装置４に入力されて、タッチパネル認識部４１において指示情報に変換される。即ち、タッチパネル認識部４１においては、前記タッチ情報を、前記液晶ユニット２１に表示されている表示情報と関連付けて解釈し、例えば、「Ｙｅｓ」指示、「Ｎｏ」指示、位置指定、範囲指定等の制御装置４に対する指示情報に変換する。

一方、前記読取装置ＲＷにセットされた記録メディアに記録されている写真画像情報は、前記制御装置４に入力されて、顔画像認識部４２において所定の大きさ以上の大きさの顔の領域が自動的に判断される。領域設定部４３においては、前記顔の領域を含んだ所定縦横比の矩形領域が自動的に設定される。この矩形領域は、所定の縦横比に設定されているとともに、前記顔の領域に対して所定の寸法比に設定されている。例えば、矩形領域の縦の長さと、顔の領域の縦の長さの比が、２：１等に設定されている。勿論、前記縦横比も前記寸法比も自由に設定することができる。

前記領域修正部４４は、前記領域設定部４３において自動的に設定された矩形領域を、前記タッチパネル認識部４１から出力される指示情報に基づいて、拡大、縮小、もしくは移動する。

前記制御装置４のＣＰＵには、図３に示すフローチャートのように動作するプログラムが組み込まれている。
図３において、
ステップＳ１では、前記液晶ディスプレイ装置の画面に「記録メディアを装着して下さい」等の表示を出力して、顧客に記録メディアの装着を促すとともに、記録メディアが装着されたか否かを監視し、記録メディアが確実に装着された場合には、ステップＳ２へ進む。 ステップＳ２では、前記記録メディアに記録されている写真画像情報を読み込んでサムネイル表示する。
ステップＳ３では、修正するか、そのままプリントするか、タッチパネルで指示する。修正の必要が無い場合には、「ＯＫ」の部分をタッチしステップＳ５へ進む。修正する場合には、修正するコマと、「トリミング機能」、「画像調整」、「シャープネス調整」、「回転機能」、色調変換」等の処理を選択する。
「画像調整」、「シャープネス調整」、「回転機能」、色調変換」等の処理を選択すると、ステップＳ４でそれらの修正処理を行い、ステップＳ５へ進む。

「トリミング機能」を選択するとステップＳ６へ進む。
ステップＳ６では、顔画像を自動的に認識して、トリミング領域を自動的に設定して、画面に表示する。
ステップＳ７では、「ＯＫ」をタッチすると、ステップＳ５へ進み、「修正」をタッチするとステップＳ８へ進む。
ステップＳ８では、タッチパネルにタッチして、トリミング領域を拡大、縮小、もしくは移動させる。
ステップＳ９では、画面に表示されたトリミング領域に満足なら「ＯＫ」をタッチしてステップＳ１０へ進み、不満足ならステップＳ８に戻ってさらに修正する。
ステップＳ１０では、設定されたトリミング領域の画像データを切り出して拡大表示し、ステップＳ１１では、表示されたトリミング領域に満足なら「ＯＫ」をタッチしてステップＳ５へ進み、不満足ならステップＳ８に戻ってさらに修正する。
ステップＳ５では、修正を継続するか否かを指示し、継続する場合にはステップＳ３へ戻りサムネイル表示し、継続しない場合には終了して、ステップＳ１１では、レシート発行装置からは受け付けた内容を記録したレシートが発行される。

以上の受付装置１を用いて、顧客は、デジタルカメラ等で撮影された画像情報を保存した種々の種類の形式の記録メディアを自分で装着するとともに、タッチパネル式のディスプレイ装置２の画面を見ながら適宜操作して、プリント出力の注文対象となる画像情報を指定するともに、このプリント出力に関するプリント枚数等の注文情報を入力する。
そして、顧客は、受付装置１のレシート発行装置３から発行される受付証を、ＤＰ店のカウンターで担当者に提示することにより、その担当者が受付証に記録された受付情報に基づき、写真プリント装置５からの操作で受付装置１に格納されている該当する画像情報とトリミング情報を含む注文情報からなるプリント情報をネットワークを介して取込み、このプリント情報に基づいて、写真プリント装置５でプリントを行い、顧客に仕上がりプリントＰを手渡して、料金の清算を行う。

次に、前記顔画像認識部４２、領域設定部４３、領域修正部４４、画像生成部４５の動作例を、図４を参照して説明する。
図４において、例えば、一般の顧客が自分で持ち込んでセットした記録メディアから読み込まれた写真画像情報の内、前記顧客が自分で選択した１コマをＤ１で示し、複数の顔画像をＦ１，Ｆ２，Ｆ３で示し、顔画像以外の特定の画像をＧで示した。
先ず、顔画像認識部４２においては、複数の顔画像Ｆ１，Ｆ２，Ｆ３を自動的に認識し、領域設定部４３においては、前記複数の顔画像Ｆ１，Ｆ２，Ｆ３を含み、これらの顔画像の横幅が、例えば全体の横幅の80％になり、且つ、縦横比が例えば２：３となるような矩形領域Ｗ１を自動的に設定する。
初期状態においては、指示情報は入力されないので領域修正部４４においては前記矩形領域Ｗ１は修正されずに、前記画像生成部４５に入力され、この画像生成部４５においては、前記矩形領域Ｗ１に相当する枠画像が生成されるとともに、元の写真画像情報Ｄ１と重ねられて出力され、前記液晶ディスプレイ装置２の表示面に表示される。

ここで、例えば前記顧客が顔画像Ｆ３は除いてトリミングしたい場合には、前記顔画像Ｆ３の部分をタッチして、前記タッチパネルユニットに排除したい領域の位置情報を指定する。
すると、領域修正部４４は、前記複数の顔画像Ｆ１，Ｆ２だけを含んで顔画像Ｆ３を含まない領域であって、且つこれらの顔画像Ｆ１，Ｆ２の横幅が、例えば全体の横幅の80％になり、且つ、縦横比が例えば２：３となるような新たな矩形領域Ｗ２を自動的に設定する。従って、表示面には前の矩形領域Ｗ１が消えて新たな矩形領域Ｗ２が元の写真画像情報と共に表示される。

ここで、例えば前記顧客が、さらに、特定画像Ｇを含んだ領域をトリミングしたい場合には、前記特定画像Ｇの部分をタッチして、前記タッチパネルユニットに含みたい特定画像がある領域の位置情報を指定する。
すると、領域修正部４４は、前記複数の顔画像Ｆ１，Ｆ２と、前記特定画像とを含み、顔画像Ｆ３を含まない領域であって、且つこの領域の横幅が、例えば全体の横幅の80％になり、且つ、縦横比が例えば２：３となるような新たな矩形領域Ｗ３を自動的に設定する。従って、表示面には前の矩形領域Ｗ２が消えて新たな矩形領域Ｗ３が元の写真画像情報と共に表示される。

さらにまた、前記矩形領域Ｗ３を全体的に少しずらしたい場合には、枠画像の縦辺もしくは横辺の一部にタッチした状態でタッチパネル上で指をずらすと、指をずらした分だけ枠画像が移動して新たな矩形領域Ｗ４が表示される。（図５参照。）

また、前記矩形領域Ｗ３を全体的に少し拡大もしくは縮小したい場合には、枠画像の角の部分にタッチした状態でタッチパネル上で指をずらすと、指をずらした方向に、ずらした分だけ枠画像が拡大もしくは縮小されて新たな矩形領域Ｗ５が表示される。（図５参照。）この場合も、矩形領域の縦横比は保持されるものとする。

このようにして、矩形領域で示されるトリミング領域は、タッチパネルにタッチすることによって、拡大、縮小、もしくは移動することができるので、自動的に設定されたトリミング領域に満足できない場合には、自由に変更修正することができる。
なお、矩形領域の横幅もしくは縦幅と含まれる顔画像の縦幅もしくは横幅との比率や、矩形領域の縦横比等は、上述した比率に固定されるものではなく、自由に設定することも可能である。
最終的に、表示されているトリミング領域に満足する場合には、表示されている「ＯＫ」もしくは「Ｙｅｓ」の部分をタッチすると、トリミング作業が終了し、例えば次のコマの写真画像に対する修正処理、もしくはトリミング処理等を行う。
最終的には、以上のようにして指定したトリミング条件に基づいたプリントが前記写真プリント装置５から得られる。

以上のように、この受付装置１によれば、写真画像情報に含まれる顔画像を含んだ矩形領域がトリミング領域として自動的に設定されるので、トリミング作業に要する時間を節約することができる。このとき、顔の傾きや大きさを自動的に認識して、矩形領域を自動的に回転させたり、拡大／縮小させることもできる。
また、自動的に設定されたトリミング領域を、タッチパネルをタッチするだけで簡単に修正することができる。

なお、トリミング領域の修正を支持する手段としては、タッチパネルユニットに限定されるものではなく、マウスや、タッチペンや、キーボードや、タブレット等の種々の情報入力手段を利用することができることはいうまでもない。

本発明のトリミング領域を修正する機能は、写真処理用の受付装置に限らず、顔画像の含まれた写真画像を取り扱う処理装置に対して広く応用することができる。

本発明にかかる写真処理装置の実施の形態の構成を示した構成図である。 前記写真処理装置の要部のブロック図である。 前記写真処理装置の要部の処理手順を説明するフローチャートである。 前記写真処理装置におけるトリミング処理の一例を説明する説明図である。 前記写真処理装置におけるトリミング処理の他例を説明する説明図である。

符号の説明

１ 受付装置、写真処理装置
２ タッチパネル式の液晶ディスプレイ装置
２１ 液晶ユニット
２２ タッチパネルユニット
４ 制御部
４１ タッチパネル認識部
４２ 顔画像認識部、顔画像認識手段
４３ 領域設定部、領域設定手段
４４ 領域修正部、領域修正手段
４５ 画像生成部
ＲＷ 読取手段、取り込み手段

Claims (5)

1. 入力媒体から写真画像を取り込む取り込み手段と、該取り込み手段で取り込んだ写真画像を処理する処理手段と、該処理手段で処理した写真画像を出力する出力手段とを備えた写真処理装置において、
   前記処理手段は、
   前記取り込んだ写真画像に所定の大きさ以上の顔画像が含まれている場合に、前記顔画像の領域を自動的に認識する顔画像認識手段と、
   該顔画像認識手段にて認識した領域を含んだ所定形状のトリミング領域を自動的に設定する領域設定手段と、を備え、
   該領域設定手段にて設定したトリミング領域に基づいた処理を行うように構成されていることを特徴とする写真処理装置。
   
2. 前記顔画像認識手段は、前記取り込んだ写真画像に所定の大きさ以上の顔画像が複数含まれている場合に、前記複数の顔画像の領域をそれぞれ自動的に認識し、
   前記領域設定手段は、前記顔画像認識手段にて認識した複数の顔画像の領域を全て含んだ所定形状のトリミング領域を自動的に設定することを特徴とする請求項１に記載の写真処理装置。
   
3. 前記領域設定手段で設定されたトリミング領域を、指定された条件に応じて、拡大、縮小、移動の少なくとも何れかの処理を行う領域修正手段を付加したことを特徴とする請求項１または２の何れか１項に記載の写真処理装置。
   
4. 前記領域修正手段は、前記領域設定手段で設定されたトリミング領域を、複数の顔画像の内の指定された顔画像のみを含んだ領域、もしくは複数の顔画像の内の指定された顔画像を含まない領域に修正すること請求項３に記載の写真処理装置。
   
5. 前記領域修正手段は、ディスプレイ装置の画面に配設されたタッチパネルユニットによって指定された条件に応じてトリミング領域の修正処理を行うように構成されていることを請求項３または４の何れか１項に記載の写真処理装置。

Images