Nothing Special   »   [go: up one dir, main page]

JP2019504514A - 写真合成方法、装置、プログラム、及び記録媒体 - Google Patents

写真合成方法、装置、プログラム、及び記録媒体 Download PDF

Info

Publication number
JP2019504514A
JP2019504514A JP2017511210A JP2017511210A JP2019504514A JP 2019504514 A JP2019504514 A JP 2019504514A JP 2017511210 A JP2017511210 A JP 2017511210A JP 2017511210 A JP2017511210 A JP 2017511210A JP 2019504514 A JP2019504514 A JP 2019504514A
Authority
JP
Japan
Prior art keywords
photo
human face
scoring value
facial expression
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017511210A
Other languages
English (en)
Other versions
JP6622289B2 (ja
Inventor
慧 杜
慧 杜
海坡 ▲張▼
海坡 ▲張▼
宏▲銘▼ 李
宏▲銘▼ 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Publication of JP2019504514A publication Critical patent/JP2019504514A/ja
Application granted granted Critical
Publication of JP6622289B2 publication Critical patent/JP6622289B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本発明は、写真合成方法、装置、プログラム、及び記録媒体に関する。当該方法は、合成写真を生成する命令を受信した後、写真を収集するように画像収集手段を起動するステップと、現在写真を収集する場合、現在写真における、現在写真の前に収集された写真によって算出された各表情採点値が予め設定されたスコア閾値以下である人間の顔を示すための第１種類の人間の顔の表情採点値を算出するステップと、現在写真における各第１種類の人間の顔の表情採点値が予め設定されたスコア閾値より大きいか否かを特定するステップと、現在写真における各第１種類の人間の顔の表情採点値が予め設定されたスコア閾値より大きい場合、写真の収集を停止するように画像収集手段を制御し、前記収集された写真における第２種類の人間の顔に対してスティッチング方式によって合成写真を生成するステップと、を含む。本発明の技術案は、生成効果の高い合成写真を確保できることをもとに、生成された写真の枚数を効果的に減少させ、これによって、合成写真を生成する時間を効果的に短くさせ、合成写真の消費電力を低減させることができる。
【選択図】図１

Description

本発明は、スマート撮影技術分野に関し、特に、写真合成方法及び装置に関する。
撮影技術の発展とともに、ますます多くのユーザが集合写真によって自分の日常的な旅行や友人との集まりのシーンを記録するのが好きであるが、全ての人の顔の表情効果がよい集合写真を撮るのは非常に難しい。関連技術において、撮影デバイスが集合写真を撮って最適な顔の表情を選択することで集合写真を撮る過程において生成された各写真における人間の顔に対して採点し、写真全体における各人の効果が最もよい人間の顔を抽出して合成する。関連技術において、合成写真を生成する場合、合成する必要がある写真が多いので、撮影デバイスの消費電力及び合成写真を生成する時間を増加させる。
関連技術における問題を克服し、合成写真を生成する消費電力が大きく、時間が長いという問題を解決するために、本発明は、写真合成方法及び装置を提供する。
本発明の第１の態様によれば、写真合成方法が提供され、前記方法は、
合成写真を生成する命令を受信した後、写真を収集するように画像収集手段を起動するステップと、
現在写真を収集する場合、前記現在写真における、前記現在写真の前に収集された写真によって算出された各表情採点値が予め設定されたスコア閾値以下である人間の顔を示すための第１種類の人間の顔の表情採点値を算出するステップと、
前記現在写真における各第１種類の人間の顔の表情採点値が前記予め設定されたスコア閾値より大きいか否かを特定するステップと、
前記現在写真における各第１種類の人間の顔の表情採点値が前記予め設定されたスコア閾値より大きい場合、写真の収集を停止するように前記画像収集手段を制御し、前記収集された写真における、表情採点値が予め設定されたスコア閾値より大きい人間の顔を示すための第２種類の人間の顔に対してスティッチング方式によって合成写真を生成するステップと、
を含む。
一実施例では、前記方法は、
前記現在写真における各第１種類の人間の顔の表情採点値のうちの少なくとも一つが前記予め設定されたスコア閾値以下である場合、収集された写真の枚数が予め設定された枚数より小さいか否かを特定するステップと、
収集された写真の枚数が予め設定された枚数より小さい場合、前記現在写真における第１種類の人間の顔の表情採点値に基づいて、後に収集される一枚の写真における表情採点値を計算しようとする第１種類の人間の顔を特定し、前記写真を収集するように画像収集手段を起動する操作を実行するステップと、
をさらに含む。
一実施例では、前記方法は、
収集された写真の枚数が予め設定された枚数以上である場合、前記収集された写真から前記合成写真を生成するための人間の顔を特定し、スティッチング方式によって合成写真を生成するステップをさらに含む。
一実施例では、前記方法は、
前記収集された写真から前記合成写真を生成するための人間の顔を特定することは、
前記収集された写真から第２種類の人間の顔及び第１種類の人間の顔における表情採点値が最も高い人間の顔を前記合成写真を生成するための人間の顔として選択することを含む。
一実施例では、前記方法は、
前記現在写真における、第１種類の人間の顔の表情採点値を算出するステップは、
前記現在写真から各第１種類の人間の顔を認識するステップと、
前記各第１種類の人間の顔が対応する部分特徴に対応する部分採点値を算出するステップと、
前記各第１種類の人間の顔の各部分採点値を重み付け加算し、前記各第１種類の人間の顔の表情採点値を得るステップと、
を含む。
本発明の第２の態様によれば、写真合成装置が提供され、前記装置は、
合成写真を生成する命令を受信した後、写真を収集するように画像収集手段を起動するよう構成された収集モジュールと、
現在写真を収集する場合、前記現在写真における、前記現在写真の前に収集された写真によって算出された各表情採点値が予め設定されたスコア閾値以下である人間の顔を示すための第１種類の人間の顔の表情採点値を算出するように構成された算出モジュールと、
前記現在写真における、前記算出モジュールにより算出された前記各第１種類の人間の顔の表情採点値が前記予め設定されたスコア閾値より大きいか否かを特定するように構成された第１特定モジュールと、
前記第１特定モジュールにより前記現在写真における各第１種類の人間の顔の表情採点値が前記予め設定されたスコア閾値より大きいと特定された場合、写真の収集を停止するように前記画像収集手段を制御し、前記収集された写真における、表情採点値が予め設定されたスコア閾値より大きい人間の顔を示すための第２種類の人間の顔に対してスティッチング方式によって合成写真を生成するように構成された生成モジュールと、
を含む。
一実施例では、前記装置は、
前記第１特定モジュールにより前記現在写真における各第１種類の人間の顔の表情採点値のうちの少なくとも一つが前記予め設定されたスコア閾値以下であると特定された場合、収集された写真の枚数が予め設定された枚数より小さいか否かを特定するように構成された第２特定モジュールと、
前記第２特定モジュールにより前記収集された写真の枚数が予め設定された枚数より小さいと特定された場合、前記現在写真における第１種類の人間の顔の表情採点値に基づいて、後に収集される一枚の写真における表情採点値を計算しようとする第１種類の人間の顔を特定し、前記写真を収集するように画像収集手段を起動する操作を実行するよう構成された実行モジュールと、
をさらに含む。
一実施例では、前記装置は、
前記第２特定モジュールにより前記収集された写真の枚数が予め設定された枚数以上であると特定された場合、前記収集された写真から前記合成写真を生成するための人間の顔を特定し、スティッチング方式によって合成写真を生成するように構成された第３特定モジュールと、をさらに含む。
一実施例では、前記第３特定モジュールは、
前記収集された写真から第２種類の人間の顔及び第１種類の人間の顔における表情採点値が最も高い人間の顔を前記合成写真を生成するための人間の顔として選択するように構成された選択サブモジュールを含む。
一実施例では、算出モジュールは、
前記現在写真から各第１種類の人間の顔を認識するように構成された識別サブモジュールと、
前記各第１種類の人間の顔が対応する部分特徴に対応する部分採点値を算出するように構成された算出サブモジュールと、
前記各第１種類の人間の顔の各部分採点値を重み付け加算し、前記各第１種類の人間の顔の表情採点値を得るように構成された重み付けサブモジュールと、
を含む。
本発明の第３の態様によれば、圧力検出装置が提供され、前記装置は、
プロセッサーと、
前記プロセッサーによって実行可能な命令を記憶するメモリと、を備え、
前記プロセッサーは、
合成写真を生成する命令を受信した後、写真を収集するように画像収集手段を起動し、
現在写真を収集する場合、前記現在写真における、前記現在写真の前に収集された写真によって算出された各表情採点値が予め設定されたスコア閾値以下である人間の顔を示すための第１種類の人間の顔の表情採点値を算出し、
前記現在写真における各第１種類の人間の顔の表情採点値が前記予め設定されたスコア閾値より大きいか否かを特定し、
前記現在写真における各第１種類の人間の顔の表情採点値が前記予め設定されたスコア閾値より大きい場合、写真の収集を停止するように前記画像収集手段を制御し、前記収集された写真における、表情採点値が予め設定されたスコア閾値より大きい人間の顔を示すための第２種類の人間の顔に対してスティッチング方式によって合成写真を生成するように構成される。
本発明が提供する技術案によれば、下記のような有益な効果が奏される。
合成写真を生成する命令を受信した後、写真を収集するように画像収集手段を起動し、毎回一枚の写真を収集した際に、現在写真における第１種類の人間の顔の表情採点値を算出し、現在写真における各第１種類の人間の顔の表情採点値が予め設定されたスコア閾値より大きいか否かを特定し、現在写真における各第１種類の人間の顔の表情採点値が予め設定されたスコア閾値より大きい場合、写真の収集を停止するように画像収集手段を制御し、収集された写真における第２種類の人間の顔に対してスティッチング方式によって合成写真を生成し、本発明では、一枚の写真を生成した毎に、前に各生成された写真における人間の顔の表情採点値全体が相対的に低い人間の顔の表情採点値のみを算出することができ、これによって、効果が高い合成写真を生成することを確保できることをもとに、生成された写真の枚数を効果的に減少させ、しかも、写真における人間の顔の表情値の計算量を低減させ、これによって、合成写真を生成する時間を効果的に短くさせ、合成写真の消費電力を低減させることができる。
生成された写真の枚数を制限することによって、合成写真の品質を確保する場合、合成写真を生成する写真の枚数を効果的に減少することができる。
目の採点値、口の採点値、顔の向きの採点値などのような各人間の顔の部分採点値を算出した後、それらの重みに応じて重み付け加算し表情採点値を得ることで、人間の顔の表情を多面的に特定することを実現し、人間の顔の表情に対してより全面的な採点を提供する。
なお、前記一般的な記載及び後述の詳細な記載は、単なる例示的で解釈的な記載であり、本発明を限定するものではないことを理解すべきである。
以下の図面は、明細書に組み入れて本明細書の一部分を構成し、本発明に該当する実施例を例示するとともに、明細書とともに本発明の原理を解釈する。
一例示的な実施例に係る写真合成方法を示すフローチャートである。 一例示的な実施例１に係る写真合成方法を示すフローチャートである。 一例示的な実施例２に係る人間の顔の表情採点値を算出する方法を示すフローチャートである。 一例示的な実施例に係る写真合成装置を示すブロック図である。 一例示的な実施例に係る別の写真合成装置を示すブロック図である。 一例示的な実施例に係るもう1つの写真合成装置を示すブロック図である。 一例示的な実施例に係る写真合成に用いられる装置を示すブロック図である。
以下、例示的な実施例を詳しく説明し、その例示を図面に示す。以下の記載が図面に関わる場合、特に別の説明がない限り、異なる図面における同一符号は、同じ又は類似する要素を示す。以下の例示的な実施形態に記載の実施例は、本発明と一致する全ての実施例を代表するものではない。それらは、特許請求の範囲に記載の本発明のある側面に一致する装置及び方法の例に過ぎない。
図１は一例示的な実施例に係る写真合成方法を示すフローチャートである。当該写真合成方法は、カメラ、又は、撮像装置を備える電子機器（例えば、携帯電話、タブレットＰＣ）に用いられることができる。図１に示すように、当該写真合成方法は、以下のステップを含む。
ステップＳ１０１において、合成写真を生成する命令を受信した後、写真を収集するように画像収集手段を起動する。
一実施例では、タッチパネルまたは物理的なボタンで写真を合成する命令を生成する。
一実施例では、画像収集手段により収集される写真の枚数が予め設定された枚数（例えば、４枚）を超えられない。収集される写真の枚数は、最初に収集された写真における人間の顔の表情採点値によって決定し、たとえば、一枚目の写真における各人間の顔の表情採点値が予め設定されたスコア閾値より大きい場合、写真を一枚だけ収集することができる。
一実施例では、予め設定された枚数は、ユーザにより設定されてもよいし、撮像装置のプロバイダにより予め設定されてメモリに記憶されてもよい。
ステップＳ１０２において、現在写真を収集する場合、現在写真における第１種類の人間の顔の表情採点値を算出する。
一実施例では、第１種類の人間の顔は、現在写真の前に収集された写真によって算出された各表情採点値が予め設定されたスコア閾値以下である人間の顔を示すために用いられる。たとえば、写真において、人間の顔Ａ、人間の顔Ｂ、人間の顔Ｃおよび人間の顔Ｄという四つの人間の顔を含む場合、一枚目の写真を収集するときに、人間の顔Ａ、人間の顔Ｂ、人間の顔Ｃおよび人間の顔Ｄをいずれも第１種類の人間の顔とし、各人間の顔の表情採点値を算出する必要がある。一枚目の写真において、人間の顔Ａ、人間の顔Ｂおよび人間の顔Ｃの表情採点値全体が予め設定されたスコア閾値より大きい場合に、二枚目の写真に対して、第１種類の人間の顔が人間の顔Ｄを含み、二枚目の写真を生成するときに、人間の顔Ｄの表情採点値のみを算出することができる。
一実施例では、各人間の顔の表情採点値は、目、口、顔の向き、顔画像の品質などで評価されることができる。
一実施例では、一枚の写真を生成した毎に予め設定された画像処理アルゴリズムによって人間の顔の表情採点値を算出することができる。
一実施例では、人間の顔の表情採点値を算出する過程は、図３に示す実施例を参照し、ここで説明しない。
ステップＳ１０３において、現在写真における各第１種類の人間の顔の表情採点値が予め設定されたスコア閾値より大きいか否かを特定し、現在写真における各第１種類の人間の顔の表情採点値が予め設定されたスコア閾値より大きい場合、ステップ１０４を実行する。
一実施例では、予め設定されたスコア閾値は、例えば８０点のような合理的なスコアであることができ、予め設定されたスコア閾値に達する表情効果がよりよく、合成写真を生成するために用いられることができる。
ステップＳ１０４において、写真の収集を停止するように画像収集手段を制御し、収集された写真における第２種類の人間の顔に対してスティッチング方式によって合成写真を生成する。
一実施例では、第２種類の人間の顔は表情採点値が予め設定されたスコア閾値より大きい人間の顔を示すために用いられる。
一実施例では、収集された写真における、表情採点値が予め設定されたスコア閾値より大きい人間の顔に対してスティッチング方式によって合成写真を生成することができる。
本実施例では、合成写真を生成する命令を受信した後、写真を収集するように画像収集手段を起動し、毎回一枚の写真を収集した後に、現在写真における第１種類の人間の顔の表情採点値を算出し、現在写真における各第１種類の人間の顔の表情採点値が予め設定されたスコア閾値より大きいか否かを特定し、現在写真における各第１種類の人間の顔の表情採点値が予め設定されたスコア閾値より大きい場合、写真の収集を停止するように画像収集手段を制御し、収集された写真に対してスティッチング方式によって合成写真を生成し、本発明では、一枚の写真を生成した毎に、前に生成された写真における人間の顔の表情採点値全体が相対的に低い人間の顔の表情採点値のみを算出することができ、これによって、効果が高い合成写真を生成することを確保できることをもとに、生成された写真の枚数を効果的に減少させ、しかも、写真における人間の顔の表情値の計算量を低減させ、これによって、合成写真を生成する時間を効果的に短くさせ、合成写真の消費電力を低減させることができる。
一実施例では、写真合成方法は、
現在写真における各第１種類の人間の顔の表情採点値のうちの少なくとも一つが予め設定されたスコア閾値以下である場合、収集された写真の枚数が予め設定された枚数より小さいか否かを特定するステップと、収集された写真の枚数が予め設定された枚数より小さい場合、現在写真における第１種類の人間の顔の表情採点値に基づいて、後に収集される一枚の写真における表情採点値を計算しようとする第１種類の人間の顔を特定し、写真を収集するように画像収集手段を起動する操作を実行するステップと、をさらに含む。
一実施例では、写真合成方法は、
収集された写真の枚数が予め設定された枚数以上である場合、収集された写真から合成写真を生成するための人間の顔を特定し、スティッチング方式によって合成写真を生成するステップをさらに含む。
一実施例では、収集された写真から合成写真を生成するための人間の顔を特定することは、
収集された写真から第２種類の人間の顔及び第１種類の人間の顔における表情採点値が最も高い人間の顔を選択して合成写真を生成するための人間の顔とすることを含む。
一実施例では、現在写真における、第１種類の人間の顔の表情採点値を算出するステップは、
現在写真から各第１種類の人間の顔を認識するステップと、各第１種類の人間の顔が対応する部分特徴に対応する部分採点値を算出するステップと、各第１種類の人間の顔の各部分採点値を重み付け加算し、各第１種類の人間の顔の表情採点値を得るステップと、を含む。
合成写真を生成する具体的な過程は、下記の実施例を参照する。
以下、具体的な実施例を例として本発明により提供された技術案を説明する。
図２は、一例示的な実施例１に係る写真合成方法を示すフローチャートである。本実施例は、本発明実施例により提供された上述方法を利用し、合成写真を生成することを例として例示的に説明する。図２に示すように、以下のステップを含む。
ステップＳ２０１において、合成写真を生成する命令を受信した後、写真を収集するように画像収集手段を起動する。
ステップＳ２０２において、現在写真を収集する場合、現在写真における第１種類の人間の顔の表情採点値を算出する。
一実施例では、第１種類の人間の顔は、現在写真の前に収集された写真によって算出された各表情採点値が予め設定されたスコア閾値以下である人間の顔を示すために用いられる。
一実施例では、ステップＳ２０１及びステップＳ２０２の方法は、図１に示す実施例のステップＳ１０１及びステップＳ１０２の説明を参照し、ここで説明しない。
ステップＳ２０３において、現在写真における各第１種類の人間の顔の表情採点値が予め設定されたスコア閾値より大きいか否かを特定し、現在写真における各第１種類の人間の顔の表情採点値が予め設定されたスコア閾値より大きい場合、ステップ２０４を実行し、現在写真における各第１種類の人間の顔の表情採点値のうちの少なくとも一つが予め設定されたスコア閾値以下である場合、ステップ２０５を実行する。
一実施例では、予め設定されたスコア閾値は、例えば８０点のような合理的なスコアであることができる。例えば、現在写真が収集された二枚目の写真であり、かつ一枚目の写真において人間の顔Ａ及び人間の顔Ｂの表情採点値のみが予め設定されたスコア閾値以下である場合、二枚目の写真における人間の顔Ａ及び人間の顔Ｂの表情採点値を算出でき、二枚目の写真における人間の顔Ａ及び人間の顔Ｂの表情採点値が予め設定されたスコア閾値より大きいか否かを特定することができる。
ステップＳ２０４において、写真の収集を停止するように画像収集手段を制御し、収集された写真における第２種類の人間の顔に対してスティッチング方式によって合成写真を生成する。
一実施例では、第２種類の人間の顔が、表情採点値が予め設定されたスコア閾値より大きい人間の顔を示すために用いられる。
ステップＳ２０５において、収集された写真の枚数が予め設定された枚数より小さいか否かを特定し、収集された写真の枚数が予め設定された枚数より小さい場合、ステップ２０６を実行し、収集された写真の枚数が予め設定された枚数以上である場合、ステップ２０７を実行する。
ステップ２０６において、現在写真における第１種類の人間の顔の表情採点値に基づいて、後に収集される一枚の写真における表情採点値を計算しようとする第１種類の人間の顔を特定し、ステップ２０１を実行する。
例えば、ステップ２０３の例では、二枚目の写真において、人間の顔Ａの表情採点値のみが予め設定されたスコア閾値以上である場合、三枚目の写真において、採点値を算出する人間の顔が人間の顔Ｂのみであると特定することができる。
ステップ２０７において、収集された写真から合成写真を生成するための人間の顔を特定し、スティッチング方式によって合成写真を生成する。
一実施例では、収集された写真から第２種類の人間の顔及び第１種類の人間の顔における表情採点値が最も高い人間の顔を合成写真を生成するための人間の顔として選択することができる。例えば、一枚目の写真において、人間の顔Ａ、人間の顔Ｃおよび人間の顔Ｄの表情採点値全体が予め設定されたスコア閾値より大きい場合に、一枚目の写真において、人間の顔Ａ、人間の顔Ｃおよび人間の顔Ｄを第２種類の人間の顔と特定することができ、即ち、一枚目の写真において、人間の顔Ａ、人間の顔Ｃおよび人間の顔Ｄが合成写真を生成するための人間の顔であり、人間の顔Ｂに対して、一枚目の写真における表情採点値が７０点であり、二枚目の写真における表情採点値が７２点であり、三枚目の写真における表情採点値が７５点であり、四枚目の写真における表情採点値が７９点であり、予め設定された枚数が４である場合、四枚目の写真における人間の顔Ｂを合成写真を生成するための人間の顔として選択してことができる。
本実施例では、生成された写真の枚数を制限することによって、合成写真の品質を確保する場合、合成写真を生成する写真の枚数を効果的に減少することができ、また、各写真において、ある人間の顔の表情採点値全体が予め設定されたスコア閾値以下である場合、表情採点値が最も高い人間の顔を、合成写真を生成するための人間の顔とし、これによって、合成写真の品質を確保する場合、合成写真を生成する写真の枚数を効果的に減少することができ、目標写真の枚数を効果的に減少させ、合成写真を生成する速度を向上することができる。
図３は、一例示的な実施例２に係る人間の顔の表情採点値を算出する方法を示すフローチャートである。本実施例は、本発明実施例により提開示された上述方法を利用し、人間の顔の表情採点値を算出することを例として例示的に説明する。図３に示すように、以下のステップを含む。
ステップ３０１において、現在写真から各第１種類の人間の顔を認識する。
一実施例では、畳み込みニューラルネットワークなどの画像認識モデルによって各写真における各人間の顔を認識することができる。
一実施例では、他の画像処理技術によって各人間の顔領域を認識することもできる。
ステップ３０２において、各第１種類の人間の顔が対応する部分特徴に対応する部分採点値を算出する。
一実施例では、人間の顔の表情採点値を算出する場合、人間の顔の各部分特徴値に対応する、例えば、口角部分、目部分、五官の鮮鋭度及び顔の傾き角度などの部分採点値を優先的に算出することができる。
一実施例では、予め訓練されたモデルによって人間の顔の各部分特徴値の部分採点値を算出してもよいし、もう一つの実施例では、予め設定されたアルゴリズムによって、人間の顔の部分特徴値の部分採点値を算出してもよい。
ステップ３０３において、各第１種類の人間の顔の各部分採点値を重み付け加算し、各第１種類の人間の顔の表情採点値を得る。
一実施例では、各部分採点値に対応する重み係数は、ユーザによってカスタマイズの設定が行われるか、またはアルゴリズムによって予め設定されることで得られることができる。例えば、目、口角、顔の傾き角度に対応する部分採点値の重み値がそれぞれ０．３、０．３、０．４であり、対応の重み係数がそれぞれ８．０、８．３、８．４であると、最終の採点値が８．０×０．３＋８．３×０．３＋８．４×０．４＝８．２５である。
本実施例では、目の採点値、口の採点値、顔の向きの採点値などのような各人間の顔の部分採点値を算出した後、それらの重みに応じて重み付け加算し表情採点値を得ることで、人間の顔の表情を多面的に特定することを実現し、人間の顔の表情に対する採点をより全面的になる。
図４は、一例示的な実施例１に係る写真合成装置を示すブロック図である。図４に示すように、当該写真合成装置は、
合成写真を生成する命令を受信した後、写真を収集するように画像収集手段を起動するよう構成された収集モジュール４１０と、
現在写真を収集する場合、現在写真における、現在写真の前に収集された写真によって算出された各表情採点値が予め設定されたスコア閾値以下である人間の顔を示すための第１種類の人間の顔の表情採点値を算出するように構成された算出モジュール４２０と、
現在写真における、算出モジュール４２０により算出された各第１種類の人間の顔の表情採点値が予め設定されたスコア閾値より大きいか否かを特定するように構成された第１特定モジュール４３０と、
第１特定モジュール４３０により現在写真における各第１種類の人間の顔の表情採点値が予め設定されたスコア閾値より大きいと特定された場合、写真の収集を停止するように画像収集手段を制御し、収集された写真における、表情採点値が予め設定されたスコア閾値より大きい人間の顔を示すための第２種類の人間の顔に対してスティッチング方式によって合成写真を生成するように構成された生成モジュール４４０と、を含む。
図５は一例示的な実施例に係る別の写真合成装置を示すブロック図である。図５に示すように、上述の図４に示す実施例に基づいて、一実施例では、写真合成装置は、第１特定モジュール４３０により現在写真における各第１種類の人間の顔の表情採点値のうちの少なくとも一つが予め設定されたスコア閾値以下であると特定された場合、収集された写真の枚数が予め設定された枚数より小さいか否かを特定するように構成された第２特定モジュール４５０と、第２特定モジュール４５０により収集された写真の枚数が予め設定された枚数より小さいと特定された場合、現在写真における第１種類の人間の顔の表情採点値に基づいて、後に収集される一枚の写真における表情採点値を計算しようとする第１種類の人間の顔を特定し、写真を収集するように画像収集手段を起動する操作を実行するよう構成された実行モジュール４６０と、をさらに含む。
一実施例では、写真合成装置は、第２特定モジュール４５０により収集された写真の枚数が予め設定された枚数以上であると特定された場合、収集された写真から合成写真を生成するための人間の顔を特定し、スティッチング方式によって合成写真を生成するように構成された第３特定モジュール４７０と、をさらに含む。
一実施例では、第３特定モジュール４７０は、収集された写真から第２種類の人間の顔及び第１種類の人間の顔における表情採点値が最も高い人間の顔を合成写真を生成するための人間の顔として選択するように構成された選択サブモジュール４７１を含む。
図６は一例示的な実施例に係るもう1つの写真合成装置を示すブロック図である。図６に示すように、上述の図４及び図５に示す実施例に基づいて、一実施例では、算出モジュール４２０は、現在写真から各第１種類の人間の顔を認識するように構成された識別サブモジュール４２１と、各第１種類の人間の顔が対応する部分特徴に対応する部分採点値を算出するように構成された算出サブモジュール４２２と、各第１種類の人間の顔の各部分採点値を重み付け加算し、各第１種類の人間の顔の表情採点値を得るように構成された重み付けサブモジュール４２３と、を含む。
上述の装置の各ユニットの機能及び操作の実現過程は、具体的には、上述の方法において対応するステップの実現過程を参照し、ここで説明しない。
装置の実施例は、基本的に方法の実施例に対応するため、関連する部分は、方法の実施例の部分の説明を参照すればいい。上述した装置の実施例は、単に例示的なものである。特に、前記分離部品として説明したユニットは、物理的に分離されたものであってもよく、又は分離されていないものであってもよい。ユニットとして表示される部品は、物理ユニットであってもよく、物理ユニットではなくてもよい。即ち、一箇所に位置してもよく、又は複数のネットワークユニットに分布されてもよい。実際の需要に応じて、その中の一部モジュール又は全部モジュールを選択して、本発明の技術的案の目的を達成することができる。当業者は、創造的な労働をしない前提で、理解して実施することができる。
図７は一例示的な実施例に係る写真合成に用いられる装置を示すブロック図である。
例えば、装置７００はカメラまたは撮像装置を備えるほかの電子機器であることができる。
図７を参照すると、装置７００は、処理ユニット７０２、メモリ７０４、電源ユニット７０６、マルチメディアユニット７０８、オーディオユニット７１０、入力/出力（Ｉ/Ｏ）インターフェース７１２、センサーユニット７１４、及び通信ユニット７１６からなる群から選ばれる少なくとも１つを有してもよい。
処理ユニット７０２は、一般的には、装置７００の全体の操作、例えば、表示、音声再生、データ通信、記録操作に関連する操作を制御する。処理ユニット７０２は、上述した方法におけるステップの一部又は全部を実現できるように、命令を実行する少なくとも１つのプロセッサー７２０を有してもよい。また、処理ユニット７０２は、他のユニットとのインタラクションの便宜を図るように、少なくとも１つのモジュールを有してもよい。例えば、処理ユニット７０２は、マルチメディアユニット７０８とのインタラクションの便宜を図るように、マルチメディアモジュールを有してもよい。
メモリ７０４は、装置７００での操作をサポートするように、各種のデータを記憶するように配置される。これらのデータは、例えば、装置７００で何れのアプリケーション又は方法を操作するための命令、メッセージ、画像等を含む。メモリ７０４は、何れ種類の揮発性又は不揮発性メモリ、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気メモリ、フラッシュメモリ、磁気ディスク、或いは光ディスクにより、或いはそれらの組み合わせにより実現することができる。
電源ユニット７０６は、装置７００の各種ユニットに電力を供給するためのものであり、電源管理システム、１つ又は複数の電源、及び装置７００のために電力を生成、管理及び分配することに関連する他のユニットを有してもよい。
マルチメディアユニット７０８は、装置７００とユーザとの間に出力インターフェースを提供するスクリーンを有してもよい。スクリーンは、例えば、液晶ディスプレイ（ＬＣＤ）やタッチパネル（ＴＰ）を有してもよい。スクリーンは、タッチパネルを有する場合、ユーザからの入力信号を受信するように、タッチスクリーンになることができる。また、タッチパネルは、タッチや、スライドや、タッチパネル上の手振りを感知するように、少なくとも１つのタッチセンサーを有する。タッチセンサーは、タッチやスライド動作の境界を感知できるだけではなく、タッチやスライド操作と関連する持続時間や圧力も感知できる。
オーディオユニット７１０は、オーディオ信号を出力及び/又は入力するように配置される。例えば、オーディオユニット７１０は、マイクロフォン（ＭｉＣ）を有してもよい。装置７００が、例えば、呼び出しモード、記録モード、又は音声認識モードのような操作モードにあるとき、マイクロフォンは、外部のオーディオ信号を受信するように配置される。受信したオーディオ信号は、メモリ７０４にさらに記憶されてもよいし、通信ユニット７１６を介して送信されてもよい。一実施例では、オーディオユニット７１０は、オーディオ信号を出力するためのスピーカをさらに有してもよい。
Ｉ/Ｏインターフェース７１２は、処理ユニット７０２と外部のインターフェースモジュールとの間にインターフェースを提供するためのものである。上記外部のインターフェースモジュールは、キーボードや、クリックホイールや、ボタン等であってもよい。これらのボタンは、ホームボタンや、音量ボタンや、スタートボタンや、ロックボタンであってもよいが、それらに限らない。
センサーユニット７１４は、装置７００のために各方面の状態を評価する少なくとも１つのセンサーを有してもよい。例えば、センサーユニット７１４は、装置７００のオン/オフ状態や、ユニットの相対的な位置を検出することができる。例えば、ユニットは、装置７００のディスプレイ及びキーパッドである。センサーユニット７１４は、装置７００又は装置７００の１つのユニットの位置の変化、ユーザによる装置７００への接触の有無、装置７００の方向又は加速/減速、装置７００の温度変化などを検出することができる。センサーユニット７１４は、何れの物理的な接触もない場合に付近の物体を検出するように配置される近接センサーを有してもよい。センサーユニット７１４は、イメージングアプリケーションに用いるための光センサー、例えば、ＣＭＯＳ又はＣＣＤ画像センサーを有してもよい。いくつかの実施例では、当該センサーユニット７１４は、加速度センサー、ジャイロスコープセンサー、磁気センサー、圧力センサー又は温度センサーをさらに有してもよい。
通信ユニット７１６は、装置７００と他の設備の間との無線又は有線通信の便宜を図るように配置される。装置７００は、例えば、ＷｉＦｉ、２Ｇ又は３Ｇ、又はそれらの組み合わせの通信標準に基づく無線ネットワークにアクセスできる。１つの例示的な実施例では、通信ユニット７１６は、ブロードキャストチャンネルを介して外部のブロードキャスト管理システムからのブロードキャスト信号又はブロードキャストに関する情報を受信する。１つの例示的な実施例では、前記通信ユニット７１６は、近距離通信を促進するために近距離無線通信（ＮＦＣ）モジュールをさらに有してもよい。例えば、ＮＦＣモジュールは、無線周波数認識（ＲＦＩＤ：Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）技術、赤外線データ協会（ＩｒＤＡ：Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）技術、超広帯域無線（ＵＷＢ：Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）技術、ブルートゥース（ＢＴ：Ｂｌｕｅｔｏｏｔｈ（登録商標））技術及び他の技術によって実現されてもよい。
例示的な実施例では、装置７００は、以下の方法を実行するために、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、デジタル信号プロセッサー（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、デジタル信号処理デバイス（ＤＳＰＤ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ）、プログラマブルロジックデバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、書替え可能ゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、コントローラ、マイクロコントローラ、マイクロプロセッサー、又は他の電子機器によって実現されてもよい。
当該方法は、合成写真を生成する命令を受信した後、写真を収集するように画像収集手段を起動するステップと、現在写真を収集する場合、現在写真における、現在写真の前に収集された写真によって算出された各表情採点値が予め設定されたスコア閾値以下である人間の顔を示すための第１種類の人間の顔の表情採点値を算出するステップと、現在写真における各第１種類の人間の顔の表情採点値が予め設定されたスコア閾値より大きいか否かを特定するステップと、現在写真における各第１種類の人間の顔の表情採点値が予め設定されたスコア閾値より大きい場合、写真の収集を停止するように画像収集手段を制御し、収集された写真における、表情採点値が予め設定されたスコア閾値より大きい人間の顔を示すための第２種類の人間の顔に対してスティッチング方式によって合成写真を生成するステップと、を含む。
例示的な実施例では、命令を有する非一時的コンピュータ読み取り可能な記録媒体、例えば、命令を有するメモリ７０４をさらに提供する。この命令は、装置７００のプロセッサー７２０により実行されて上述した方法を実現する。例えば、前記非一時的コンピュータ読み取り可能な記録媒体は、ＲＯＭ、ＲＡＭ、ＣＤ-ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク及び光データメモリ等であってもよい。
当業者は、明細書に対する理解、及び明細書に記載された発明に対する実施を介して、本発明の他の実施形態を容易に取得することができる。本発明は、本発明に対する任意の変形、用途、又は適応的な変化を含み、このような変形、用途、又は適応的な変化は、本発明の一般的な原理に従い、本発明では開示していない本技術分野の公知知識、又は通常の技術手段を含む。明細書及び実施例は、例示的なものにすぎず、本発明の真の範囲と主旨は、以下の特許請求の範囲によって示される。
本発明は、上記で記述され、図面で図示した特定の構成に限定されず、その範囲を逸脱しない範囲で、様々な修正や変更を行うことができる。本発明の範囲は、添付される特許請求の範囲のみにより限定される。
（関連出願の相互参照）
本出願は、出願番号が２０１６１１０７８２７９．０であって、出願日が２０１６年１１月２９日である中国特許出願に基づき優先権を主張し、当該中国特許出願の内容の全ては、本願発明に援用される。
本発明は、スマート撮影技術分野に関し、特に、写真合成方法、装置、プログラム、及び記録媒体に関する。
撮影技術の発展とともに、ますます多くのユーザが集合写真によって自分の日常的な旅行や友人との集まりのシーンを記録するのが好きであるが、全ての人の顔の表情効果がよい集合写真を撮るのは非常に難しい。関連技術において、撮影デバイスが集合写真を撮って最適な顔の表情を選択することで集合写真を撮る過程において生成された各写真における人間の顔に対して採点し、写真全体における各人の効果が最もよい人間の顔を抽出して合成する。関連技術において、合成写真を生成する場合、合成する必要がある写真が多いので、撮影デバイスの消費電力及び合成写真を生成する時間を増加させる。
関連技術における問題を克服し、合成写真を生成する消費電力が大きく、時間が長いという問題を解決するために、本発明は、写真合成方法、装置、プログラム、及び記録媒体を提供する。
本発明の第１の態様によれば、写真合成方法が提供され、前記方法は、
合成写真を生成する命令を受信した後、写真を収集するように画像収集手段を起動するステップと、
現在写真を収集する場合、前記現在写真における、前記現在写真の前に収集された写真によって算出された各表情採点値が予め設定されたスコア閾値以下である人間の顔を示すための第１種類の人間の顔の表情採点値を算出するステップと、
前記現在写真における各第１種類の人間の顔の表情採点値が前記予め設定されたスコア閾値より大きいか否かを特定するステップと、
前記現在写真における各第１種類の人間の顔の表情採点値が前記予め設定されたスコア閾値より大きい場合、写真の収集を停止するように前記画像収集手段を制御し、前記収集された写真における、表情採点値が予め設定されたスコア閾値より大きい人間の顔を示すための第２種類の人間の顔に対してスティッチング方式によって合成写真を生成するステップと、
を含む。
一実施例では、前記方法は、
前記現在写真における各第１種類の人間の顔の表情採点値のうちの少なくとも一つが前記予め設定されたスコア閾値以下である場合、収集された写真の枚数が予め設定された枚数より小さいか否かを特定するステップと、
収集された写真の枚数が予め設定された枚数より小さい場合、前記現在写真における第１種類の人間の顔の表情採点値に基づいて、後に収集される一枚の写真における表情採点値を計算しようとする第１種類の人間の顔を特定し、前記写真を収集するように画像収集手段を起動する操作を実行するステップと、
をさらに含む。
一実施例では、前記方法は、
収集された写真の枚数が予め設定された枚数以上である場合、前記収集された写真から前記合成写真を生成するための人間の顔を特定し、スティッチング方式によって合成写真を生成するステップをさらに含む。
一実施例では、前記方法は、
前記収集された写真から前記合成写真を生成するための人間の顔を特定することは、
前記収集された写真から第２種類の人間の顔及び第１種類の人間の顔における表情採点値が最も高い人間の顔を前記合成写真を生成するための人間の顔として選択することを含む。
一実施例では、前記方法は、
前記現在写真における、第１種類の人間の顔の表情採点値を算出するステップは、
前記現在写真から各第１種類の人間の顔を認識するステップと、
前記各第１種類の人間の顔が対応する部分特徴に対応する部分採点値を算出するステップと、
前記各第１種類の人間の顔の各部分採点値を重み付け加算し、前記各第１種類の人間の顔の表情採点値を得るステップと、
を含む。
本発明の第２の態様によれば、写真合成装置が提供され、前記装置は、
合成写真を生成する命令を受信した後、写真を収集するように画像収集手段を起動するよう構成された収集モジュールと、
現在写真を収集する場合、前記現在写真における、前記現在写真の前に収集された写真によって算出された各表情採点値が予め設定されたスコア閾値以下である人間の顔を示すための第１種類の人間の顔の表情採点値を算出するように構成された算出モジュールと、
前記現在写真における、前記算出モジュールにより算出された前記各第１種類の人間の顔の表情採点値が前記予め設定されたスコア閾値より大きいか否かを特定するように構成された第１特定モジュールと、
前記第１特定モジュールにより前記現在写真における各第１種類の人間の顔の表情採点値が前記予め設定されたスコア閾値より大きいと特定された場合、写真の収集を停止するように前記画像収集手段を制御し、前記収集された写真における、表情採点値が予め設定されたスコア閾値より大きい人間の顔を示すための第２種類の人間の顔に対してスティッチング方式によって合成写真を生成するように構成された生成モジュールと、
を含む。
一実施例では、前記装置は、
前記第１特定モジュールにより前記現在写真における各第１種類の人間の顔の表情採点値のうちの少なくとも一つが前記予め設定されたスコア閾値以下であると特定された場合、収集された写真の枚数が予め設定された枚数より小さいか否かを特定するように構成された第２特定モジュールと、
前記第２特定モジュールにより前記収集された写真の枚数が予め設定された枚数より小さいと特定された場合、前記現在写真における第１種類の人間の顔の表情採点値に基づいて、後に収集される一枚の写真における表情採点値を計算しようとする第１種類の人間の顔を特定し、前記写真を収集するように画像収集手段を起動する操作を実行するよう構成された実行モジュールと、
をさらに含む。
一実施例では、前記装置は、
前記第２特定モジュールにより前記収集された写真の枚数が予め設定された枚数以上であると特定された場合、前記収集された写真から前記合成写真を生成するための人間の顔を特定し、スティッチング方式によって合成写真を生成するように構成された第３特定モジュールと、をさらに含む。
一実施例では、前記第３特定モジュールは、
前記収集された写真から第２種類の人間の顔及び第１種類の人間の顔における表情採点値が最も高い人間の顔を前記合成写真を生成するための人間の顔として選択するように構成された選択サブモジュールを含む。
一実施例では、算出モジュールは、
前記現在写真から各第１種類の人間の顔を認識するように構成された識別サブモジュールと、
前記各第１種類の人間の顔が対応する部分特徴に対応する部分採点値を算出するように構成された算出サブモジュールと、
前記各第１種類の人間の顔の各部分採点値を重み付け加算し、前記各第１種類の人間の顔の表情採点値を得るように構成された重み付けサブモジュールと、
を含む。
本発明の第３の態様によれば、圧力検出装置が提供され、前記装置は、
プロセッサーと、
前記プロセッサーによって実行可能な命令を記憶するメモリと、を備え、
前記プロセッサーは、
合成写真を生成する命令を受信した後、写真を収集するように画像収集手段を起動し、
現在写真を収集する場合、前記現在写真における、前記現在写真の前に収集された写真によって算出された各表情採点値が予め設定されたスコア閾値以下である人間の顔を示すための第１種類の人間の顔の表情採点値を算出し、
前記現在写真における各第１種類の人間の顔の表情採点値が前記予め設定されたスコア閾値より大きいか否かを特定し、
前記現在写真における各第１種類の人間の顔の表情採点値が前記予め設定されたスコア閾値より大きい場合、写真の収集を停止するように前記画像収集手段を制御し、前記収集された写真における、表情採点値が予め設定されたスコア閾値より大きい人間の顔を示すための第２種類の人間の顔に対してスティッチング方式によって合成写真を生成するように構成される。
本発明の第４の態様によれば、プロセッサーに実行されることにより、上記方法を実現する、プログラムを提供する。
本発明の第５の態様によれば、上記プログラムが記録されたコンピュータ読取可能な記録媒体を提供する。
本発明が提供する技術案によれば、下記のような有益な効果が奏される。
合成写真を生成する命令を受信した後、写真を収集するように画像収集手段を起動し、毎回一枚の写真を収集した際に、現在写真における第１種類の人間の顔の表情採点値を算出し、現在写真における各第１種類の人間の顔の表情採点値が予め設定されたスコア閾値より大きいか否かを特定し、現在写真における各第１種類の人間の顔の表情採点値が予め設定されたスコア閾値より大きい場合、写真の収集を停止するように画像収集手段を制御し、収集された写真における第２種類の人間の顔に対してスティッチング方式によって合成写真を生成し、本発明では、一枚の写真を生成した毎に、前に各生成された写真における人間の顔の表情採点値全体が相対的に低い人間の顔の表情採点値のみを算出することができ、これによって、効果が高い合成写真を生成することを確保できることをもとに、生成された写真の枚数を効果的に減少させ、しかも、写真における人間の顔の表情値の計算量を低減させ、これによって、合成写真を生成する時間を効果的に短くさせ、合成写真の消費電力を低減させることができる。
生成された写真の枚数を制限することによって、合成写真の品質を確保する場合、合成写真を生成する写真の枚数を効果的に減少することができる。
目の採点値、口の採点値、顔の向きの採点値などのような各人間の顔の部分採点値を算出した後、それらの重みに応じて重み付け加算し表情採点値を得ることで、人間の顔の表情を多面的に特定することを実現し、人間の顔の表情に対してより全面的な採点を提供する。
なお、前記一般的な記載及び後述の詳細な記載は、単なる例示的で解釈的な記載であり、本発明を限定するものではないことを理解すべきである。
以下の図面は、明細書に組み入れて本明細書の一部分を構成し、本発明に該当する実施例を例示するとともに、明細書とともに本発明の原理を解釈する。
一例示的な実施例に係る写真合成方法を示すフローチャートである。 一例示的な実施例１に係る写真合成方法を示すフローチャートである。 一例示的な実施例２に係る人間の顔の表情採点値を算出する方法を示すフローチャートである。 一例示的な実施例に係る写真合成装置を示すブロック図である。 一例示的な実施例に係る別の写真合成装置を示すブロック図である。 一例示的な実施例に係るもう1つの写真合成装置を示すブロック図である。 一例示的な実施例に係る写真合成に用いられる装置を示すブロック図である。
以下、例示的な実施例を詳しく説明し、その例示を図面に示す。以下の記載が図面に関わる場合、特に別の説明がない限り、異なる図面における同一符号は、同じ又は類似する要素を示す。以下の例示的な実施形態に記載の実施例は、本発明と一致する全ての実施例を代表するものではない。それらは、特許請求の範囲に記載の本発明のある側面に一致する装置及び方法の例に過ぎない。
図１は一例示的な実施例に係る写真合成方法を示すフローチャートである。当該写真合成方法は、カメラ、又は、撮像装置を備える電子機器（例えば、携帯電話、タブレットＰＣ）に用いられることができる。図１に示すように、当該写真合成方法は、以下のステップを含む。
ステップＳ１０１において、合成写真を生成する命令を受信した後、写真を収集するように画像収集手段を起動する。
一実施例では、タッチパネルまたは物理的なボタンで写真を合成する命令を生成する。
一実施例では、画像収集手段により収集される写真の枚数が予め設定された枚数（例えば、４枚）を超えられない。収集される写真の枚数は、最初に収集された写真における人間の顔の表情採点値によって決定し、たとえば、一枚目の写真における各人間の顔の表情採点値が予め設定されたスコア閾値より大きい場合、写真を一枚だけ収集することができる。
一実施例では、予め設定された枚数は、ユーザにより設定されてもよいし、撮像装置のプロバイダにより予め設定されてメモリに記憶されてもよい。
ステップＳ１０２において、現在写真を収集する場合、現在写真における第１種類の人間の顔の表情採点値を算出する。
一実施例では、第１種類の人間の顔は、現在写真の前に収集された写真によって算出された各表情採点値が予め設定されたスコア閾値以下である人間の顔を示すために用いられる。たとえば、写真において、人間の顔Ａ、人間の顔Ｂ、人間の顔Ｃおよび人間の顔Ｄという四つの人間の顔を含む場合、一枚目の写真を収集するときに、人間の顔Ａ、人間の顔Ｂ、人間の顔Ｃおよび人間の顔Ｄをいずれも第１種類の人間の顔とし、各人間の顔の表情採点値を算出する必要がある。一枚目の写真において、人間の顔Ａ、人間の顔Ｂおよび人間の顔Ｃの表情採点値全体が予め設定されたスコア閾値より大きい場合に、二枚目の写真に対して、第１種類の人間の顔が人間の顔Ｄを含み、二枚目の写真を生成するときに、人間の顔Ｄの表情採点値のみを算出することができる。
一実施例では、各人間の顔の表情採点値は、目、口、顔の向き、顔画像の品質などで評価されることができる。
一実施例では、一枚の写真を生成した毎に予め設定された画像処理アルゴリズムによって人間の顔の表情採点値を算出することができる。
一実施例では、人間の顔の表情採点値を算出する過程は、図３に示す実施例を参照し、ここで説明しない。
ステップＳ１０３において、現在写真における各第１種類の人間の顔の表情採点値が予め設定されたスコア閾値より大きいか否かを特定し、現在写真における各第１種類の人間の顔の表情採点値が予め設定されたスコア閾値より大きい場合、ステップ１０４を実行する。
一実施例では、予め設定されたスコア閾値は、例えば８０点のような合理的なスコアであることができ、予め設定されたスコア閾値に達する表情効果がよりよく、合成写真を生成するために用いられることができる。
ステップＳ１０４において、写真の収集を停止するように画像収集手段を制御し、収集された写真における第２種類の人間の顔に対してスティッチング方式によって合成写真を生成する。
一実施例では、第２種類の人間の顔は表情採点値が予め設定されたスコア閾値より大きい人間の顔を示すために用いられる。
一実施例では、収集された写真における、表情採点値が予め設定されたスコア閾値より大きい人間の顔に対してスティッチング方式によって合成写真を生成することができる。
本実施例では、合成写真を生成する命令を受信した後、写真を収集するように画像収集手段を起動し、毎回一枚の写真を収集した後に、現在写真における第１種類の人間の顔の表情採点値を算出し、現在写真における各第１種類の人間の顔の表情採点値が予め設定されたスコア閾値より大きいか否かを特定し、現在写真における各第１種類の人間の顔の表情採点値が予め設定されたスコア閾値より大きい場合、写真の収集を停止するように画像収集手段を制御し、収集された写真に対してスティッチング方式によって合成写真を生成し、本発明では、一枚の写真を生成した毎に、前に生成された写真における人間の顔の表情採点値全体が相対的に低い人間の顔の表情採点値のみを算出することができ、これによって、効果が高い合成写真を生成することを確保できることをもとに、生成された写真の枚数を効果的に減少させ、しかも、写真における人間の顔の表情値の計算量を低減させ、これによって、合成写真を生成する時間を効果的に短くさせ、合成写真の消費電力を低減させることができる。
一実施例では、写真合成方法は、
現在写真における各第１種類の人間の顔の表情採点値のうちの少なくとも一つが予め設定されたスコア閾値以下である場合、収集された写真の枚数が予め設定された枚数より小さいか否かを特定するステップと、収集された写真の枚数が予め設定された枚数より小さい場合、現在写真における第１種類の人間の顔の表情採点値に基づいて、後に収集される一枚の写真における表情採点値を計算しようとする第１種類の人間の顔を特定し、写真を収集するように画像収集手段を起動する操作を実行するステップと、をさらに含む。
一実施例では、写真合成方法は、
収集された写真の枚数が予め設定された枚数以上である場合、収集された写真から合成写真を生成するための人間の顔を特定し、スティッチング方式によって合成写真を生成するステップをさらに含む。
一実施例では、収集された写真から合成写真を生成するための人間の顔を特定することは、
収集された写真から第２種類の人間の顔及び第１種類の人間の顔における表情採点値が最も高い人間の顔を選択して合成写真を生成するための人間の顔とすることを含む。
一実施例では、現在写真における、第１種類の人間の顔の表情採点値を算出するステップは、
現在写真から各第１種類の人間の顔を認識するステップと、各第１種類の人間の顔が対応する部分特徴に対応する部分採点値を算出するステップと、各第１種類の人間の顔の各部分採点値を重み付け加算し、各第１種類の人間の顔の表情採点値を得るステップと、を含む。
合成写真を生成する具体的な過程は、下記の実施例を参照する。
以下、具体的な実施例を例として本発明により提供された技術案を説明する。
図２は、一例示的な実施例１に係る写真合成方法を示すフローチャートである。本実施例は、本発明実施例により提供された上述方法を利用し、合成写真を生成することを例として例示的に説明する。図２に示すように、以下のステップを含む。
ステップＳ２０１において、合成写真を生成する命令を受信した後、写真を収集するように画像収集手段を起動する。
ステップＳ２０２において、現在写真を収集する場合、現在写真における第１種類の人間の顔の表情採点値を算出する。
一実施例では、第１種類の人間の顔は、現在写真の前に収集された写真によって算出された各表情採点値が予め設定されたスコア閾値以下である人間の顔を示すために用いられる。
一実施例では、ステップＳ２０１及びステップＳ２０２の方法は、図１に示す実施例のステップＳ１０１及びステップＳ１０２の説明を参照し、ここで説明しない。
ステップＳ２０３において、現在写真における各第１種類の人間の顔の表情採点値が予め設定されたスコア閾値より大きいか否かを特定し、現在写真における各第１種類の人間の顔の表情採点値が予め設定されたスコア閾値より大きい場合、ステップ２０４を実行し、現在写真における各第１種類の人間の顔の表情採点値のうちの少なくとも一つが予め設定されたスコア閾値以下である場合、ステップ２０５を実行する。
一実施例では、予め設定されたスコア閾値は、例えば８０点のような合理的なスコアであることができる。例えば、現在写真が収集された二枚目の写真であり、かつ一枚目の写真において人間の顔Ａ及び人間の顔Ｂの表情採点値のみが予め設定されたスコア閾値以下である場合、二枚目の写真における人間の顔Ａ及び人間の顔Ｂの表情採点値を算出でき、二枚目の写真における人間の顔Ａ及び人間の顔Ｂの表情採点値が予め設定されたスコア閾値より大きいか否かを特定することができる。
ステップＳ２０４において、写真の収集を停止するように画像収集手段を制御し、収集された写真における第２種類の人間の顔に対してスティッチング方式によって合成写真を生成する。
一実施例では、第２種類の人間の顔が、表情採点値が予め設定されたスコア閾値より大きい人間の顔を示すために用いられる。
ステップＳ２０５において、収集された写真の枚数が予め設定された枚数より小さいか否かを特定し、収集された写真の枚数が予め設定された枚数より小さい場合、ステップ２０６を実行し、収集された写真の枚数が予め設定された枚数以上である場合、ステップ２０７を実行する。
ステップ２０６において、現在写真における第１種類の人間の顔の表情採点値に基づいて、後に収集される一枚の写真における表情採点値を計算しようとする第１種類の人間の顔を特定し、ステップ２０１を実行する。
例えば、ステップ２０３の例では、二枚目の写真において、人間の顔Ａの表情採点値のみが予め設定されたスコア閾値以上である場合、三枚目の写真において、採点値を算出する人間の顔が人間の顔Ｂのみであると特定することができる。
ステップ２０７において、収集された写真から合成写真を生成するための人間の顔を特定し、スティッチング方式によって合成写真を生成する。
一実施例では、収集された写真から第２種類の人間の顔及び第１種類の人間の顔における表情採点値が最も高い人間の顔を合成写真を生成するための人間の顔として選択することができる。例えば、一枚目の写真において、人間の顔Ａ、人間の顔Ｃおよび人間の顔Ｄの表情採点値全体が予め設定されたスコア閾値より大きい場合に、一枚目の写真において、人間の顔Ａ、人間の顔Ｃおよび人間の顔Ｄを第２種類の人間の顔と特定することができ、即ち、一枚目の写真において、人間の顔Ａ、人間の顔Ｃおよび人間の顔Ｄが合成写真を生成するための人間の顔であり、人間の顔Ｂに対して、一枚目の写真における表情採点値が７０点であり、二枚目の写真における表情採点値が７２点であり、三枚目の写真における表情採点値が７５点であり、四枚目の写真における表情採点値が７９点であり、予め設定された枚数が４である場合、四枚目の写真における人間の顔Ｂを合成写真を生成するための人間の顔として選択してことができる。
本実施例では、生成された写真の枚数を制限することによって、合成写真の品質を確保する場合、合成写真を生成する写真の枚数を効果的に減少することができ、また、各写真において、ある人間の顔の表情採点値全体が予め設定されたスコア閾値以下である場合、表情採点値が最も高い人間の顔を、合成写真を生成するための人間の顔とし、これによって、合成写真の品質を確保する場合、合成写真を生成する写真の枚数を効果的に減少することができ、目標写真の枚数を効果的に減少させ、合成写真を生成する速度を向上することができる。
図３は、一例示的な実施例２に係る人間の顔の表情採点値を算出する方法を示すフローチャートである。本実施例は、本発明実施例により提開示された上述方法を利用し、人間の顔の表情採点値を算出することを例として例示的に説明する。図３に示すように、以下のステップを含む。
ステップ３０１において、現在写真から各第１種類の人間の顔を認識する。
一実施例では、畳み込みニューラルネットワークなどの画像認識モデルによって各写真における各人間の顔を認識することができる。
一実施例では、他の画像処理技術によって各人間の顔領域を認識することもできる。
ステップ３０２において、各第１種類の人間の顔が対応する部分特徴に対応する部分採点値を算出する。
一実施例では、人間の顔の表情採点値を算出する場合、人間の顔の各部分特徴値に対応する、例えば、口角部分、目部分、五官の鮮鋭度及び顔の傾き角度などの部分採点値を優先的に算出することができる。
一実施例では、予め訓練されたモデルによって人間の顔の各部分特徴値の部分採点値を算出してもよいし、もう一つの実施例では、予め設定されたアルゴリズムによって、人間の顔の部分特徴値の部分採点値を算出してもよい。
ステップ３０３において、各第１種類の人間の顔の各部分採点値を重み付け加算し、各第１種類の人間の顔の表情採点値を得る。
一実施例では、各部分採点値に対応する重み係数は、ユーザによってカスタマイズの設定が行われるか、またはアルゴリズムによって予め設定されることで得られることができる。例えば、目、口角、顔の傾き角度に対応する部分採点値の重み値がそれぞれ０．３、０．３、０．４であり、対応の重み係数がそれぞれ８．０、８．３、８．４であると、最終の採点値が８．０×０．３＋８．３×０．３＋８．４×０．４＝８．２５である。
本実施例では、目の採点値、口の採点値、顔の向きの採点値などのような各人間の顔の部分採点値を算出した後、それらの重みに応じて重み付け加算し表情採点値を得ることで、人間の顔の表情を多面的に特定することを実現し、人間の顔の表情に対する採点をより全面的になる。
図４は、一例示的な実施例１に係る写真合成装置を示すブロック図である。図４に示すように、当該写真合成装置は、
合成写真を生成する命令を受信した後、写真を収集するように画像収集手段を起動するよう構成された収集モジュール４１０と、
現在写真を収集する場合、現在写真における、現在写真の前に収集された写真によって算出された各表情採点値が予め設定されたスコア閾値以下である人間の顔を示すための第１種類の人間の顔の表情採点値を算出するように構成された算出モジュール４２０と、
現在写真における、算出モジュール４２０により算出された各第１種類の人間の顔の表情採点値が予め設定されたスコア閾値より大きいか否かを特定するように構成された第１特定モジュール４３０と、
第１特定モジュール４３０により現在写真における各第１種類の人間の顔の表情採点値が予め設定されたスコア閾値より大きいと特定された場合、写真の収集を停止するように画像収集手段を制御し、収集された写真における、表情採点値が予め設定されたスコア閾値より大きい人間の顔を示すための第２種類の人間の顔に対してスティッチング方式によって合成写真を生成するように構成された生成モジュール４４０と、を含む。
図５は一例示的な実施例に係る別の写真合成装置を示すブロック図である。図５に示すように、上述の図４に示す実施例に基づいて、一実施例では、写真合成装置は、第１特定モジュール４３０により現在写真における各第１種類の人間の顔の表情採点値のうちの少なくとも一つが予め設定されたスコア閾値以下であると特定された場合、収集された写真の枚数が予め設定された枚数より小さいか否かを特定するように構成された第２特定モジュール４５０と、第２特定モジュール４５０により収集された写真の枚数が予め設定された枚数より小さいと特定された場合、現在写真における第１種類の人間の顔の表情採点値に基づいて、後に収集される一枚の写真における表情採点値を計算しようとする第１種類の人間の顔を特定し、写真を収集するように画像収集手段を起動する操作を実行するよう構成された実行モジュール４６０と、をさらに含む。
一実施例では、写真合成装置は、第２特定モジュール４５０により収集された写真の枚数が予め設定された枚数以上であると特定された場合、収集された写真から合成写真を生成するための人間の顔を特定し、スティッチング方式によって合成写真を生成するように構成された第３特定モジュール４７０と、をさらに含む。
一実施例では、第３特定モジュール４７０は、収集された写真から第２種類の人間の顔及び第１種類の人間の顔における表情採点値が最も高い人間の顔を合成写真を生成するための人間の顔として選択するように構成された選択サブモジュール４７１を含む。
図６は一例示的な実施例に係るもう1つの写真合成装置を示すブロック図である。図６に示すように、上述の図４及び図５に示す実施例に基づいて、一実施例では、算出モジュール４２０は、現在写真から各第１種類の人間の顔を認識するように構成された識別サブモジュール４２１と、各第１種類の人間の顔が対応する部分特徴に対応する部分採点値を算出するように構成された算出サブモジュール４２２と、各第１種類の人間の顔の各部分採点値を重み付け加算し、各第１種類の人間の顔の表情採点値を得るように構成された重み付けサブモジュール４２３と、を含む。
上述の装置の各ユニットの機能及び操作の実現過程は、具体的には、上述の方法において対応するステップの実現過程を参照し、ここで説明しない。
装置の実施例は、基本的に方法の実施例に対応するため、関連する部分は、方法の実施例の部分の説明を参照すればいい。上述した装置の実施例は、単に例示的なものである。特に、前記分離部品として説明したユニットは、物理的に分離されたものであってもよく、又は分離されていないものであってもよい。ユニットとして表示される部品は、物理ユニットであってもよく、物理ユニットではなくてもよい。即ち、一箇所に位置してもよく、又は複数のネットワークユニットに分布されてもよい。実際の需要に応じて、その中の一部モジュール又は全部モジュールを選択して、本発明の技術的案の目的を達成することができる。当業者は、創造的な労働をしない前提で、理解して実施することができる。
図７は一例示的な実施例に係る写真合成に用いられる装置を示すブロック図である。
例えば、装置７００はカメラまたは撮像装置を備えるほかの電子機器であることができる。
図７を参照すると、装置７００は、処理ユニット７０２、メモリ７０４、電源ユニット７０６、マルチメディアユニット７０８、オーディオユニット７１０、入力/出力（Ｉ/Ｏ）インターフェース７１２、センサーユニット７１４、及び通信ユニット７１６からなる群から選ばれる少なくとも１つを有してもよい。
処理ユニット７０２は、一般的には、装置７００の全体の操作、例えば、表示、音声再生、データ通信、記録操作に関連する操作を制御する。処理ユニット７０２は、上述した方法におけるステップの一部又は全部を実現できるように、命令を実行する少なくとも１つのプロセッサー７２０を有してもよい。また、処理ユニット７０２は、他のユニットとのインタラクションの便宜を図るように、少なくとも１つのモジュールを有してもよい。例えば、処理ユニット７０２は、マルチメディアユニット７０８とのインタラクションの便宜を図るように、マルチメディアモジュールを有してもよい。
メモリ７０４は、装置７００での操作をサポートするように、各種のデータを記憶するように配置される。これらのデータは、例えば、装置７００で何れのアプリケーション又は方法を操作するための命令、メッセージ、画像等を含む。メモリ７０４は、何れ種類の揮発性又は不揮発性メモリ、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気メモリ、フラッシュメモリ、磁気ディスク、或いは光ディスクにより、或いはそれらの組み合わせにより実現することができる。
電源ユニット７０６は、装置７００の各種ユニットに電力を供給するためのものであり、電源管理システム、１つ又は複数の電源、及び装置７００のために電力を生成、管理及び分配することに関連する他のユニットを有してもよい。
マルチメディアユニット７０８は、装置７００とユーザとの間に出力インターフェースを提供するスクリーンを有してもよい。スクリーンは、例えば、液晶ディスプレイ（ＬＣＤ）やタッチパネル（ＴＰ）を有してもよい。スクリーンは、タッチパネルを有する場合、ユーザからの入力信号を受信するように、タッチスクリーンになることができる。また、タッチパネルは、タッチや、スライドや、タッチパネル上の手振りを感知するように、少なくとも１つのタッチセンサーを有する。タッチセンサーは、タッチやスライド動作の境界を感知できるだけではなく、タッチやスライド操作と関連する持続時間や圧力も感知できる。
オーディオユニット７１０は、オーディオ信号を出力及び/又は入力するように配置される。例えば、オーディオユニット７１０は、マイクロフォン（ＭｉＣ）を有してもよい。装置７００が、例えば、呼び出しモード、記録モード、又は音声認識モードのような操作モードにあるとき、マイクロフォンは、外部のオーディオ信号を受信するように配置される。受信したオーディオ信号は、メモリ７０４にさらに記憶されてもよいし、通信ユニット７１６を介して送信されてもよい。一実施例では、オーディオユニット７１０は、オーディオ信号を出力するためのスピーカをさらに有してもよい。
Ｉ/Ｏインターフェース７１２は、処理ユニット７０２と外部のインターフェースモジュールとの間にインターフェースを提供するためのものである。上記外部のインターフェースモジュールは、キーボードや、クリックホイールや、ボタン等であってもよい。これらのボタンは、ホームボタンや、音量ボタンや、スタートボタンや、ロックボタンであってもよいが、それらに限らない。
センサーユニット７１４は、装置７００のために各方面の状態を評価する少なくとも１つのセンサーを有してもよい。例えば、センサーユニット７１４は、装置７００のオン/オフ状態や、ユニットの相対的な位置を検出することができる。例えば、ユニットは、装置７００のディスプレイ及びキーパッドである。センサーユニット７１４は、装置７００又は装置７００の１つのユニットの位置の変化、ユーザによる装置７００への接触の有無、装置７００の方向又は加速/減速、装置７００の温度変化などを検出することができる。センサーユニット７１４は、何れの物理的な接触もない場合に付近の物体を検出するように配置される近接センサーを有してもよい。センサーユニット７１４は、イメージングアプリケーションに用いるための光センサー、例えば、ＣＭＯＳ又はＣＣＤ画像センサーを有してもよい。いくつかの実施例では、当該センサーユニット７１４は、加速度センサー、ジャイロスコープセンサー、磁気センサー、圧力センサー又は温度センサーをさらに有してもよい。
通信ユニット７１６は、装置７００と他の設備の間との無線又は有線通信の便宜を図るように配置される。装置７００は、例えば、ＷｉＦｉ、２Ｇ又は３Ｇ、又はそれらの組み合わせの通信標準に基づく無線ネットワークにアクセスできる。１つの例示的な実施例では、通信ユニット７１６は、ブロードキャストチャンネルを介して外部のブロードキャスト管理システムからのブロードキャスト信号又はブロードキャストに関する情報を受信する。１つの例示的な実施例では、前記通信ユニット７１６は、近距離通信を促進するために近距離無線通信（ＮＦＣ）モジュールをさらに有してもよい。例えば、ＮＦＣモジュールは、無線周波数認識（ＲＦＩＤ：Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）技術、赤外線データ協会（ＩｒＤＡ：Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）技術、超広帯域無線（ＵＷＢ：Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）技術、ブルートゥース（ＢＴ：Ｂｌｕｅｔｏｏｔｈ（登録商標））技術及び他の技術によって実現されてもよい。
例示的な実施例では、装置７００は、以下の方法を実行するために、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、デジタル信号プロセッサー（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、デジタル信号処理デバイス（ＤＳＰＤ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ）、プログラマブルロジックデバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、書替え可能ゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、コントローラ、マイクロコントローラ、マイクロプロセッサー、又は他の電子機器によって実現されてもよい。
当該方法は、合成写真を生成する命令を受信した後、写真を収集するように画像収集手段を起動するステップと、現在写真を収集する場合、現在写真における、現在写真の前に収集された写真によって算出された各表情採点値が予め設定されたスコア閾値以下である人間の顔を示すための第１種類の人間の顔の表情採点値を算出するステップと、現在写真における各第１種類の人間の顔の表情採点値が予め設定されたスコア閾値より大きいか否かを特定するステップと、現在写真における各第１種類の人間の顔の表情採点値が予め設定されたスコア閾値より大きい場合、写真の収集を停止するように画像収集手段を制御し、収集された写真における、表情採点値が予め設定されたスコア閾値より大きい人間の顔を示すための第２種類の人間の顔に対してスティッチング方式によって合成写真を生成するステップと、を含む。
例示的な実施例では、命令を有する非一時的コンピュータ読み取り可能な記録媒体、例えば、命令を有するメモリ７０４をさらに提供する。この命令は、装置７００のプロセッサー７２０により実行されて上述した方法を実現する。例えば、前記非一時的コンピュータ読み取り可能な記録媒体は、ＲＯＭ、ＲＡＭ、ＣＤ-ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク及び光データメモリ等であってもよい。
当業者は、明細書に対する理解、及び明細書に記載された発明に対する実施を介して、本発明の他の実施形態を容易に取得することができる。本発明は、本発明に対する任意の変形、用途、又は適応的な変化を含み、このような変形、用途、又は適応的な変化は、本発明の一般的な原理に従い、本発明では開示していない本技術分野の公知知識、又は通常の技術手段を含む。明細書及び実施例は、例示的なものにすぎず、本発明の真の範囲と主旨は、以下の特許請求の範囲によって示される。
本発明は、上記で記述され、図面で図示した特定の構成に限定されず、その範囲を逸脱しない範囲で、様々な修正や変更を行うことができる。本発明の範囲は、添付される特許請求の範囲のみにより限定される。
（関連出願の相互参照）
本出願は、出願番号が２０１６１１０７８２７９．０であって、出願日が２０１６年１１月２９日である中国特許出願に基づき優先権を主張し、当該中国特許出願の内容の全ては、本願発明に援用される。

Claims (11)

  1. 合成写真を生成する命令を受信した後、写真を収集するように画像収集手段を起動するステップと、
    現在写真を収集する場合、前記現在写真における、前記現在写真の前に収集された写真によって算出された各表情採点値が予め設定されたスコア閾値以下である人間の顔を示すための第１種類の人間の顔の表情採点値を算出するステップと、
    前記現在写真における各第１種類の人間の顔の表情採点値が前記予め設定されたスコア閾値より大きいか否かを特定するステップと、
    前記現在写真における各第１種類の人間の顔の表情採点値が前記予め設定されたスコア閾値より大きい場合、写真の収集を停止するように前記画像収集手段を制御し、前記収集された写真における表情採点値が予め設定されたスコア閾値より大きい人間の顔を示すための第２種類の人間の顔に対してスティッチング方式によって合成写真を生成するステップと、
    を含むことを特徴とする写真合成方法。
  2. 前記現在写真における各第１種類の人間の顔の表情採点値のうちの少なくとも一つが前記予め設定されたスコア閾値以下である場合、収集された写真の枚数が予め設定された枚数より小さいか否かを特定するステップと、
    収集された写真の枚数が予め設定された枚数より小さい場合、前記現在写真における第１種類の人間の顔の表情採点値に基づいて、後に収集される一枚の写真における表情採点値を計算しようとする第１種類の人間の顔を特定し、前記写真を収集するように画像収集手段を起動する操作を実行するステップと、
    をさらに含むことを特徴とする請求項１に記載の写真合成方法。
  3. 収集された写真の枚数が予め設定された枚数以上である場合、前記収集された写真から前記合成写真を生成するための人間の顔を特定し、スティッチング方式によって合成写真を生成するステップをさらに含むことを特徴とする請求項２に記載の写真合成方法。
  4. 前記収集された写真から前記合成写真を生成するための人間の顔を特定することは、
    前記収集された写真から第２種類の人間の顔及び第１種類の人間の顔における表情採点値が最も高い人間の顔を前記合成写真を生成するための人間の顔として選択することを含むことを特徴とする請求項３に記載の写真合成方法。
  5. 前記現在写真における、第１種類の人間の顔の表情採点値を算出するステップは、
    前記現在写真から各第１種類の人間の顔を認識するステップと、
    前記各第１種類の人間の顔が対応する部分特徴に対応する部分採点値を算出するステップと、
    前記各第１種類の人間の顔の各部分採点値を重み付け加算し、前記各第１種類の人間の顔の表情採点値を得るステップと、
    を含むことを特徴とする請求項１に記載の写真合成方法。
  6. 合成写真を生成する命令を受信した後、写真を収集するように画像収集手段を起動するよう構成された収集モジュールと、
    現在写真を収集する場合、前記現在写真における、前記現在写真の前に収集された写真によって算出された各表情採点値が予め設定されたスコア閾値以下である人間の顔を示すための第１種類の人間の顔の表情採点値を算出するように構成された算出モジュールと、
    前記現在写真における、前記算出モジュールにより算出された前記各第１種類の人間の顔の表情採点値が前記予め設定されたスコア閾値より大きいか否かを特定するように構成された第１特定モジュールと、
    前記第１特定モジュールにより前記現在写真における各第１種類の人間の顔の表情採点値が前記予め設定されたスコア閾値より大きいと特定された場合、写真の収集を停止するように前記画像収集手段を制御し、前記収集された写真における、表情採点値が予め設定されたスコア閾値より大きい人間の顔を示すための第２種類の人間の顔に対してスティッチング方式によって合成写真を生成するように構成された生成モジュールと、
    を含むことを特徴とする写真合成装置。
  7. 前記第１特定モジュールにより前記現在写真における各第１種類の人間の顔の表情採点値のうちの少なくとも一つが前記予め設定されたスコア閾値以下であると特定された場合、収集された写真の枚数が予め設定された枚数より小さいか否かを特定するように構成された第２特定モジュールと、
    前記第２特定モジュールにより前記収集された写真の枚数が予め設定された枚数より小さいと特定された場合、前記現在写真における第１種類の人間の顔の表情採点値に基づいて、後に収集される一枚の写真における表情採点値を計算しようとする第１種類の人間の顔を特定し、前記写真を収集するように画像収集手段を起動する操作を実行するよう構成された実行モジュールと、
    をさらに含むことを特徴とする請求項６に記載の写真合成装置。
  8. 前記第２特定モジュールにより前記収集された写真の枚数が予め設定された枚数以上であると特定された場合、前記収集された写真から前記合成写真を生成するための人間の顔を特定し、スティッチング方式によって合成写真を生成するように構成された第３特定モジュールと、をさらに含むことを特徴とする請求項７に記載の写真合成装置。
  9. 前記第３特定モジュールは、
    前記収集された写真から第２種類の人間の顔及び第１種類の人間の顔における表情採点値が最も高い人間の顔を前記合成写真を生成するための人間の顔として選択するように構成された選択サブモジュールを含むことを特徴とする請求項８に記載の写真合成装置。
  10. 前記算出モジュールは、
    前記現在写真から各第１種類の人間の顔を認識するように構成された識別サブモジュールと、
    前記各第１種類の人間の顔が対応する部分特徴に対応する部分採点値を算出するように構成された算出サブモジュールと、
    前記各第１種類の人間の顔の各部分採点値を重み付け加算し、前記各第１種類の人間の顔の表情採点値を得るように構成された重み付けサブモジュールと、
    を含むことを特徴とする請求項６に記載の写真合成装置。
  11. プロセッサーと、
    前記プロセッサーによって実行可能な命令を記憶するメモリと、を備え、
    前記プロセッサーは、
    合成写真を生成する命令を受信した後、写真を収集するように画像収集手段を起動し、
    現在写真を収集する場合、前記現在写真における、前記現在写真の前に収集された写真によって算出された各表情採点値が予め設定されたスコア閾値以下である人間の顔を示すための第１種類の人間の顔の表情採点値を算出し、
    前記現在写真における各第１種類の人間の顔の表情採点値が前記予め設定されたスコア閾値より大きいか否かを特定し、
    前記現在写真における各第１種類の人間の顔の表情採点値が前記予め設定されたスコア閾値より大きい場合、写真の収集を停止するように前記画像収集手段を制御し、前記収集された写真における、表情採点値が予め設定されたスコア閾値より大きい人間の顔を示すための第２種類の人間の顔に対してスティッチング方式によって合成写真を生成するように構成された
    ことを特徴とする写真合成装置。
JP2017511210A 2016-11-29 2016-12-20 写真合成方法、装置、プログラム、及び記録媒体 Active JP6622289B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201611078279.0 2016-11-29
CN201611078279.0A CN106600530B (zh) 2016-11-29 2016-11-29 照片合成方法及装置
PCT/CN2016/110975 WO2018098860A1 (zh) 2016-11-29 2016-12-20 照片合成方法及装置

Publications (2)

Publication Number Publication Date
JP2019504514A true JP2019504514A (ja) 2019-02-14
JP6622289B2 JP6622289B2 (ja) 2019-12-18

Family

ID=58461052

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017511210A Active JP6622289B2 (ja) 2016-11-29 2016-12-20 写真合成方法、装置、プログラム、及び記録媒体

Country Status (6)

Country Link
US (1) US20180150722A1 (ja)
EP (1) EP3328062A1 (ja)
JP (1) JP6622289B2 (ja)
KR (1) KR102116826B1 (ja)
CN (1) CN106600530B (ja)
WO (1) WO2018098860A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107507159A (zh) * 2017-08-10 2017-12-22 珠海市魅族科技有限公司 图片处理方法及装置、计算机装置及可读存储介质
CN107895146B (zh) * 2017-11-01 2020-05-26 深圳市科迈爱康科技有限公司 微表情识别方法、装置、系统及计算机可读存储介质
US11222208B2 (en) * 2018-07-13 2022-01-11 Futurewei Technologies, Inc. Portrait image evaluation based on aesthetics
CN109658278A (zh) * 2018-12-14 2019-04-19 北京智明星通科技股份有限公司 基于微信平台的线上互动方法、互动系统和移动终端
CN110852220B (zh) * 2019-10-30 2023-08-18 深圳智慧林网络科技有限公司 人脸表情的智能识别方法、终端和计算机可读存储介质
CN116489475B (zh) * 2019-12-31 2024-06-11 武汉星巡智能科技有限公司 基于趣味表情的视频剪辑方法、装置、设备及存储介质
EP4352690A4 (en) * 2021-08-11 2024-10-16 Samsung Electronics Co Ltd METHOD AND SYSTEM FOR AUTOMATIC CAPTURE AND PROCESSING OF AN IMAGE OF A USER

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004046591A (ja) * 2002-07-12 2004-02-12 Konica Minolta Holdings Inc 画像評価装置
JP2006203600A (ja) * 2005-01-21 2006-08-03 Konica Minolta Holdings Inc 撮像装置、画像処理装置、画像処理システム、画像処理方法及びプログラム
JP2008131405A (ja) * 2006-11-21 2008-06-05 Sony Corp 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム
JP2010045421A (ja) * 2008-08-08 2010-02-25 Casio Comput Co Ltd 撮像装置、画像処理方法、及びプログラム
JP2010081562A (ja) * 2008-09-29 2010-04-08 Fujifilm Corp 撮像装置、方法およびプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7659923B1 (en) * 2005-06-24 2010-02-09 David Alan Johnson Elimination of blink-related closed eyes in portrait photography
CN100514365C (zh) * 2007-01-15 2009-07-15 浙江大学 多张人脸照片自动合成方法
KR101665130B1 (ko) * 2009-07-15 2016-10-25 삼성전자주식회사 복수의 인물에 대한 이미지 생성 장치 및 방법
US8515137B2 (en) * 2010-05-03 2013-08-20 Microsoft Corporation Generating a combined image from multiple images
US8559766B2 (en) * 2011-08-16 2013-10-15 iParse, LLC Automatic image capture
US9336583B2 (en) * 2013-06-17 2016-05-10 Cyberlink Corp. Systems and methods for image editing
CN103491299B (zh) * 2013-09-17 2016-10-05 宇龙计算机通信科技(深圳)有限公司 一种拍照处理方法和装置
CN103747180A (zh) * 2014-01-07 2014-04-23 宇龙计算机通信科技(深圳)有限公司 照片拍摄方法及拍照终端
CN106156762A (zh) * 2016-08-12 2016-11-23 乐视控股（北京）有限公司 拍照处理方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004046591A (ja) * 2002-07-12 2004-02-12 Konica Minolta Holdings Inc 画像評価装置
JP2006203600A (ja) * 2005-01-21 2006-08-03 Konica Minolta Holdings Inc 撮像装置、画像処理装置、画像処理システム、画像処理方法及びプログラム
JP2008131405A (ja) * 2006-11-21 2008-06-05 Sony Corp 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム
JP2010045421A (ja) * 2008-08-08 2010-02-25 Casio Comput Co Ltd 撮像装置、画像処理方法、及びプログラム
JP2010081562A (ja) * 2008-09-29 2010-04-08 Fujifilm Corp 撮像装置、方法およびプログラム

Also Published As

Publication number Publication date
EP3328062A1 (en) 2018-05-30
US20180150722A1 (en) 2018-05-31
JP6622289B2 (ja) 2019-12-18
WO2018098860A1 (zh) 2018-06-07
CN106600530A (zh) 2017-04-26
KR102116826B1 (ko) 2020-06-01
CN106600530B (zh) 2019-02-15
KR20180133897A (ko) 2018-12-17

Similar Documents

Publication Publication Date Title
JP6622289B2 (ja) 写真合成方法、装置、プログラム、及び記録媒体
CN107690649B (zh) 数字拍摄装置及其操作方法
CN105512605B (zh) 人脸图像处理方法及装置
KR102022444B1 (ko) 복수의 카메라를 구비한 휴대 단말에서 유효한 영상들을 합성하기 위한 방법 및 이를 위한 휴대 단말
EP2822267B1 (en) Method and apparatus for previewing a dual-shot image
KR101727169B1 (ko) 이미지 필터를 생성하기 위한 방법 및 장치
CN113556461A (zh) 一种图像处理方法及相关装置
EP3076659A1 (en) Photographing apparatus, control method thereof, and non-transitory computer-readable recording medium
CN111726536A (zh) 视频生成方法、装置、存储介质及计算机设备
CN104219445B (zh) 拍摄模式调整方法及装置
JP2018518723A (ja) ゲーム実況方法及びその装置
WO2017031901A1 (zh) 人脸识别方法、装置及终端
JP7543562B2 (ja) 撮像処理方法、装置、電子機器及び可読記憶媒体
US20090251557A1 (en) Image pickup control method and apparatus for camera
CN113727015B (zh) 一种视频拍摄方法及电子设备
EP3316568B1 (en) Digital photographing device and operation method therefor
CN108353129B (zh) 拍摄设备及其控制方法
KR102501036B1 (ko) 이미지 촬영 방법, 이미지 촬영 장치 및 저장 매체
WO2023134583A1 (zh) 视频录制方法、装置及电子设备
JP2014075651A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2022024993A (ja) ビデオ処理方法及び装置、記憶媒体
CN112866557A (zh) 构图推荐方法和电子设备
CN115225756A (zh) 确定目标对象的方法、拍摄方法和装置
CN118012319B (zh) 一种图像处理方法、电子设备及计算机可读存储介质
CN117177052B (zh) 图像获取方法、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170223

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191121

R150 Certificate of patent or registration of utility model

Ref document number: 6622289

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250