JP6719457B2 - 画像の主要被写体を抽出する方法とシステム - Google Patents

Description

技術分野
本出願は画像処理の技術分野に関し、具体的には画像の主要被写体を抽出する方法に関する。本出願はまた、画像の主要被写体を抽出するシステムに関する。

背景
近年、技術の発展と人々の概念の遷移と共に、オンラインショッピングが徐々にショッピングの主流の１つになっている。オンラインショッピングプラットホームはうまく開発されている。このような状況下で、オンラインショッピングプラットホームは大量の製品画像を蓄積してきた。これらの製品画像を効果的に編成し、解析し、取り出し、消費者へ表示する方法が極めて重要になった。

製品画像のコンテンツは主要被写体と背景を含む。ユーザが製品の画像をアップロードし、同じまたは同様な製品を探索することを望む場合、ユーザは主として製品に関心がある。背景の存在は製品の探索結果に影響を与え得る。したがって、製品画像の主要被写体を抽出することが重要なタスクとなった。画像の主要被写体を抽出する従来の方法は手動介入に基づく。すなわち、分割領域は手動でフレーム選択および設定されなければならなく、これは低効率である。したがって、これらはインターネット上の何億もの画像には適さない。したがって、製品画像の主要被写体を自動的に抽出する方法であって画像内の特定コンテンツを正確に抽出し得る方法を設計することが要求される。

概要
一態様では、本開示は、画像の主要被写体のコンテンツの正確な判断および抽出を実現するために画像の主要被写体を抽出する方法に向けられる。本方法は、規定特徴に対応する認識対象領域が処理対象画像内に存在するかどうかを判断する工程を含み得る。本方法はまた、認識対象領域が存在する場合、処理対象画像の主要被写体を含む主要被写体領域を主要被写体領域の事前設定特徴パラメータと認識対象領域の座標および大きさとに従って判断する工程を含み得る。本方法はさらに、前景ターゲットの抽出処理のための前景画像として主要被写体領域の画像を抽出し、抽出された画像を処理対象画像の主要被写体として取得する工程を含み得る。

別の態様では、本開示は画像の主要被写体を抽出するシステムに向けられる。本システムは、規定特徴に対応する認識対象領域が処理対象画像内に存在するかどうかを判断するように構成された判断モジュールを含み得る。本システムはまた、認識対象領域が存在する場合、処理対象画像の主要被写体を含む主要被写体領域を主要被写体領域の事前設定特徴パラメータと認識対象領域の座標および大きさとに従って判断するように構成された矩形フレーム取得モジュールを含み得る。本システムはさらに、前景領域ターゲットの抽出処理のための前景画像として主要被写体領域の画像を抽出し、抽出された画像を処理対象画像の主要被写体として取得するように構成された抽出モジュールを含み得る。

本開示の実施形態の技術的解決策を通して、処理対象画像の主要被写体領域は、規定特徴に対応する認識対象領域を処理対象画像が有するかどうかに従って異なる方法によりそれぞれ取得される。事前設定アルゴリズムが主要被写体領域の画像に対し行われる。同アルゴリズムを介し抽出された前景領域に対応する画像が処理対象画像の主要被写体として使用される。したがって、抽出された主要被写体は正確でありかつ信頼でき、主要被写体の抽出は自動化される。処理効率はそれに応じて改善される。

本開示の一実施形態による、画像の主要被写体を抽出する例示的方法のフローチャートである。 本開示の一実施形態による、製品画像のスーパーピクセルセグメント化の例示的結果の概要図である。 本開示の一実施形態による、製品画像の頭−肩検出の例示的結果の概要図である。 本開示の一実施形態による、頭−肩検出に従って矩形を推定した例示的結果の概要図である。 本開示の一実施形態による、頭および肩が検出されない例示的原製品画像の概要図である。 本開示の一実施形態による、図５Ａに基づく製品の例示的重要度の概要図である。 本開示の一実施形態による、製品の例示的二値化重要度の概要図である。 本開示の一実施形態による、矩形により各ポリゴンを取り囲む概要図である。 本開示の一実施形態による、すべての矩形を取り囲む周辺矩形の概要図である。 本開示の一実施形態による、製品画像からの主要被写体抽出の例示的最終結果（頭および肩が検出された）の概要図である。 本開示の一実施形態による、製品画像からの主要被写体抽出の例示的最終結果（頭および肩が検出されない）の概要図である。 本開示の一実施形態による、主要被写体抽出の例示的有効性の概要図である。 本開示の一実施形態による、主要被写体抽出の例示的有効性の別の概要図である。 本開示の一実施形態による、主要被写体抽出の例示的有効性の別の概要図である。 本開示の一実施形態による、主要被写体抽出の例示的有効性の別の概要図である。 本開示の一実施形態による、例示的画像抽出システムの構造図である。

詳細な説明
背景技術において述べたように、既存画像抽出技術は画像抽出の効率と精度の両方を考慮し得ない。この目的のため、本開示は画像の主要被写体を抽出する方法を提案する。規定特徴に対応する認識対象領域が処理対象画像内に存在するということを判断した後、本方法は、処理対象画像の主要被写体を含む主要被写体領域を主要被写体領域の事前設定特徴パラメータと認識対象領域の座標および大きさとに従って判断する工程を含む。本方法はまた、前景ターゲットの抽出処理のための前景画像として主要被写体領域の画像を抽出する工程を含む。したがって、抽出された主要被写体は正確でありかつ信頼でき、主要被写体の抽出は自動化される。処理効率はそれに応じて改善される。

図１は、本開示の一実施形態による、画像の主要被写体を抽出する例示的方法のフローチャートである。本方法は以下の工程を含む。

Ｓ１０１：規定特徴に対応する認識対象領域が処理対象画像内に存在するかどうかを判断する。

予想される抽出対象主要被写体画像に基づき、本開示の方法は主要被写体の関連特徴を予め規定し、規定された特徴に対応する認識対象領域を検出することにより精細な抽出操作を行い得る。

大抵は、多数の原画像が存在する。効率を向上するために、本開示の方法は、処理対象画像の多数の原画像をスクリーニングする前処理機構を使用し得る。処理対象画像の数を低減するために、前処理機構は主要被写体を容易に表示するための画像を選択するために原画像が単色背景を有するかどうかを判断する工程を含み得る。したがって、この工程の前に以下の操作工程が予め行われ得る。

（ａ）処理対象画像に対しスーパーピクセルセグメント化を行い、各セグメント化スーパーピクセルブロックの平均色値を判断する。

スーパーピクセルは色、輝度およびテクスチャなどの同様な特徴を有する多くの隣接ピクセルを含む小領域である。大抵の場合、これらの領域は、さらなる画像セグメント化に役立つ情報を保持しており、画像内の物体に関するエッジ情報を壊すことはない。スーパーピクセル画像セグメント化により強エッジ無しに画像をスーパーピクセル領域にセグメント化した後、各スーパーピクセルブロックの平均色値がＬａｂ色空間などの色モデルにより推定され得る。

（ｂ）処理対象画像の単色背景のスコアを判断し、処理対象画像が単色背景を有するかどうかを単色背景のスコアに従って判断する。

前の工程において使用されたＬａｂ色に基づき、この工程は、処理対象画像の４辺におけるスーパーピクセルブロックの平均Ｌａｂ色値を一組の事前設定パラメータに従ってクラスタリングする工程を含み得る。この工程はまた、クラスタリング後により多くのデータ点を含むクラスタリング中心（clustering center）により表される色値を処理対象画像の背景色として採用する工程を含み得る。いくつかの実施形態では、この工程は処理対象画像の単色背景のスコアを判断する工程を含み得、単色背景のスコアは処理対象画像のピクセルの総数に対する背景色の色閾値を満足するスーパーピクセルブロック内に含まれるピクセルの数の比を含む。単色背景のスコアを得た後、本工程はさらに、単色背景のスコアが事前設定閾値より高いかどうかを判断する工程を含み得る。判定結果がイエスであれば、処理対象画像は単色背景を有するということが確認される。そうでなければ、工程はさらに、規定特徴に対応する認識対象領域が処理対象画像内に存在するかどうかを判断する工程を含み得る。

いくつかの実施形態では、本開示の方法は単純線形反復クラスタリング（ＳＬＩＣ：simple linear iterative clustering）方法によりスーパーピクセルセグメント化を行い得る。本方法は、画像データを初期色空間からＣＩＥＬＡＢ色空間へ変換し、正規化されたピクセルの位置を加算することにより５次元データ空間を形成する工程を含み得る。本方法はまた、グリッド距離Ｓを規定するＫクラスタリング中心Ｃ_ｋ＝［ｌ_ｋ，ａ_ｋ，ｂ_ｋ，ｘ_ｋ，ｙ_ｋ］^Ｔを選択する工程を含み得る。本方法はさらに、クラスタリング中心周囲の２Ｓ×２Ｓ範囲内の各データ点からクラスタリング中心までの距離を計算し、各データ点を最近接クラスタにグループ化する工程を含み得る。

上記処理において、距離Ｄ_ｓの計算式は次の通りである：

ここでｍは近さ係数（closeness factor）である。この例では、スーパーピクセルの数は２００として設定され、近さ係数は１０として設定される。製品画像は約２００個のスーパーピクセルブロックにセグメント化され得る。図２は、製品画像のスーパーピクセルセグメント化の例示的結果の概要図である。

その後、各スーパーピクセルブロックの平均Ｌａｂ色値は以下のように計算される：

画像の背景色（Ｌ_Ｂ，ａ_Ｂ，ｂ_Ｂ）として、より多くのデータ点を含むクラスタリング中心により表される色値を得るために、画像の４辺近傍のそれらスーパーピクセルブロックの平均Ｌａｂ色値が選択され、ｋ平均クラスタリング（k-means clustering）によりクラスタ化される。ここでｋ＝２、データ次元は３である。

下記式に適合するスーパーピクセルブロック内に含まれるピクセルの数が計算される。

ここでθは事前設定色閾値である。スーパーピクセルブロックの平均色値から画像の背景色までの距離がθより短ければ、スーパーピクセルブロックの色は画像の背景色と同じであると判断される。閾値はこの例では１００として設定される。

最後に、画像の単色背景のスコアが以下のように計算される：
ｐｒ＝ｐ_θ／Ｐ_ａｌｌ （６）
ここでＰ_ａｌｌは画像のピクセルの総数である。実験によると、単色背景のスコアが０．３より大きければ製品画像は単色背景を有する。単色背景を有する場合、製品画像の主要被写体を抽出する必要は無い。

Ｌａｂ色空間とクラスタリングとにより単色背景のスコアを取得することは本開示内の実施形態方法のうちの１つにすぎないということに注意すべきである。上記処理後、技術者により規定される規定特徴に従って認識が行われ得る。この工程は次の通りである：
Ａ１：規定特徴に対応する認識対象領域が処理対象画像内に存在するかどうかを判断する。同領域が存在すれば、工程Ｂ１へ移る。同領域が存在しなければ、処理は終了される。

Ｂ１：処理対象画像内の規定特徴に対応する領域に対しプロファイル検出を行い、検出された領域を、同領域が規定特徴に対応する認識対象領域かどうかを確認するために、規定特徴に対応するパラメータ化外観モデル（parameterization appearance model）に従って検証する。

ほとんどのアプリケーションシナリオでは、人を含む画像からの衣料品の主要被写体抽出が最も重要である。したがって、本開示の一実施形態によると、関連する人間の頭−肩領域が例示的規定特徴として取られる。人間の顔特徴に対応する処理対象画像の領域が人間の頭−肩領域内に存在するかどうかを判断した後、本工程は、処理対象画像内の人間の頭および肩の領域に対応する領域を、上半身検出アルゴリズムと頭−肩プロファイル検出器とにより検出する工程を含み得る。本工程はさらに、領域が人間の頭−肩領域に対応する認識対象領域かどうかを確認するために、検出された領域を頭−肩外観モデルに従って検証する工程を含み得る。

いくつかの実施形態では、上記工程における頭−肩プロファイル検出は、配向勾配ヒストグラム（ＨｏＧ：histogram of oriented gradients）特徴と組み合わせた適応型ブースティング（ＡｄａＢｏｏｓｔ：adaptive boosting）アルゴリズムによるトレーニングにより取得され得る。頭−肩外観モデルはデプスネットワークモデル（depth network model）に従って確立され得る。重要度検出は色空間分布（color space distribution）方法と組み合わせたグローバルユニークネス（global uniqueness）方法に基づき行われ得る。当業者はこれらの実施形態に基づき他のアルゴリズムまたは最適化モデルを採用し得、これらのすべては本開示の範囲に含まれる。

いくつかの実施形態では、本開示の方法は衣料品の製品画像処理に適用され得る。例えば、本方法はトレーニングデータセットとして女性のドレスの画像を使用する工程を含み得る。本方法はまた、顔検出アルゴリズムに基づき女性のドレスの画像内の顔を検出する工程を含み得る。本方法は、単一顔が検出される画像内の上半身の頭、首、左肩および右肩の位置を上半身検出法により検出する工程を含み得る。いくつかの要件によると、誤って検出された画像は手動で除去され得る。本方法はさらに、ＨｏＧ特徴と組み合わせたＡｄａＢｏｏｓｔアルゴリズムにより頭−肩検出器をトレーニングする工程を含み得る。顔検出において使用されるハール特徴（Haar feature）と比較して、ＨｏＧ特徴は、プロファイル記述方向により偏っており、頭−肩検出にとってより好ましい。いくつかの実施形態では、本方法は、５Ｗ個の肯定的サンプルと５Ｗ個の否定的サンプルにより１３クラスＡｄａＢｏｏｓｔ分類器（13-class AdaBoost classifier）をトレーニングすることにより高い検出率と低い誤警報率とを実現し得る。

ＨｏＧ特徴はターゲット物体のプロファイルの外観に密接に従うだけであるので、頭−肩プロファイルに似たプロファイルがＡｄａＢｏｏｓｔ検出器を使用することにより検出される場合、相当数の誤警報が発生する。誤警報を低減するために、本方法はさらに、デプスネットワークモデルに従って頭−肩外観モデルを使用する工程を含み得る。したがって、本方法はさらに、ＡｄａＢｏｏｓｔ検出の結果をターゲットの外観特徴に従って検証し得る。いくつかの実施形態では、これら２つの組み合わせは検出率を著しく低減することなく誤警報率を著しく低減する。図３は、製品画像の頭−肩検出の例示的結果の概要図である。

Ｓ１０２：認識対象領域が存在する場合に、処理対象画像の主要被写体を含む主要被写体領域を主要被写体領域の事前設定特徴パラメータと認識対象領域の座標および大きさとに従って判断する。

規定特徴に対応する認識対象領域が処理対象画像内に存在すると工程Ｓ１０１において判断した後、本方法は、アルゴリズムの実行時間を節約するために、頭および肩が検出される画像について、主要被写体領域の事前設定特徴パラメータに従って、人体の領域を取り囲む矩形フレームを推定する工程を含み得る。事前設定パラメータは、事前推定有効性を実現するために、以前の実験的統計値に従って柔軟に設定され得る。異なる値は、本開示の範囲に影響を与えない。

いくつかの実施形態では、本方法は、工程Ｓ１０１において頭−肩フレーム上の左上頂点の座標（ＲｅｃｔＸ，ＲｅｃｔＹ）と辺の長さ（Length）とを得る工程を含み得る。人間の頭および肩を含む大量の衣料製品画像による実験により、人体の領域を取り囲む矩形フレームの最も好適なパラメータが推定され得る。図４は、頭−肩検出に従って矩形を推定した例示的結果の概要図である。矩形フレームのパラメータは以下のように設定される：
左上頂点のｘ座標＝ＲｅｃｔＸ−０．５＊Length （７）
左上頂点のｙ座標＝ＲｅｃｔＹ＋０．７＊Length （８）
矩形フレームの幅＝Length＊２ （９）
矩形フレームの高さ＝Length＊１０ （１０）

規定特徴に対応する認識対象領域が存在しないということが工程Ｓ１０１において判断された場合、本方法はさらに、処理対象画像に対し重要度（significance）検出を行い、検出後に処理対象画像内の各ピクセルの重要度値に従って処理対象画像の主要被写体領域を判断する工程を含み得る。

いくつかの実施形態では、重要度値により主要被写体領域を判断する工程は以下の工程を含み得る。
（ａ）重要度値を含む重要度マップに対し二値化処理を行う。
（ｂ）二値化された画像内の小さな色ブロックに対しクリーンアップ処理を行う。
（ｃ）クリーンアップ処理を行った後に画像内の各色ブロックのプロファイル線を探索し、各色ブロックのプロファイル線をポリゴンにより近似する。
（ｄ）矩形により各ポリゴンを取り囲み、すべての矩形を取り囲む周辺矩形フレーム（peripheral rectangle frame）を主要被写体領域として取得する。

製品画像内の各ピクセルの重要度値を検出するための多くの方法が存在するということに留意されたい。本方法の上記説明は、色空間分布方法と組み合わせたグローバルユニークネス方法に従って製品画像に対し重要度検出を行う例である。本開示はこれに対しいかなる制限も課さない。当業者はまた、上記工程を参照して主要被写体領域の認識を実施するヒストグラムコントラスト（ＨＣ：histogram contrast）に基づく方法、領域コントラスト（ＲＣ：region contrast）に基づく方法、文脈認識（ＣＡ：context awareness）方法、および頻度調節（ＦＴ：frequency tuned）方法を含む他の別の方法を使用し得る。これらはすべて本開示の範囲に入る。

いくつかの実施形態では、製品画像に対し重要度検出を行うために、色空間分布方法と組み合わせたグローバルユニークネス方法が採用され得る。最初に、本方法は、画像色をクラスタ化し、ガウス混合モデル（ＧＭＭ：Gaussian mixture model）によりそれらを表す工程を含む。各ピクセルの色Ｉｓは複数のＧＭＭ成分の重み付け組み合わせにより表される。ある成分ｃの確率は次の通りである：

２つのＧＭＭ成分ｃ_ｉ、ｃ_ｊの相関は次のように示される：

グローバルユニークネス方法では、グローバル成分ｃ_ｉは他のすべての成分に対する重み付け色コントラストとして表される：

ここでＤ（ｃ_ｉ，ｃ_ｊ）は２つのＧＭＭ成分ｃ_ｉ、ｃ_ｊの中心間の空間的距離である。

色空間分布方法は、クラスタ成分Ｃの水平方向空間的分散を計算する工程を含む：

ここでｘ_ｈはピクセルｘのｘ座標である。

クラスタ成分Ｃの空間的分散は：
Ｖ（Ｃ）＝Ｖ_ｈ（Ｃ）＋Ｖ_ｖ（Ｃ） （１７）

垂直方向空間的分散Ｖ_ｖ（Ｃ）の定義は水平方向空間的分散Ｖ_ｈ（Ｃ）のものと類似している。色空間分布の値は：
Ｓ（Ｃ）＝（１−Ｖ（Ｃ））×（１−Ｄ（Ｃ）） （１８）
ここで、
Ｄ（Ｃ）＝Σ_ｘｐ（Ｃ│Ｉ_ｘ）ｄ_ｘ

図５Ａは、頭および肩が検出されない例示的原製品画像の概要図である。図５Ｂは、図５Ａに基づく製品の例示的重要度の概要図である。

いくつかの実施形態では、頭、肩が検出されない画像に関し、本方法は上記工程により画像の重要度値を検出する工程を含み得る。本方法はまた、０．１に設定される二値化閾値により重要度マップを構成するために製品画像の重要度値を二値化する工程を含み得る。本方法はさらに、すべての色ブロックのプロファイルと二値化画像内の取り囲み領域の面積とを取得し、閾値より小さい領域を除去する工程を含み得る。閾値は二値化画像内の小さい色ブロックを除去するために５０００に設定される。加えて、本方法は、画像内のすべての残り色ブロックのプロファイル線を探索し、各色ブロックのプロファイル線をポリゴンにより近似する工程を含み得る。さらに、本方法は、矩形により各ポリゴンを取り囲み、すべての矩形を取り囲む周辺矩形フレームを主要被写体領域として取得する工程を含み得る。図６Ａ、６Ｂ、６Ｃはそれぞれ、画像の例示的二値化重要度、各ポリゴンを矩形により取り囲む例、すべての矩形を周辺矩形により取り囲む例の概要図である。

Ｓ１０３：前景ターゲットの抽出処理のための前景画像として主要被写体領域の画像を抽出し、抽出された画像を処理対象画像の主要被写体として取得する。

主要被写体領域をより正確にするために、この工程の前に、本開示の方法は、主要被写体画像の最適化機構を含み得る。最適化機構の工程は次の通りである：
（ａ）各スーパーピクセルブロックの平均重要度値が事前設定閾値より連続的に高いかどうかを判断する。
（ｂ）スーパーピクセルブロックの平均重要度値が事前設定閾値より高い場合、スーパーピクセルブロック内の各ピクセルの画像マスク値を非零として設定する。
（ｃ）非零画像マスク値のピクセルを取り囲む周辺矩形フレームを使用することにより主要被写体領域を更新する。

上記処理後、得られた主要被写体領域はより正確でありかつより信頼できる。主要被写体領域を判断した後、本方法は主要被写体領域の画像を前景画像として設定し、ＧｒａｂＣｕｔアルゴリズムを初期化する工程を含み得る。ＧｒａｂＣｕｔアルゴリズムは、複雑な背景から前景ターゲットを抽出するための効果的双方向セグメント化アルゴリズムである。本アルゴリズムは、ピクセル分布を記述するためにガウス混合モデルを使用し、反復推定方法によりエネルギー最小化を実現する。これは今日の優秀かつ実用可能なアルゴリズムのうちの１つである。したがって、本開示の方法は、処理対象画像の主要被写体を得るためにＧｒａｂＣｕｔアルゴリズムを前景画像に対し行う工程を含む。しかし、これは唯一の方法ではない。当業者は、本開示の方法に基づき、主要被写体を得るために他の抽出アルゴリズムを利用し得る。それらの実施形態は本開示の範囲内である。

いくつかの実施形態では、本開示の方法はこの工程において製品画像に対しスーパーピクセルセグメント化を行う工程を含み得る。スーパーピクセルセグメント化は単純線形反復クラスタリング（ＳＬＩＣ：simple linear iterative clustering）方法により実施され得る。製品画像は、スーパーピクセルの数を２０にそして近さ係数を１０に設定することにより２０個のスーパーピクセルブロックにセグメント化され得る。本方法はまた、各スーパーピクセルブロック内のすべてのピクセルの平均重要度値を判断する工程を含み得る。本方法はまた、スーパーピクセルブロックの平均重要度値が事前設定閾値より高い場合にスーパーピクセルブロック内の各ピクセルの画像マスク値を非零となるように設定する工程を含み得る。閾値はこの例では０．６として設定される。加えて、本方法は非零画像マスク値のピクセルを取り囲む周辺矩形フレームを得る工程を含み得る。さらに、本方法は、矩形フレーム内の画像を前景画像として設定し、矩形フレームの外の画像を背景画像として設定し、ＧｒａｂＣｕｔアルゴリズムを初期化する工程を含み得る。ＧｒａｂＣｕｔアルゴリズムは、ガウス混合モデルを使用し、セグメント化推定の連続的相互繰り返しとモデルパラメータの学習とにより画像セグメント化を実施する。本方法はＧｒａｂＣｕｔアルゴリズムから得られた前景画像を製品の主要被写体として設定する工程を含み得る。図７Ａと図７Ｂは製品画像からの主要被写体抽出の例示的最終結果の概要図であり、図７Ａでは頭および肩が検出され、図７Ｂでは検出されない。図８、９、１０、１１はそれぞれ主要被写体抽出の例示的な有効性の概要図である。

別の態様では、本開示は、画像の主要被写体を抽出する方法に対応する画像の主要被写体を抽出するシステムに関する。図１２は例示的画像抽出システムの構造図である。本システムは次のものを含み得る：
規定特徴に対応する認識対象領域が処理対象画像内に存在するかどうかを判断するように構成された判断モジュール１２０１；
認識対象領域が存在する場合に、処理対象画像の主要被写体を含む主要被写体領域を主要被写体領域の事前設定特徴パラメータと認識対象領域の座標および大きさとに従って判断するように構成された矩形フレーム取得モジュール１２０２；
前景領域ターゲットの抽出処理のための前景画像として主要被写体領域の画像を抽出し、抽出された画像を処理対象画像の主要被写体として取得するように構成された抽出モジュール１２０３。

いくつかの実施形態では、本システムはまた、次のものを含み得る：
処理対象画像に対してスーパーピクセルセグメント化を行い、各セグメント化スーパーピクセルブロックの平均色値を判断するように構成されたセグメント化モジュール；
各スーパーピクセルブロックの平均色値に従って処理対象画像の背景色を判断するように構成された背景色モジュール；
処理対象画像の単色背景のスコアを判断し、処理対象画像が単色背景を有するかどうかを単色背景のスコアに従って判断するように構成された単色判断モジュール。単色背景のスコアは、処理対象画像のピクセルの総数に対する背景色の色閾値を満足するスーパーピクセルブロック内に含まれるピクセルの数の比を含む。

いくつかの実施形態では、判断モジュールは次のものを含み得る：
規定特徴に対応する領域が処理対象画像内に存在するかどうかを検出するように構成された検出サブモジュール；
規定特徴に対応する領域が存在するということを検出サブモジュールが検出すると処理対象画像内の規定特徴に対応する領域に対しプロファイル検出を行い、領域が規定特徴に対応する認識対象領域かどうかを確認するために、検出された領域を規定特徴に対応するパラメータ化外観モデルに従って検証するように構成された確認サブモジュール。

いくつかの実施形態では、規定特徴は人間の頭および肩の領域を含み得る。確認サブモジュールは、処理対象画像内の人間の頭および肩の領域に対応する領域を、上半身検出アルゴリズムと頭−肩プロファイル検出器とにより検出し、検出された領域を頭−肩外観モデルに従って検証するように構成され得る。

いくつかの実施形態では、頭−肩プロファイル検出器は、ＨｏＧ特徴と組み合わせたＡｄａＢｏｏｓｔアルゴリズムによりトレーニングすることにより得られ得る。頭−肩外観モデルはデプスネットワークモデルに従って確立され得る。

いくつかの実施形態では、本システムはさらに、認識対象領域が存在しない場合に処理対象画像に対して重要度検出を行い、検出後に処理対象画像内の各ピクセルの重要度値に従って処理対象画像の主要被写体領域を判断するように構成された重要度検出モジュールを含み得る。

いくつかの実施形態では、重要度検出モジュールは、重要度値を含む重要度マップに対して二値化処理を行い、二値化画像内の１つまたは複数のより小さい色ブロックに対してクリーンアップ処理を行うように構成され得る。重要度検出モジュールはまた、クリーンアップ処理を行った後に画像内の各色ブロックのプロファイル線を探索し、各色ブロックのプロファイル線をポリゴンにより近似し得る。重要度検出モジュールはさらに、矩形により各ポリゴンを取り囲み、すべての矩形を取り囲む周辺矩形フレームを主要被写体領域として取得するように構成され得る。

いくつかの実施形態では、本システムはさらに、処理対象画像に対してスーパーピクセルセグメント化を行い、各スーパーピクセルブロック内のすべてのピクセルの平均重要度値を判断するように構成された矩形フレーム更新モジュールを含み得る。矩形フレーム更新モジュールはまた、各スーパーピクセルブロックの平均重要度値が事前設定閾値より連続的に高いかどうかを判断し、スーパーピクセルブロックの平均重要度値が事前設定閾値より高い場合にスーパーピクセルブロック内の各ピクセルの画像マスク値を非零として設定するように構成され得る。矩形フレーム更新モジュールはさらに、非零画像マスク値のピクセルを取り囲む周辺矩形フレームを使用することにより主要被写体領域を更新するように構成され得る。

いくつかの実施形態では、抽出モジュールは、主要被写体領域の画像を前景画像として設定し、ＧｒａｂＣｕｔアルゴリズムを初期化するように構成され得る。抽出モジュールはまた、前景画像に対してＧｒａｂＣｕｔアルゴリズムを行うように構成され得る。

本開示の技術的解決策において、処理対象画像の主要被写体領域は、規定特徴に対応する認識対象領域が処理対象画像内に存在するかどうかに従って異なる方法を使用することにより取得される。事前設定アルゴリズムは主要被写体領域の画像に対し行われる。このアルゴリズムを介し抽出された前景領域に対応する画像は、処理対象画像の主要被写体として使用される。したがって、抽出された主要被写体は、主要被写体の自動画像抽出により正確でありかつ信頼できる。したがって、処理効率は改善される。

上記実施形態の説明から、当業者は、本開示の方法およびシステムがハードウェアにより実現され得ると理解し得る。本開示の方法およびシステムはまた、ソフトウェア＋必要汎用ハードウェアプラットフォームにより実現され得る。本開示の技術的解決策はソフトウェア製品として実現され得る。ソフトウェア製品は不揮発性記憶媒体（ＣＤ−ＲＯＭ、フラッシュドライブ、ポータブルハードディスク等々であり得る）内に格納され得る。ソフトウェア製品は、コンピュータ装置（パーソナルコンピュータ、サーバまたはネットワーク装置であり得る）に本開示の様々な実施形態における方法を実行させる命令を含み得る。

添付図面は好ましいシナリオおよび実施形態の概要図にすぎないということが当業者により理解される。添付図面内のモジュールまたは手順は本開示の実施形態に必要とされてもされなくてもよい。

装置ユニットのこれらのモジュールは実施形態シナリオの記述に従って装置ユニット内に配備され得るということが当業者により理解される。これらはまた、説明したシナリオ内のものとは異なる１つまたは複数の装置ユニット内に配備され得る。説明したシナリオを実施するための上記モジュール群は１モジュールとして組み合わされ得る。これらはまた、複数のサブモジュールに分割され得る。

本開示の上記実施形態の順番は、単に例示のためであり、実施形態およびシナリオの品質を表わさない。

これまでの説明は本開示のいくつかの実施形態およびシナリオを単に開示する。しかし、本開示はこれらに限定されない。当業者が持ち出し得る変形形態はすべて本開示の範囲内に入るものとする。

Claims (19)

1. 画像の主要被写体を抽出する方法であって、
   規定特徴に対応する認識対象領域が処理対象画像内に存在するかどうかを判断することと、
   前記認識対象領域が存在する場合に、前記処理対象画像の前記主要被写体を含む主要被写体領域を前記主要被写体領域の事前設定特徴パラメータと前記認識対象領域の座標および大きさとに従って判断することと、
   前景ターゲットの抽出処理のための前景画像として前記主要被写体領域の画像を抽出することであって、前記抽出画像は前記処理対象画像の前記主要被写体として処理される、抽出することと、を含み、
   前記規定特徴に対応する前記認識対象領域が前記処理対象画像内に存在するかどうかを判断する前に、さらに、
   前記処理対象画像に対してスーパーピクセルセグメント化を行うことと、
   各セグメント化スーパーピクセルブロックの平均色値を判断することと、
   各スーパーピクセルブロックの前記平均色値に従って前記処理対象画像の背景色を判断することと、
   前記処理対象画像の単色背景のスコアを判断することと、
   前記処理対象画像が単色背景を有するかどうかを前記単色背景の前記スコアに従って判断することと、を含み、
   前記単色背景の前記スコアは、前記処理対象画像のピクセルの総数に対する前記背景色の色閾値を満足するスーパーピクセルブロック内に含まれるピクセルの数の比を含む、方法。
2. 前記規定特徴に対応する前記認識対象領域が前記処理対象画像内に存在するかどうかを判断することは、
   前記規定特徴に対応する領域が前記処理対象画像内に存在するかどうかを検出することと、
   前記領域が存在する場合に、前記処理対象画像内の前記規定特徴に対応する前記領域に対してプロファイル検出を行うことと、
   前記領域が前記規定特徴に対応する前記認識対象領域かどうかを確認するために、検出された領域を前記規定特徴に対応するパラメータ化外観モデルに従って検証することと
   を含む、請求項１に記載の方法。
3. 前記規定特徴は人間の頭および肩の領域を含み、
   前記処理対象画像内の前記規定特徴に対応する前記領域に対し前記プロファイル検出を行うことは、前記処理対象画像内の前記人間の頭および肩の前記領域に対応する領域を上半身検出アルゴリズムと頭−肩プロファイル検出器とにより検出することを含み
   前記検出された領域を前記規定特徴に対応するパラメータ化外観モデルに従い検証することは、前記検出された領域を頭−肩外観モデルに従って検証することを含む、請求項２に記載の方法。
4. 前記頭−肩プロファイル検出器はＨｏＧ特徴と組み合わせたＡｄａＢｏｏｓｔアルゴリズムによりトレーニングすることにより得られ、前記頭−肩外観モデルはデプスネットワークモデルに従って確立される、請求項３に記載の方法。
5. 前記認識対象領域が存在しないという前記判断に応じて、前記処理対象画像に対し重要度検出を行い、前記検出後に前記処理対象画像内の各ピクセルの重要度値に従って前記処理対象画像の前記主要被写体領域を判断することをさらに含む、請求項１に記載の方法。
6. 画像の主要被写体を抽出する方法であって、
   規定特徴に対応する認識対象領域が処理対象画像内に存在するかどうかを判断することと、
   前記認識対象領域が存在する場合に、前記処理対象画像の前記主要被写体を含む主要被写体領域を前記主要被写体領域の事前設定特徴パラメータと前記認識対象領域の座標および大きさとに従って判断することと、
   前景ターゲットの抽出処理のための前景画像として前記主要被写体領域の画像を抽出することであって、前記抽出画像は前記処理対象画像の前記主要被写体として処理される、抽出することと、を含み、
   前記認識対象領域が存在しないという前記判断に応じて、前記処理対象画像に対し重要度検出を行い、前記検出後に前記処理対象画像内の各ピクセルの重要度値に従って前記処理対象画像の前記主要被写体領域を判断することをさらに含み、
   前記検出後に前記処理対象画像内の各ピクセルの前記重要度値に従って前記処理対象画像の前記主要被写体領域を判断することは、
   前記重要度値を含む重要度マップに対して二値化処理を行うことと、
   前記二値化画像内の１つまたは複数のより小さい色ブロックに対してクリーンアップ処理を行うことと、
   前記クリーンアップ処理を行った後に前記画像内の各色ブロックのプロファイル線を探索し、各色ブロックの前記プロファイル線をポリゴンにより近似することと、
   矩形により各ポリゴンを取り囲み、すべての矩形を取り囲む周辺矩形フレームを前記主要被写体領域として取得することと、を含む、方法。
7. 画像の主要被写体を抽出する方法であって、
   規定特徴に対応する認識対象領域が処理対象画像内に存在するかどうかを判断することと、
   前記認識対象領域が存在する場合に、前記処理対象画像の前記主要被写体を含む主要被写体領域を前記主要被写体領域の事前設定特徴パラメータと前記認識対象領域の座標および大きさとに従って判断することと、
   前景ターゲットの抽出処理のための前景画像として前記主要被写体領域の画像を抽出することであって、前記抽出画像は前記処理対象画像の前記主要被写体として処理される、抽出することと、を含み、
   前記前景ターゲットの前記抽出処理のための前記前景画像として前記主要被写体領域の前記画像を抽出する前に、さらに、
   前記処理対象画像に対してスーパーピクセルセグメント化を行い、各スーパーピクセルブロック内のすべてのピクセルの平均重要度値を判断することと、
   各スーパーピクセルブロックの前記平均重要度値が事前設定閾値より連続的に高いかどうかを判断することと、
   スーパーピクセルブロックの前記平均重要度値が前記事前設定閾値より高い場合に前記スーパーピクセルブロック内の各ピクセルの画像マスク値を非零となるように設定することと、
   非零画像マスク値の前記ピクセルを取り囲む周辺矩形フレームを使用することにより前記主要被写体領域を更新することと、を含む、方法。
8. 前記前景ターゲットの前記抽出処理のための前記前景画像として前記主要被写体領域の前記画像を抽出することは、前記前景画像として前記主要被写体領域の前記画像を設定することと、前記前景画像に対してＧｒａｂＣｕｔアルゴリズムを行うこととを含む、請求項１〜７のいずれか１項に記載の方法。
9. 画像の主要被写体を抽出するシステムであって、
   規定特徴に対応する認識対象領域が処理対象画像内に存在するかどうかを判断するために使用される判断モジュールと、
   前記認識対象領域が存在する場合、前記処理対象画像の前記主要被写体を含む主要被写体領域を前記主要被写体領域の事前設定特徴パラメータおよび前記認識対象領域の座標と大きさとに従って判断するために使用される矩形フレーム取得モジュールと、
   前景領域ターゲットの抽出処理のための前景画像として前記主要被写体領域の画像を抽出し、前記抽出画像を前記処理対象画像の前記主要被写体として取得するために使用される抽出モジュールと、を含み、
   前記処理対象画像に対してスーパーピクセルセグメント化を行い、各セグメント化スーパーピクセルブロックの平均色値を判断するために使用されるセグメント化モジュールと、
   各スーパーピクセルブロックの前記平均色値に従って前記処理対象画像の背景色を判断するために使用される背景色モジュールと、
   前記処理対象画像の単色背景のスコアを判断し、前記処理対象画像が単色背景を有するかどうかを前記単色背景の前記スコアに従って判断するために使用される単色判断モジュールと、をさらに含み、
   前記単色背景の前記スコアは、前記処理対象画像のピクセルの総数に対する前記背景色の色閾値を満足するスーパーピクセルブロック内に含まれるピクセルの数の比を含む、システム。
10. 前記判断モジュールは、
    前記規定特徴に対応する領域が前記処理対象画像内かどうかを検出するために使用される検出サブモジュールと、
    前記規定特徴に対応する領域が存在するということを前記検出サブモジュールが検出すると前記処理対象画像内の前記規定特徴に対応する前記領域に対しプロファイル検出を行い、前記領域が前記規定特徴に対応する前記認識対象領域かどうかを確認するために、検出された領域を、前記規定特徴に対応するパラメータ化外観モデルに従って検証するために使用される確認サブモジュール、とを含む、請求項９に記載のシステム。
11. 前記規定特徴は人間の頭および肩の領域を含み、
    前記確認サブモジュールは、前記処理対象画像内の前記人間の頭および肩の前記領域に対応する領域を上半身検出アルゴリズムと頭−肩プロファイル検出器とにより検出し、前記検出された領域を頭−肩外観モデルに従って検証するために使用される、請求項１０に記載のシステム。
12. 前記頭−肩プロファイル検出器はＨｏＧ特徴と組み合わせたＡｄａＢｏｏｓｔアルゴリズムによりトレーニングすることにより得られ、前記頭−肩外観モデルはデプスネットワークモデルに従って確立される、請求項１１に記載のシステム。
13. 前記認識対象領域が存在しないという前記判断に応じて、前記処理対象画像に対して重要度検出を行い、前記検出後に前記処理対象画像内の各ピクセルの重要度値に従って前記処理対象画像の前記主要被写体領域を判断するために使用される重要度検出モジュールをさらに含む、請求項９に記載のシステム。
14. 画像の主要被写体を抽出するシステムであって、
    規定特徴に対応する認識対象領域が処理対象画像内に存在するかどうかを判断するために使用される判断モジュールと、
    前記認識対象領域が存在する場合、前記処理対象画像の前記主要被写体を含む主要被写体領域を前記主要被写体領域の事前設定特徴パラメータおよび前記認識対象領域の座標と大きさとに従って判断するために使用される矩形フレーム取得モジュールと、
    前景領域ターゲットの抽出処理のための前景画像として前記主要被写体領域の画像を抽出し、前記抽出画像を前記処理対象画像の前記主要被写体として取得するために使用される抽出モジュールと、を含み、
    前記認識対象領域が存在しないという前記判断に応じて、前記処理対象画像に対して重要度検出を行い、前記検出後に前記処理対象画像内の各ピクセルの重要度値に従って前記処理対象画像の前記主要被写体領域を判断するために使用される重要度検出モジュールをさらに含み、
    前記重要度検出モジュールは、
    前記重要度値を含む重要度マップに対して二値化処理を行い、
    二値化画像内の１つまたは複数のより小さい色ブロックに対してクリーンアップ処理を行い、
    前記クリーンアップ処理を行った後に前記画像内の各色ブロックのプロファイル線を探索し、ポリゴンにより前記各色ブロックの前記プロファイル線を近似し、
    矩形により各ポリゴンを取り囲み、すべての矩形を取り囲む周辺矩形フレームを前記主要被写体領域として取得するために使用される、システム。
15. 画像の主要被写体を抽出するシステムであって、
    規定特徴に対応する認識対象領域が処理対象画像内に存在するかどうかを判断するために使用される判断モジュールと、
    前記認識対象領域が存在する場合、前記処理対象画像の前記主要被写体を含む主要被写体領域を前記主要被写体領域の事前設定特徴パラメータおよび前記認識対象領域の座標と大きさとに従って判断するために使用される矩形フレーム取得モジュールと、
    前景領域ターゲットの抽出処理のための前景画像として前記主要被写体領域の画像を抽出し、前記抽出画像を前記処理対象画像の前記主要被写体として取得するために使用される抽出モジュールと、を含み、
    前記処理対象画像に対してスーパーピクセルセグメント化を行い、各スーパーピクセルブロック内のすべてのピクセルの平均重要度値を判断し、
    各スーパーピクセルブロックの前記平均重要度値が事前設定閾値より連続的に高いかどうかを判断し、
    スーパーピクセルブロックの前記平均重要度値が前記事前設定閾値より高い場合に前記スーパーピクセルブロック内の各ピクセルの画像マスク値を非零として設定し、
    非零画像マスク値の前記ピクセルを取り囲む周辺矩形フレームを使用することにより前記主要被写体領域を更新するために使用される、矩形フレーム更新モジュールをさらに含む、システム。
16. 前記抽出モジュールは、前記前景画像として前記主要被写体領域の前記画像を設定し、前記前景画像に対してＧｒａｂＣｕｔアルゴリズムを行うために使用される、請求項９〜１５のいずれか１項に記載のシステム。
17. 命令のセットを格納する非一時的コンピュータ可読媒体であって、前記命令のセットは、装置に画像の主要被写体を抽出する方法を行わせるように、前記装置の少なくとも一つのプロセッサによって実行可能であり、前記方法が、
    規定特徴に対応する認識対象領域が処理対象画像内に存在するかどうかを判断することと、
    前記認識対象領域が存在する場合に、前記処理対象画像の前記主要被写体を含む主要被写体領域を前記主要被写体領域の事前設定特徴パラメータと前記認識対象領域の座標および大きさとに従って判断することと、
    前景ターゲットの抽出処理のための前景画像として前記主要被写体領域の画像を抽出することであって、前記抽出画像は前記処理対象画像の前記主要被写体として処理される、抽出することと、を含み、
    前記規定特徴に対応する前記認識対象領域が前記処理対象画像内に存在するかどうかを判断する前に、さらに、
    前記処理対象画像に対してスーパーピクセルセグメント化を行うことと、
    各セグメント化スーパーピクセルブロックの平均色値を判断することと、
    各スーパーピクセルブロックの前記平均色値に従って前記処理対象画像の背景色を判断することと、
    前記処理対象画像の単色背景のスコアを判断することと、
    前記処理対象画像が単色背景を有するかどうかを前記単色背景の前記スコアに従って判断することと、を含み、
    前記単色背景の前記スコアは、前記処理対象画像のピクセルの総数に対する前記背景色の色閾値を満足するスーパーピクセルブロック内に含まれるピクセルの数の比を含む、
    非一時的コンピュータ可読媒体。
18. 命令のセットを格納する非一時的コンピュータ可読媒体であって、前記命令のセットは、装置に画像の主要被写体を抽出する方法を行わせるように、前記装置の少なくとも一つのプロセッサによって実行可能であり、前記方法が、
    規定特徴に対応する認識対象領域が処理対象画像内に存在するかどうかを判断することと、
    前記認識対象領域が存在する場合に、前記処理対象画像の前記主要被写体を含む主要被写体領域を前記主要被写体領域の事前設定特徴パラメータと前記認識対象領域の座標および大きさとに従って判断することと、
    前景ターゲットの抽出処理のための前景画像として前記主要被写体領域の画像を抽出することであって、前記抽出画像は前記処理対象画像の前記主要被写体として処理される、抽出することと、を含み、
    前記命令のセットは、前記装置に、
    前記認識対象領域が存在しないという前記判断に応じて、前記処理対象画像に対し重要度検出を行い、前記検出後に前記処理対象画像内の各ピクセルの重要度値に従って前記処理対象画像の前記主要被写体領域を判断すること
    を更に行わせるように、前記装置の前記少なくとも一つのプロセッサによって実行可能であり、
    前記検出後に前記処理対象画像内の各ピクセルの前記重要度値に従って前記処理対象画像の前記主要被写体領域を判断することは、
    前記重要度値を含む重要度マップに対して二値化処理を行うことと、
    前記二値化画像内の１つまたは複数のより小さい色ブロックに対してクリーンアップ処理を行うことと、
    前記クリーンアップ処理を行った後に前記画像内の各色ブロックのプロファイル線を探索し、各色ブロックの前記プロファイル線をポリゴンにより近似することと、
    矩形により各ポリゴンを取り囲み、すべての矩形を取り囲む周辺矩形フレームを前記主要被写体領域として取得することと、を含む、
    非一時的コンピュータ可読媒体。
19. 命令のセットを格納する非一時的コンピュータ可読媒体であって、前記命令のセットは、装置に画像の主要被写体を抽出する方法を行わせるように、前記装置の少なくとも一つのプロセッサによって実行可能であり、前記方法が、
    規定特徴に対応する認識対象領域が処理対象画像内に存在するかどうかを判断することと、
    前記認識対象領域が存在する場合に、前記処理対象画像の前記主要被写体を含む主要被写体領域を前記主要被写体領域の事前設定特徴パラメータと前記認識対象領域の座標および大きさとに従って判断することと、
    前景ターゲットの抽出処理のための前景画像として前記主要被写体領域の画像を抽出することであって、前記抽出画像は前記処理対象画像の前記主要被写体として処理される、抽出することと、を含み、
    前記前景ターゲットの前記抽出処理のための前記前景画像として前記主要被写体領域の前記画像を抽出する前に、さらに、
    前記処理対象画像に対してスーパーピクセルセグメント化を行い、各スーパーピクセルブロック内のすべてのピクセルの平均重要度値を判断することと、
    各スーパーピクセルブロックの前記平均重要度値が事前設定閾値より連続的に高いかどうかを判断することと、
    スーパーピクセルブロックの前記平均重要度値が前記事前設定閾値より高い場合に前記スーパーピクセルブロック内の各ピクセルの画像マスク値を非零となるように設定することと、
    非零画像マスク値の前記ピクセルを取り囲む周辺矩形フレームを使用することにより前記主要被写体領域を更新することと、を含む、
    非一時的コンピュータ可読媒体。
    
    

Images