JP5602135B2 - ビデオコンテンツ内の個人の自動注釈付けのための方法およびシステム - Google Patents
ビデオコンテンツ内の個人の自動注釈付けのための方法およびシステム Download PDFInfo
- Publication number
- JP5602135B2 JP5602135B2 JP2011518715A JP2011518715A JP5602135B2 JP 5602135 B2 JP5602135 B2 JP 5602135B2 JP 2011518715 A JP2011518715 A JP 2011518715A JP 2011518715 A JP2011518715 A JP 2011518715A JP 5602135 B2 JP5602135 B2 JP 5602135B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- module
- video
- models
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 36
- 238000001514 detection method Methods 0.000 claims description 33
- 230000001815 facial effect Effects 0.000 claims description 23
- 239000013598 vector Substances 0.000 claims description 14
- 238000012545 processing Methods 0.000 description 9
- 230000008921 facial expression Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000035755 proliferation Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
- G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Collating Specific Patterns (AREA)
Description
(項目1)
ビデオ内の顔を識別するコンピュータ実装方法であって、
(a)少なくとも1つの入力ビデオストリームから、1つ以上の顔トラックを生成するステップと、
(b)前記1つ以上の顔トラックのそれぞれの1つ以上の主要な顔画像を選択するステップと、
(c)1つ以上の顔クラスタを生成するように、前記1つ以上の顔トラックをクラスタ化するステップであって、各顔クラスタは、前記主要な顔画像のうちの少なくとも1つに関連付けられる、ステップと、
(d)前記1つ以上の顔クラスタから、1つ以上の顔モデルを作成するステップと、
(e)前記顔モデルのうちの少なくとも1つを顔モデルデータベースに相関させるステップと
を含む、方法。
(項目2)
1つ以上の顔トラックを生成するステップは、
(i)前記少なくとも1つの入力ビデオストリーム内の顔を検出するステップと、
(ii)前記少なくとも1つの入力ビデオストリーム内の前記顔を追跡するステップと
を含む、項目1に記載のコンピュータ実装方法。
(項目3)
前記検出するステップおよび前記追跡するステップは、前記入力ビデオストリームの持続時間の間、間隔を置いて繰り返される、項目2に記載のコンピュータ実装方法。
(項目4)
(f)前記顔モデルデータベースからのデータを使用して、少なくとも1つの出力ビデオストリームに注釈を付けるステップをさらに含む、項目1に記載のコンピュータ実装方法。
(項目5)
(i)前記少なくとも1つの出力ビデオストリーム内の少なくとも1つの顔トラックに注釈を付けるステップをさらに含む、項目4に記載のコンピュータ実装方法。
(項目6)
相関させるステップは、前記1つ以上の顔クラスタを前記顔モデルデータベースに相関させるように、多数決アルゴリズムを使用するステップを含む、項目1に記載のコンピュータ実装方法。
(項目7)
相関させるステップは、前記1つ以上の顔クラスタを前記顔モデルデータベースに相関させるように、確率的投票アルゴリズムを使用するステップを含む、項目1に記載のコンピュータ実装方法。
(項目8)
ビデオ内の顔を識別するためのシステムであって、
(a)顔モデルおよび対応する名前を備える顔エントリを有する、顔モデルデータベースと、
(b)ビデオ顔識別モジュールであって、
(i)入力ビデオストリーム内の顔を検出し、1つ以上の検出顔を生成する、顔検出モジュールと、
(ii)前記1つ以上の検出顔のうちの少なくとも1つを追跡し、1つ以上の顔トラックを生成する、顔追跡モジュールと、
(iii)前記1つ以上の顔トラックを使用して、1つ以上のトラック内顔クラスタを生成する、トラック内顔クラスタ化モジュールと、
(iv)前記1つ以上のトラック内顔クラスタを使用して、1つ以上のトラック間顔クラスタを生成する、トラック間顔クラスタ化モジュールと、
(v)前記1つ以上のトラック間顔クラスタを使用して、前記1つ以上の検出顔の1つ以上の検出顔モデルを生成する、検出顔モデル生成モジュールと、
(vi)前記1つ以上の検出顔モデルを前記顔エントリと比較する、モデル比較モジュールと
を備える、ビデオ顔識別モジュールと
を備える、システム。
(項目9)
(c)顔モデルジェネレータであって、前記顔モデルジェネレータは、
(i)名前リストを生成する、名前生成モジュールと、
(ii)前記名前リスト内の1つ以上の対応する名前に関連付けられる、少なくとも1つの顔を有する、1つ以上の画像の場所を特定する、画像検索モジュールと、
(iii)前記1つ以上の画像内の1つ以上の標的顔を検出する、顔検出モジュールと、
(iv)前記1つ以上の標的顔のうちの少なくとも1つの1つ以上の顔モデルを生成する、顔モデル生成モジュールと、
(v)前記1つ以上の顔モデルおよび前記1つ以上の対応する名前を対で記憶する、収集モジュールと、
(vi)一貫性学習モジュールであって、1つ以上の代表的な顔モデルは、前記1つ以上の顔モデルから選択され、前記1つ以上の代表的な顔モデルは、前記顔モデルデータベース内に記憶される、一貫性学習モジュールと
を備える、顔モデルジェネレータをさらに備える、項目8に記載のシステム。
(項目10)
前記名前リストは、1つ以上の遠隔位置でアクセス可能な文書内の名前に基づいて生成される、項目9に記載のシステム。
(項目11)
文書は、ウェブ文書を含む、項目10に記載のシステム。
(項目12)
(d)前記検出顔に基づき、前記顔モデルデータベースを更新する、顔モデル更新モジュールをさらに備える、項目8に記載のシステム。
(項目13)
前記顔モデルデータベースは、1つ以上の顔画像および1つ以上の対応するテキストラベルを備える、1つ以上のエントリを含み、各エントリは、1つのエンティティを表す、項目8に記載のシステム。
(項目14)
前記顔モデルデータベースはさらに、1つ以上の顔画像および1つ以上の対応するテキストラベルを備える、ユーザによって直接入力される1つ以上のエントリを含む、項目13に記載のシステム。
(項目15)
前記顔追跡モジュールは、顔の特徴に基づく顔トラッカを含む、項目8に記載のシステム。
(項目16)
前記トラック内クラスタ化は、ノイズクラスタを除去するステップを含む、項目8に記載のシステム。
(項目17)
前記トラック間クラスタ化は、ノイズクラスタを除去するステップを含む、項目8に記載のシステム。
(項目18)
前記顔検出モジュールは、周期的に呼び出され、前記顔追跡モジュールは、前記顔検出モジュールによって検出される顔に対して呼び出される、項目8に記載のシステム。
(項目19)
(e)前記入力ビデオストリームに注釈を付けて、注釈付き出力ビデオストリームを作り出す、ビデオ注釈モジュールをさらに備える、項目8に記載のシステム。
(項目20)
(f)ユーザクエリを前記顔モデルデータベース内の1つ以上のエントリに関連付ける、クエリモジュールをさらに備える、項目8に記載のシステム。
本発明のさらなる特徴および利点、ならびにその種々の実施形態の構造および動作は、添付の図面を参照して、以下に詳細に記載される。本発明は、本明細書に記載される具体的実施形態に限定されないことが留意される。そのような実施形態は、例示するためだけに本明細書に提示される。追加の実施形態は、本明細書に包含される教示に基づき、関連技術分野に精通する者に明らかとなるであろう。
図1は、本発明の実施形態に係る、例えば、ビデオ内に登場する人気のある個人の名前等の情報で、ビデオに自動で注釈を付けることができるシステム100を示す。ビデオプロセッサモジュール101は、接続デバイス131を用いて、システムインターフェース130に連結される。システムインターフェース130は、ビデオプロセッサモジュール101と同一のコンピューティングプラットフォーム上にある、ユーザインターフェースもしくはアプリケーションプログラミングインターフェース、または例えば、ウェブクライアント等の遠隔ユーザインターフェースであってもよい。したがって、接続デバイス131は、例えば、周辺構成要素相互接続(Peripheral Component Interconnect:PCI)バス、イーサネット(登録商標)、または無線通信標準等の接続方法を使用してもよい。
図4は、本発明の実施形態に係る、2つの主要な処理段階を示す、フローチャートである。顔モデル生成段階401は、データベース121等の顔モデルのデータベースを構築し、更新するステップを含む。ビデオ顔認識段階402は、ビデオ内の顔を検出し、認識するために、既存の顔モデルデータベースを使用するステップを含む。顔モデル生成段階401の実施形態は、図5に示される構成要素段階にさらに分けられる。段階401は、図2に示されるものを含む構成要素を使用して実装することができる。ビデオ顔認識段階402の実施形態は、図7に示される構成要素段階にさらに分けられる。段階402は、図3に示されるものを含む構成要素を使用して実装することができる。
図7は、本発明の実施形態に係る、ビデオ顔認識段階402をより詳細に図示する。段階701では、ビデオが受信される。ビデオは、例えば、かつ制限なく、ローカルで、ネットワーク上で、またはビデオ再生デバイスもしくはビデオ記録デバイス等の外部ソースから受信されてもよい。本開示の教示は、例えば、MPEG、AVI、QuickTime、WMV等を含む、任意のビデオ形式のビデオに適用する。段階702では、到着ビデオストリーム上で、顔検出および追跡が実施される。本発明の一実施形態では、一連のブーストされた分類子の拡張子に基づく正面顔検出が使用される。一連のブーストされた分類子を使用する正面顔検出は、P. Viola and M. Jones, ”Robust real time object detection,” Proceedings of the IEEE ICCV Workshop on Statistical and Computational Theories of Vision, Vancouver, Canada (July 2001)に記載される。
Claims (20)
- ビデオ内の顔を識別するコンピュータ実装方法であって、
(a)少なくとも1つの入力ビデオストリームから、1つ以上の顔トラックを生成するステップと、
(b)前記1つ以上の顔トラックのそれぞれの1つ以上の主要な顔画像を選択するステップと、
(c)1つ以上の顔クラスタを生成するように、前記1つ以上の顔トラックをクラスタ化するステップであって、各顔クラスタは、前記主要な顔画像のうちの少なくとも1つに関連付けられる、ステップと、
(d)前記1つ以上の顔クラスタから、1つ以上の顔モデルを作成するステップであって、前記1つ以上の顔モデルの各々は、その顔モデルに関連付けられた検出顔の特定の特性を説明するそれぞれの低減されたセットの特徴ベクトルを含み、前記低減されたセットの特徴ベクトルの各々は、一貫性学習技術を使用して、それぞれの顔クラスタに関連付けられた前記1つ以上の主要な顔画像の一セットの特徴ベクトルを低減することにより取得される、ステップと、
(e)前記顔モデルのうちの少なくとも1つを顔モデルデータベースに相関させるステップと
を含む、方法。 - 1つ以上の顔トラックを生成するステップは、
(i)前記少なくとも1つの入力ビデオストリームの複数の画像フレーム内で前記顔を検出するステップと、
(ii)前記少なくとも1つの入力ビデオストリーム内の前記顔を追跡するステップと
を含む、請求項1に記載のコンピュータ実装方法。 - 前記検出するステップおよび前記追跡するステップは、前記入力ビデオストリームの持続時間の間、間隔を置いて繰り返される、請求項2に記載のコンピュータ実装方法。
- 前記検出するステップおよび前記追跡するステップは、所定の数よりも多い検出顔を含む前記入力ストリームの少なくとも1つの画像フレームを除外するステップをさらに含む、請求項1に記載のコンピュータ実装方法。
- 前記1つ以上のクラスタのそれぞれのクラスタは、前記主要な顔画像のうちの少なくとも1つのオクルージョンまたは品質のうちの少なくとも1つの点で異なる、請求項4に記載のコンピュータ実装方法。
- 相関させるステップは、前記1つ以上の顔クラスタを前記顔モデルデータベースに相関させるように、多数決アルゴリズムを使用するステップを含む、請求項1に記載のコンピュータ実装方法。
- 相関させるステップは、前記1つ以上の顔クラスタを前記顔モデルデータベースに相関させるように、確率的投票アルゴリズムを使用するステップを含む、請求項1に記載のコンピュータ実装方法。
- ビデオ内の顔を識別するためのシステムであって、
(a)顔モデルおよび対応する名前を備える顔エントリを有する、顔モデルデータベースであって、前記顔モデルの各々は、その顔モデルに関連付けられた検出顔の特定の特性を説明するそれぞれの低減されたセットの特徴ベクトルを含み、前記低減されたセットの特徴ベクトルの各々は、一貫性学習技術を使用して、前記検出顔の少なくとも1つの画像に関連付けられた一セットの特徴ベクトルを低減することにより取得される、顔モデルデータベースと、
(b)ビデオ顔識別モジュールであって、
(i)入力ビデオストリーム内の顔を検出し、1つ以上の検出顔を生成する、顔検出モジュールと、
(ii)前記1つ以上の検出顔のうちの少なくとも1つを追跡し、1つ以上の顔トラックを生成する、顔追跡モジュールと、
(iii)前記1つ以上の顔トラックを使用して、1つ以上のトラック内顔クラスタを生成する、トラック内顔クラスタ化モジュールと、
(iv)前記1つ以上のトラック内顔クラスタを使用して、1つ以上のトラック間顔クラスタを生成する、トラック間顔クラスタ化モジュールと、
(v)前記1つ以上のトラック間顔クラスタを使用して、前記1つ以上の検出顔の1つ以上の検出顔モデルを生成する、検出顔モデル生成モジュールと、
(vi)前記1つ以上の検出顔モデルを前記顔エントリと比較する、モデル比較モジュールと
を備える、ビデオ顔識別モジュールと
を備える、システム。 - (c)顔モデルジェネレータであって、前記顔モデルジェネレータは、
(i)名前リストを生成する、名前生成モジュールと、
(ii)前記名前リスト内の1つ以上の対応する名前に関連付けられる、少なくとも1つの顔を有する、1つ以上の画像の場所を特定する、画像検索モジュールと、
(iii)前記1つ以上の画像内の1つ以上の標的顔を検出する、顔検出モジュールと、
(iv)前記1つ以上の標的顔のうちの少なくとも1つの1つ以上の顔モデルを生成する、顔モデル生成モジュールと、
(v)前記1つ以上の顔モデルおよび前記1つ以上の対応する名前を対で記憶する、収集モジュールと、
(vi)一貫性学習モジュールであって、1つ以上の代表的な顔モデルは、前記1つ以上の顔モデルから選択され、前記1つ以上の代表的な顔モデルは、前記顔モデルデータベース内に記憶される、一貫性学習モジュールと
を備える、顔モデルジェネレータをさらに備える、請求項8に記載のシステム。 - 前記名前リストは、1つ以上の遠隔位置でアクセス可能な文書内の名前に基づいて生成される、請求項9に記載のシステム。
- 文書は、ウェブ文書を含む、請求項10に記載のシステム。
- (d)前記検出顔に基づき、前記顔モデルデータベースを更新する、顔モデル更新モジュールをさらに備える、請求項8に記載のシステム。
- 前記顔モデルデータベースは、1つ以上の顔画像および1つ以上の対応するテキストラベルを備える、1つ以上のエントリを含み、各エントリは、1つのエンティティを表す、請求項8に記載のシステム。
- 前記顔モデルデータベースはさらに、1つ以上の顔画像および1つ以上の対応するテキストラベルを備える、ユーザによって直接入力される1つ以上のエントリを含む、請求項13に記載のシステム。
- 前記顔追跡モジュールは、顔の特徴に基づく顔トラッカを含む、請求項8に記載のシステム。
- 前記トラック内クラスタ化は、ノイズクラスタを除去するステップを含む、請求項8に記載のシステム。
- 前記トラック間クラスタ化は、ノイズクラスタを除去するステップを含む、請求項8に記載のシステム。
- 前記顔検出モジュールは、周期的に呼び出され、前記顔追跡モジュールは、前記顔検出モジュールによって検出される顔に対して呼び出される、請求項8に記載のシステム。
- (e)前記入力ビデオストリームに注釈を付けて、注釈付き出力ビデオストリームを作り出す、ビデオ注釈モジュールをさらに備える、請求項8に記載のシステム。
- (f)ユーザクエリを前記顔モデルデータベース内の1つ以上のエントリに関連付ける、クエリモジュールをさらに備える、請求項8に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/172,939 US8213689B2 (en) | 2008-07-14 | 2008-07-14 | Method and system for automated annotation of persons in video content |
US12/172,939 | 2008-07-14 | ||
PCT/US2009/004061 WO2010008520A1 (en) | 2008-07-14 | 2009-07-14 | Method and system for automated annotation of persons in video content |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014077554A Division JP2014146367A (ja) | 2008-07-14 | 2014-04-04 | ビデオコンテンツ内の個人の自動注釈付けのための方法およびシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011528150A JP2011528150A (ja) | 2011-11-10 |
JP5602135B2 true JP5602135B2 (ja) | 2014-10-08 |
Family
ID=41060877
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011518715A Active JP5602135B2 (ja) | 2008-07-14 | 2009-07-14 | ビデオコンテンツ内の個人の自動注釈付けのための方法およびシステム |
JP2014077554A Withdrawn JP2014146367A (ja) | 2008-07-14 | 2014-04-04 | ビデオコンテンツ内の個人の自動注釈付けのための方法およびシステム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014077554A Withdrawn JP2014146367A (ja) | 2008-07-14 | 2014-04-04 | ビデオコンテンツ内の個人の自動注釈付けのための方法およびシステム |
Country Status (6)
Country | Link |
---|---|
US (1) | US8213689B2 (ja) |
EP (1) | EP2318979B1 (ja) |
JP (2) | JP5602135B2 (ja) |
KR (1) | KR101640268B1 (ja) |
CN (1) | CN102165464A (ja) |
WO (1) | WO2010008520A1 (ja) |
Families Citing this family (74)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4496263B2 (ja) * | 2008-10-23 | 2010-07-07 | 株式会社東芝 | 情報処理装置およびコンテンツ表示方法 |
US8396004B2 (en) * | 2008-11-10 | 2013-03-12 | At&T Intellectual Property Ii, L.P. | Video share model-based video fixing |
JP5361524B2 (ja) * | 2009-05-11 | 2013-12-04 | キヤノン株式会社 | パターン認識システム及びパターン認識方法 |
US8676725B1 (en) | 2009-06-05 | 2014-03-18 | Google Inc. | Method and system for entropy-based semantic hashing |
US8605956B2 (en) * | 2009-11-18 | 2013-12-10 | Google Inc. | Automatically mining person models of celebrities for visual search applications |
JP5684992B2 (ja) * | 2010-02-26 | 2015-03-18 | キヤノン株式会社 | 情報処理システム、情報処理装置、処理方法及びプログラム |
JP2015038640A (ja) * | 2010-04-19 | 2015-02-26 | 株式会社東芝 | 映像表示装置、映像表示方法 |
CN101853377B (zh) * | 2010-05-13 | 2012-10-17 | 复旦大学 | 一种对数字视频进行内容识别的方法 |
JP5375744B2 (ja) * | 2010-05-31 | 2013-12-25 | カシオ計算機株式会社 | 動画再生装置、動画再生方法及びプログラム |
US8726161B2 (en) * | 2010-10-19 | 2014-05-13 | Apple Inc. | Visual presentation composition |
US20120200667A1 (en) * | 2011-02-08 | 2012-08-09 | Gay Michael F | Systems and methods to facilitate interactions with virtual content |
US8903198B2 (en) * | 2011-06-03 | 2014-12-02 | International Business Machines Corporation | Image ranking based on attribute correlation |
US8769556B2 (en) * | 2011-10-28 | 2014-07-01 | Motorola Solutions, Inc. | Targeted advertisement based on face clustering for time-varying video |
CN104025117B (zh) | 2011-10-31 | 2018-09-28 | 惠普发展公司,有限责任合伙企业 | 时间面部序列 |
US20130148898A1 (en) * | 2011-12-09 | 2013-06-13 | Viewdle Inc. | Clustering objects detected in video |
US9239848B2 (en) | 2012-02-06 | 2016-01-19 | Microsoft Technology Licensing, Llc | System and method for semantically annotating images |
US8789120B2 (en) * | 2012-03-21 | 2014-07-22 | Sony Corporation | Temporal video tagging and distribution |
US8798401B1 (en) * | 2012-06-15 | 2014-08-05 | Shutterfly, Inc. | Image sharing with facial recognition models |
EP2680189A1 (en) * | 2012-06-26 | 2014-01-01 | Alcatel-Lucent | Method and system for generating multimedia descriptors |
US8965170B1 (en) * | 2012-09-04 | 2015-02-24 | Google Inc. | Automatic transition of content based on facial recognition |
CN103841367A (zh) * | 2012-11-21 | 2014-06-04 | 深圳市赛格导航科技股份有限公司 | 一种监控系统 |
KR101398700B1 (ko) * | 2012-12-20 | 2014-05-30 | 인하대학교 산학협력단 | 비디오 동영상 데이터를 위한 주석 시스템 및 방법 |
JP2014139733A (ja) * | 2013-01-21 | 2014-07-31 | Sony Corp | 情報処理装置および方法、並びにプログラム |
US9098552B2 (en) * | 2013-02-05 | 2015-08-04 | Google Inc. | Scoring images related to entities |
US9524282B2 (en) * | 2013-02-07 | 2016-12-20 | Cherif Algreatly | Data augmentation with real-time annotations |
US9760803B2 (en) * | 2013-05-15 | 2017-09-12 | Google Inc. | Associating classifications with images |
EP3011504A4 (en) * | 2013-06-19 | 2017-02-22 | Conversant LLC | Automatic face discovery and recognition for video content analysis |
US9501693B2 (en) * | 2013-10-09 | 2016-11-22 | Honda Motor Co., Ltd. | Real-time multiclass driver action recognition using random forests |
CN103530652B (zh) * | 2013-10-23 | 2016-09-14 | 北京中视广信科技有限公司 | 一种基于人脸聚类的视频编目方法、检索方法及其系统 |
US9852364B2 (en) * | 2014-03-19 | 2017-12-26 | Hulu, LLC | Face track recognition with multi-sample multi-view weighting |
GB2528044B (en) * | 2014-07-04 | 2018-08-22 | Arc Devices Ni Ltd | Non-touch optical detection of vital signs |
CN104133875B (zh) * | 2014-07-24 | 2017-03-22 | 北京中视广信科技有限公司 | 一种基于人脸的视频标注方法和视频检索方法 |
JP6472184B2 (ja) | 2014-07-29 | 2019-02-20 | キヤノン株式会社 | オブジェクト識別装置、オブジェクト識別方法及びプログラム |
US9854973B2 (en) | 2014-10-25 | 2018-01-02 | ARC Devices, Ltd | Hand-held medical-data capture-device interoperation with electronic medical record systems |
CN105893920B (zh) * | 2015-01-26 | 2019-12-27 | 阿里巴巴集团控股有限公司 | 一种人脸活体检测方法和装置 |
US9704020B2 (en) * | 2015-06-16 | 2017-07-11 | Microsoft Technology Licensing, Llc | Automatic recognition of entities in media-captured events |
CN105357475A (zh) * | 2015-10-28 | 2016-02-24 | 小米科技有限责任公司 | 用于视频播放的方法及装置 |
CN105681749A (zh) * | 2016-01-12 | 2016-06-15 | 上海小蚁科技有限公司 | 用于预览视频的方法、装置、系统和计算机可读介质 |
US9811763B2 (en) * | 2016-01-14 | 2017-11-07 | Social Studios Ltd. | Methods and systems for building a media clip |
US9918128B2 (en) * | 2016-04-08 | 2018-03-13 | Orange | Content categorization using facial expression recognition, with improved detection of moments of interest |
KR101827978B1 (ko) * | 2016-06-17 | 2018-02-09 | (주)잼투고 | 퍼포머 객체 기반의 협연 서비스 제공서버 및 제공방법 |
US10380429B2 (en) | 2016-07-11 | 2019-08-13 | Google Llc | Methods and systems for person detection in a video feed |
US10957171B2 (en) | 2016-07-11 | 2021-03-23 | Google Llc | Methods and systems for providing event alerts |
KR20180024200A (ko) * | 2016-08-29 | 2018-03-08 | 오드컨셉 주식회사 | 영상 검색 정보 제공 방법, 장치 및 컴퓨터 프로그램 |
BR102016030449A2 (pt) * | 2016-12-23 | 2018-07-17 | Faculdades Catolicas Associacao Sem Fins Lucrativos Mantenedora Da Pontificia Univ Catolica Do Rio D | método para avaliação e seleção de amostras de imagens faciais para o reconhecimento facial a partir de sequências de vídeo |
US10467510B2 (en) | 2017-02-14 | 2019-11-05 | Microsoft Technology Licensing, Llc | Intelligent assistant |
US11100384B2 (en) | 2017-02-14 | 2021-08-24 | Microsoft Technology Licensing, Llc | Intelligent device user interactions |
US11010601B2 (en) | 2017-02-14 | 2021-05-18 | Microsoft Technology Licensing, Llc | Intelligent assistant device communicating non-verbal cues |
US10506926B2 (en) | 2017-02-18 | 2019-12-17 | Arc Devices Limited | Multi-vital sign detector in an electronic medical records system |
US10492684B2 (en) | 2017-02-21 | 2019-12-03 | Arc Devices Limited | Multi-vital-sign smartphone system in an electronic medical records system |
CN106919917A (zh) * | 2017-02-24 | 2017-07-04 | 北京中科神探科技有限公司 | 人脸比对方法 |
US10223591B1 (en) | 2017-03-30 | 2019-03-05 | Amazon Technologies, Inc. | Multi-video annotation |
CN108734049A (zh) * | 2017-04-13 | 2018-11-02 | 佳能株式会社 | 图像处理方法和装置以及图像处理系统 |
US10057644B1 (en) * | 2017-04-26 | 2018-08-21 | Disney Enterprises, Inc. | Video asset classification |
US11783010B2 (en) | 2017-05-30 | 2023-10-10 | Google Llc | Systems and methods of person recognition in video streams |
US10410086B2 (en) * | 2017-05-30 | 2019-09-10 | Google Llc | Systems and methods of person recognition in video streams |
EP3410343A1 (en) * | 2017-05-30 | 2018-12-05 | Google LLC | Systems and methods of person recognition in video streams |
US11256951B2 (en) | 2017-05-30 | 2022-02-22 | Google Llc | Systems and methods of person recognition in video streams |
US10602987B2 (en) | 2017-08-10 | 2020-03-31 | Arc Devices Limited | Multi-vital-sign smartphone system in an electronic medical records system |
US10664688B2 (en) | 2017-09-20 | 2020-05-26 | Google Llc | Systems and methods of detecting and responding to a visitor to a smart home environment |
US11134227B2 (en) | 2017-09-20 | 2021-09-28 | Google Llc | Systems and methods of presenting appropriate actions for responding to a visitor to a smart home environment |
CN108229321B (zh) * | 2017-11-30 | 2021-09-21 | 北京市商汤科技开发有限公司 | 人脸识别模型及其训练方法和装置、设备、程序和介质 |
US10485431B1 (en) | 2018-05-21 | 2019-11-26 | ARC Devices Ltd. | Glucose multi-vital-sign system in an electronic medical records system |
KR102129843B1 (ko) * | 2018-12-17 | 2020-07-03 | 주식회사 크라우드웍스 | 검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법 및 장치 |
KR102192795B1 (ko) * | 2019-07-01 | 2020-12-18 | 한국과학기술원 | 기계 학습 데이터 레이블을 제3자 집단이 투표로 결정하고 보상을 블록체인에 기록하는 방법 및 장치 |
US11157777B2 (en) | 2019-07-15 | 2021-10-26 | Disney Enterprises, Inc. | Quality control systems and methods for annotated content |
CA3147361A1 (en) | 2019-08-09 | 2021-02-18 | Clearview Ai, Inc. | Methods for providing information about a person based on facial recognition |
CN110633677B (zh) * | 2019-09-18 | 2023-05-26 | 威盛电子股份有限公司 | 人脸识别的方法及装置 |
US11893795B2 (en) | 2019-12-09 | 2024-02-06 | Google Llc | Interacting with visitors of a connected home environment |
US11645579B2 (en) | 2019-12-20 | 2023-05-09 | Disney Enterprises, Inc. | Automated machine learning tagging and optimization of review procedures |
US11151386B1 (en) * | 2020-03-04 | 2021-10-19 | Amazon Technologies, Inc. | Automated identification and tagging of video content |
US11504014B2 (en) | 2020-06-01 | 2022-11-22 | Arc Devices Limited | Apparatus and methods for measuring blood pressure and other vital signs via a finger |
US11933765B2 (en) * | 2021-02-05 | 2024-03-19 | Evident Canada, Inc. | Ultrasound inspection techniques for detecting a flaw in a test object |
WO2024035442A1 (en) * | 2022-08-11 | 2024-02-15 | Innopeak Technology, Inc. | Methods and systems for image processing |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6272231B1 (en) | 1998-11-06 | 2001-08-07 | Eyematic Interfaces, Inc. | Wavelet-based facial motion capture for avatar animation |
US6795567B1 (en) | 1999-09-16 | 2004-09-21 | Hewlett-Packard Development Company, L.P. | Method for efficiently tracking object models in video sequences via dynamic ordering of features |
US7308133B2 (en) * | 2001-09-28 | 2007-12-11 | Koninklijke Philips Elecyronics N.V. | System and method of face recognition using proportions of learned model |
AUPS170902A0 (en) * | 2002-04-12 | 2002-05-16 | Canon Kabushiki Kaisha | Face detection and tracking in a video sequence |
WO2007036892A1 (en) | 2005-09-30 | 2007-04-05 | Koninklijke Philips Electronics, N.V. | Method and apparatus for long term memory model in face detection and recognition |
KR100771244B1 (ko) * | 2006-06-12 | 2007-10-29 | 삼성전자주식회사 | 동영상 데이터 처리 방법 및 장치 |
JP4697106B2 (ja) * | 2006-09-25 | 2011-06-08 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
US7881505B2 (en) | 2006-09-29 | 2011-02-01 | Pittsburgh Pattern Recognition, Inc. | Video retrieval system for human face content |
-
2008
- 2008-07-14 US US12/172,939 patent/US8213689B2/en active Active
-
2009
- 2009-07-14 CN CN2009801357210A patent/CN102165464A/zh active Pending
- 2009-07-14 KR KR1020117003427A patent/KR101640268B1/ko active IP Right Grant
- 2009-07-14 WO PCT/US2009/004061 patent/WO2010008520A1/en active Application Filing
- 2009-07-14 EP EP09788910.9A patent/EP2318979B1/en active Active
- 2009-07-14 JP JP2011518715A patent/JP5602135B2/ja active Active
-
2014
- 2014-04-04 JP JP2014077554A patent/JP2014146367A/ja not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
US8213689B2 (en) | 2012-07-03 |
JP2014146367A (ja) | 2014-08-14 |
WO2010008520A1 (en) | 2010-01-21 |
KR101640268B1 (ko) | 2016-07-15 |
JP2011528150A (ja) | 2011-11-10 |
KR20110036934A (ko) | 2011-04-12 |
US20100008547A1 (en) | 2010-01-14 |
EP2318979B1 (en) | 2018-06-06 |
CN102165464A (zh) | 2011-08-24 |
EP2318979A1 (en) | 2011-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5602135B2 (ja) | ビデオコンテンツ内の個人の自動注釈付けのための方法およびシステム | |
US8170280B2 (en) | Integrated systems and methods for video-based object modeling, recognition, and tracking | |
Huang et al. | Person search in videos with one portrait through visual and temporal links | |
JP5037627B2 (ja) | 顔認識を用いた画像の識別 | |
US9542419B1 (en) | Computer-implemented method for performing similarity searches | |
JP3873793B2 (ja) | 顔メタデータ生成方法および顔メタデータ生成装置 | |
US9176987B1 (en) | Automatic face annotation method and system | |
US10025854B2 (en) | Video searching | |
US7809192B2 (en) | System and method for recognizing objects from images and identifying relevancy amongst images and information | |
KR101516712B1 (ko) | 의미론적 시각 검색 엔진 | |
US20060253491A1 (en) | System and method for enabling search and retrieval from image files based on recognized information | |
Zhang et al. | Context-based person identification framework for smart video surveillance | |
CN112738556A (zh) | 视频处理方法及装置 | |
Li et al. | Real-time human action recognition by luminance field trajectory analysis | |
Gao et al. | Cast2face: assigning character names onto faces in movie with actor-character correspondence | |
Fischer et al. | Interactive person re-identification in TV series | |
CN113705288B (zh) | 一种基于3d人脸重建的公众人物识别系统和方法 | |
Jadhav et al. | Marking Celebrity Faces Utilizing Annotation by Mining Weakly Labeled Facial Images | |
Le et al. | Indexing faces in broadcast news video archives | |
Zhang et al. | MAR: Matching-Augmented Reasoning for Enhancing Visual-based Entity Question Answering | |
CN117786137A (zh) | 一种多媒体数据查询方法、装置、设备及可读存储介质 | |
CN118916515A (zh) | 融合属性特征与向量嵌入的检索方法、设备和存储介质 | |
Chu et al. | Somebody helps me: Travel video scene detection using web-based context | |
Adami et al. | Text Driven Recognition of Multiple Faces in Newspapers |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120713 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131125 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20131220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20140507 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20140528 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140723 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140819 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5602135 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |