JP5574556B1 - 視聴番組同定システム、方法およびプログラム - Google Patents

Abstract

【課題】ユーザのテレビ画面に映っている動画像を携帯端末のカメラ機能で撮影し、この動画像から取り出した１以上の静止画像の特徴点を、直近のテレビ放送からキャプチャしたシーン画像の特徴点と対比し、ユーザが現在視聴している放送局と視聴時刻をほぼリアルタイムにかつ正確に特定する。
【解決手段】任意個数の放送局において現在放送中のテレビ番組あるいはサイマル放送配信サーバから所定間隔で取得した画面のシーン画像の特徴点を算出し、放送局毎に所定時間分の特徴点データを記憶手段に保存する手段と、ユーザの携帯端末から送信された、ユーザが現在視聴しているテレビ番組の画像の特徴点データを受信する手段と、受信した特徴点データを、記憶手段に保存されている特徴点データと照合し、所定の一致条件を満たすシーン画像を特定する手段を備える。
【選択図】図３

Description

ユーザのテレビ画面に映っている動画像を携帯端末のカメラレンズで映し出し、この動画像から取り出した１以上の静止画像の特徴点を、直近のテレビ放送からキャプチャしたシーン画像の特徴点と照合し、その照合結果を基にユーザが現在視聴している放送局と時刻をほぼリアルタイムに同定するシステム方法およびプログラムに関する。

携帯端末にはカメラ機能が付与されることが普通になり、撮影対象物に向けて携帯端末をかざすように移動させるとカメラレンズの映し出す範囲が携帯端末の所定のエリアに表示される。非特許文献１に記載されているように、このマルチスクリーン（ダブルスクリーン、トリプルスクリーンなどの総称）視聴を利用したシステムが出現するようになってきた。
これは、テレビ番組が放映されているテレビ画面を撮影対象とし、携帯端末が撮影したテレビ画面の全部或は一部をサーバに送信すると、テレビ画面に表示されている内容に関連した情報が携帯端末に表示されるものである。たとえば、特許文献１に開示された「シンクロアド放送配信装置及び方法」はこのマルチスクリーンに関する発明である。

特開２００９−２７８３１５号公報

"マルチスクリーン型放送研究会、放送同期型のIPDCコンテンツ提供を検討"http://itpro.nikkeibp.co.jp/article/COLUMN/20120123/379101/?ST=network

マルチスクリーン視聴を利用したシステムでは、テレビ画面と携帯端末で表示される内容との間のタイムラグ（遅延及びリアルタイム性）が問題となる。
上記の特許文献１の発明は、サイマル放送配信を利用して一のスクリーンで放送本編を視聴し、他のスクリーンでシンクロアドを表示させるときの同期をとるための仕組みを提供するものである。具体的には、同期タイミング信号を予め配信信号に組み込んで本編視聴のスクリーンとシンクロアドを表示するスクリーンの同期を実現している。この同期タイミング信号の抽出に時系列に波形を追っていくアルゴリズム（フィンガープリント技術等と呼ばれる）が使われている。

ところで、特許文献1の仕組み（同期タイミング信号を予め配信信号に組み込む）では、設備や準備に係るコスト及び、状況の変化における利便性に問題が多い。そこでこのような問題を改善する異なった同期方法によるマルチスクリーン視聴を提案する。
放送局から直接電波を受信してテレビ画面に映し出して視聴しながら、携帯端末で視聴内容と連動させて関連情報を閲覧したい、というニーズもある。このニーズに応えるためには視聴者がどの放送局で何時放送されているシーンを視聴しているかをリアルタイムに且つ正確に特定することが重要である。
例えば、テレビではＡ社のＣＭが放送され、ユーザが携帯端末でこのＣＭを撮影してサーバに送り、サーバから送信されてきたＡ社の商品やＡ社主催のイベントなどの情報が携帯端末に表示されるとする。テレビ画面では既にＡ社からＢ社のＣＭに変わっているのに、携帯端末にはＡ社に関する情報が写されるのでは無視されるどころか不快感すら与えかねない。この両者の表示をタイミングよく連携させるためには、携帯端末から送信されてきた画像が、どのテレビ番組に関するものであるかをサーバでほぼリアルタイムにかつ正確に判定できる仕組みであることが重要である。
本発明はこの仕組みを提供することで、テレビのスクリーン上で放映されている放送と携帯端末のスクリーンに表示される関連情報及び、番組内クイズ、アンケート等の視聴者回答の受付やSNSサービスの様な視聴者の生の声の実時間反映など適切な連携を実現し、マルチスクリーンのシステムの利便性の向上をめざすことを課題とする。

上記の目的を達成するために、請求項１に係る発明は、ユーザが視聴している現在放送中のテレビ番組を映し出しているスクリーンを携帯端末で撮影し、撮影された動画像から静止画像を取得し、この静止画像から算出された特徴点データに基づき、該ユーザが視聴しているテレビ番組をほぼリアルタイムに同定するシステムであって、
任意個数の放送局において現在放送中のテレビ番組データを受信する放送番組同時受信手段と、
受信したテレビ番組データからＮ秒間隔で取得した画面の静止画像（以下、「シーン画像」）の特徴点をリアルタイムで算出し、放送局毎に現在放送されている直近の所定時間分の特徴点データを記憶手段に保存する特徴点収集手段と、
前記ユーザの携帯端末から送信された、該ユーザが視聴しているテレビ番組から取得した静止画像の特徴点データを受信するユーザ視聴データ受信手段と、
前記ユーザが現在視聴しているテレビ番組を同定するために、前記受信した特徴点データを、前記保存されている特徴点データと照合し、所定の一致条件を満たすシーン画像（以下、「当たりシーン画像」）を特定する画像検索手段と、
を備えることを特徴とする。
「視聴番組同定」とは、多数（１０００を超えることもありうる）の放送局において放送されている番組を対象とし、ユーザがどの放送局の何時に放送されたどのシーンを視聴しているかを特定することをいう。なお、スポーツ中継のように放送時間が変更になり、ＣＭの放送時間が予定と異なることがある。このような場合は、どの放送局をどの時刻に視聴していたかが特定できればよいので、放送局と視聴時刻を特定することも「視聴番組同定」といって差し支えない。

この発明により、現在放送中のテレビ番組の映像（全部あるいは一部）をユーザが携帯端末の画面上に映し出すと、現在視聴している放送局及びテレビ番組を特定することができる。なお、「テレビ番組」とは、テレビで放送されるすべての内容を含み、ＣＭも含まれる。
また、本発明は、ユーザの視聴している放送局と番組のシーン画像と視聴時刻の特定をリアルタイムに行うことが目的なので、現在放送されている直近のシーン画像の特徴点のみをデータとして持っていればよい。直近のせいぜい５〜６０秒程の映像に対応する特徴点データのみを照合対象とするので、照合処理の迅速化に資することとなる。
ユーザの携帯端末から画像データではなく特徴点データを送信するので、ユーザの携帯端末には特徴点抽出プログラムを実装しておかなければならないが、システム側の負荷は軽減される。

上記の請求項１に係る発明を次のように変形すれば、サイマル放送用の視聴番組同定システムとすることができる。すなわち、
同一テレビ番組を複数の放送媒体で提供する放送局のサイマル放送配信サーバから、実際の放送開始のＭ（Ｍ＝５〜１０が適当である）秒前からテレビ番組データを受信する放送番組先行受信手段と、
受信したテレビ番組データからＮ秒間隔で取得したシーン画像の特徴点を算出し、放送局毎に所定時間分の特徴点データを記憶手段に保存する特徴点収集手段と、
ユーザの携帯端末から送信された、該ユーザが視聴しているテレビ番組の画像の特徴点データを受信するユーザ視聴データ受信手段と、
前記受信した特徴点データを、前記保存されている特徴点データと照合し、所定の一致条件を満たす当たりシーン画像を特定する画像検索手段と、
を備えたシステムとすればよい。
「サイマル放送」とは、一つの放送局から同じ時間帯に同じ番組を異なる放送媒体で放送することをいう。これらの「放送媒体」としては、インターネット通信網、衛星放送、デジタル放送、ＣＡＴＶなどがある。
放送局によっては、同時刻に複数の異なるテレビ番組をそれぞれ１以上の放送媒体を介して提供することがある。その場合は、各テレビ番組をそれぞれ「放送局」とみなす。
請求項１に係る発明は、現在放送されているテレビ番組をリアルタイムで取得するのに対し、サイマル放送用の視聴番組同定システムは、通常放送局に設置されているサイマル放送配信サーバから実際に放送される数秒前からテレビ番組を取得する点で相違する。サイマル放送用の視聴番組同定システムの実施のためには、予め放送局との契約等によってサイマル放送配信サーバから受信することが可能となっていなくてはならない。

請求項２に係る発明は、請求項１に記載の視聴番組同定システムであって、
前記携帯端末はテレビ番組が放映されているスクリーンをＮ秒以上続けて撮影して得た動画像から静止画像データを取得し、取得した静止画像データから算出した特徴点データを所定の遅延時間経過後に送信することを特徴とする。
下記の実施形態では説明の便宜上、Ｎ＝１として説明する。ユーザの携帯端末がＮ秒以上撮影を続けることが望ましいのは、本発明のシステムがＮ秒ごとにテレビ番組の取得をしているので放送内容が大きく変化した場合（例：Ａ社のＣＭがＢ社のＣＭに変わった場合）にも対応できるようにするためである。
携帯端末からの送信に際し、適宜遅延時間を設けるのは、請求項１のようにリアルタイムでテレビ番組を取得する場合、記憶手段に特徴点データを格納するより先に携帯端末から受信することがありうるからである。

請求項３に係る発明は、請求項１に記載の視聴番組同定システムであって、
前記携帯端末はテレビ番組が放映されているスクリーンをＮ秒以上続けて撮影して得た動画像から静止画像データを取得し、取得した静止画像データを所定の遅延時間経過後に送信し、
前記ユーザ視聴データ受信手段は、特徴点データに代えて前記静止画像データを受信し、
前記画像検索手段は、この受信した静止画像データの特徴点を算出し、算出した特徴点データと前記記憶手段に記録されている特徴点データと照合することを特徴とする。

請求項４に係る発明は、請求項１に記載の視聴番組同定システムであって、
テレビ番組に関連する情報を格納する番組関連情報データベースと、前記当たりシーン画像を含むテレビ番組の関連情報を前記番組関連情報データベースから抽出して前記携帯端末に送信する当たり画像情報送信手段とを、さらに備えることを特徴とする。
本発明は現在視聴している放送局と視聴時刻を特定できるので、その情報を基に各種のサービスをユーザに提供できる。このようなサービスのひとつが、現在視聴している番組の関連情報を当該ユーザに提供することである。関連情報とは例えば当該テレビ番組がＣＭであれば、このＣＭで宣伝している商品についての詳細情報、或は詳細情報にアクセスするためのＵＲＬ一覧などであり、当該テレビ番組がドラマであれば、出演俳優の着用していた衣服を購入できるオンラインショップのサイトといったものである。

請求項５に記載した視聴番組同定方法、および請求項６に記載した視聴番組同定プログラムも上記の発明の目的を達成するものである。

テレビで放送されているスクリーン上の動画を携帯端末で撮影してから短時間で、ユーザが現在視聴している放送局と視聴時刻の特定ができる。その結果、マルチスクリーン視聴を利用したシステムの応用範囲が拡がる。

第１の実施形態のシステムの概要を示す図である。 第１の実施形態のシステムの携帯端末及びサーバの機能ブロックを示す図である。 第１の実施形態のシステムの動作の流れを説明するフロー図である。 第１の実施形態のシステムの特徴点データ記憶手段に記録されるデータを説明する図である。 第１の実施形態のシステムのサーバが一時的に保存するデータを説明する図である。 第１の実施形態のシステムの動作の流れを一時保存データと関連付けて説明する図である。 第２の実施形態のシステムの概要を示す図である。 第２の実施形態のサイマル放送配信について説明する図である。 第２の実施形態のシステムの携帯端末及びサーバの機能ブロックを示す図である。 第２の実施形態のシステムの動作を登録されたデータと関連づけて説明する図である。

《第１の実施形態》
以下、図面を参照しながら本発明の第１の実施の形態のシステム（以下、「本システム」）について説明する。この実施形態は、請求項１に係る発明に対応するものである。

本システムは、図１に示すように、ユーザが使用する携帯端末１とサーバ２と、ユーザが視聴するテレビ受像機３（以下、「テレビ３」）と放送局の設備４（以下、「放送局４」）から構成される。携帯端末１とサーバ２はインターネットＮを介して接続している。テレビ３とサーバ２のそれぞれは、放送局４と有線或は放送波発信アンテナ（図示せず）を介して無線で接続している。なお、テレビ番組を視聴するのはテレビ受像機とはかぎらずパソコンや携帯端末でも視聴できるが、この視聴可能な機器を総称してテレビ３と呼ぶ。また、地上波デジタル、ワンセグ、ＢＳなどの放送媒体によっては、テレビ３は専用のチューナ、デコーダが必要になるが図示および説明は省略する。

図１を参照しながら、本システムの概要を説明する。
本システムでは、放送局４が放送番組を送信すると、ユーザのテレビ３はこれを受信しスクリーン３１に映し出される。この放送番組はサーバ２によってもリアルタイムで受信され、サーバ２は所定間隔でシーン画像を取得する。そして、このシーン画像から特徴点データＡを直接抽出し、記憶する。一方、ユーザはスクリーン３１上の動画を携帯端末１で映し出すと、携帯端末１に実装されたアプリケーションソフトによって静止画像を取り出してサーバ２と同じアルゴリズムによって特徴点データＢを抽出する。約１秒程度の時間経過後に携帯端末１は特徴点データＢをサーバ２に送信し、サーバ２は記憶している特徴点データＡと受信した特徴点データＢを照合し、ユーザがスクリーン３１上でどの放送番組を見ているかを特定する。

以下、本システムについて詳しく説明する。
まず、図２を参照しながら、携帯端末１とサーバ２のそれぞれの機能を説明する。

携帯端末１は、スマートフォンと呼ばれる多機能携帯電話のような可搬型の情報処理装置である。
携帯端末１は、入力手段１１と、出力手段１２と、撮像手段１３と、記憶手段１４と、処理手段１５と、図示しない通信インターフェース手段を有する。

入力手段１１には、出力手段１２の画面に重ねて配置されるタッチパネルが含まれる。特徴点抽出プログラムの起動・終了の指示や、サーバ２へのアクセスなどはこの入力手段１１を介して行われる。
出力手段１２はディスプレイ画面が必須であり、適宜スピーカも含まれる。
撮像手段１３は、カメラレンズ及び撮像素子であり、本システムで用いられる携帯端末１はこのような画像撮影機能が必須である。

記憶手段１４には、処理手段１５による各種処理を実現するコンピュータプログラム、これらのプログラムの実行の際に必要となるパラメータ類や処理の中間結果などが格納される。
なお、本実施形態では、携帯端末１で撮影した画像の特徴点抽出は携帯端末１で行うものとする。したがって、特徴点を抽出するプログラムを実行するために必要なメモリを備えていることが必須である。

処理手段１５は、静止画像取得手段１５１、特徴点抽出手段１５２、特徴点送信手段１５３、視聴番組特定結果受信手段１５４、視聴番組関連情報取得手段１５５を有する。
静止画像取得手段１５１は、撮像手段１３によってテレビ３のスクリーン３１上の動画像を画面１２上に映し出し、この動画像から１以上の静止画像を取得する。
特徴点抽出手段１５２は、取得した静止画像の特徴点を抽出する。
特徴点送信手段１５３は、抽出された特徴点データをサーバ２に送信する。送信時に約１秒の遅延時間を設ける。
視聴番組特定結果受信手段１５４は、サーバ２に送信した特徴点データと特徴点データ記憶手段２１１（データ内容については後述）に一時保存されたいずれかの特徴点データと条件が合致すれば、送信した特徴点データに対応するテレビ番組に関連する情報が送信されてくるので、これを受信する。例えば、会社ＡのＣＭを撮影した場合、会社Ａの商品についての詳細な情報が掲載されたＷｅｂサイトのＵＲＬが送信されてくる、といったことが考えられる。
視聴番組関連情報取得手段１５５は、サーバ２から送信された情報に基づいて、自分が撮影したテレビ番組に関連する情報にアクセスする手段である。例えば、サーバ２からＵＲＬが送信されたならば、そのＵＲＬに基づいて該当するＷｅｂサイトにアクセスする。

処理手段１５に含まれる各手段１５１〜１５５の分類は、説明の便宜のためであり、各手段が截然と分かれているわけではない。これらの手段は所定のプログラムを携帯端末１が実装することにより実現される。つまり、このシステムは携帯端末向けの応用ソフト（アプリ）として、例えばＡＰＫファイルなどの形式でユーザに提供されることを想定している。このプログラムは記憶手段１４に格納されている。

サーバ２は、記憶手段２１と、処理手段２２と、図示しない入出力手段や通信インターフェース手段を有する情報処理装置である。

記憶手段２１は、特徴点データ記憶手段２１１と、番組関連情報データベース（以下、「番組関連情報ＤＢ」）２１２と、各種処理の中間結果などを格納するメモリ（図示せず）やコンピュータプログラムの格納手段（図示せず）などから構成される。
特徴点データ記憶手段２１１については後に詳しく説明する。番組関連情報ＤＢ２１２には、放送局と番組と放送時刻とが対応づけて登録されているとともに、その番組と関連あるさまざまな情報（ＵＲＬを含む）が適宜登録されている。番組関連情報ＤＢ２１２のデータは、事前に放送局から提供されるデータと、放送後に提供されるデータに大別される。後者は、実際に放送されるテレビ番組をモニターしているスタッフの手入力によって番組情報（例えば、テレビドラマであれば、出演者やその衣装なども含む情報）が登録されるデータである。

サーバ２の処理手段２２は、放送番組同時受信手段２２１と、特徴点収集手段２２２と、ユーザ視聴情報受信手段２２３と、画像検索手段２２４と、当たり画像情報送信手段２２５とを有する。
放送番組同時受信手段２２１は、任意個数の放送局において現在放送中のテレビ番組をリアルタイムに受信する。
特徴点収集手段２２２は、受信したテレビ番組から所定間隔毎に取り出したシーン画像から特徴点を直接抽出し、直近の所定時間分の特徴点データを特徴点データ記憶手段２１１に記録する。
ユーザ視聴情報受信手段２２３は、携帯端末１から特徴点データを受信する。
画像検索手段２２４は、受信した特徴点データを、特徴点データ記憶手段２１１に記録された特徴点データと照合し、最も条件に合致したシーン画像（当たりシーン画像）に対応する放送局と視聴時刻を特定する。なお、条件に合致するか否かを判定するための一致率の閾値などは、パラメータとして記憶手段２１に記憶されている。
当たり画像情報送信手段２２５は、当たりシーン画像に関する情報、例えばそのシーンを含むテレビ番組に関連するウェブサイトのＵＲＬを番組関連情報ＤＢ２１２から取り出して携帯端末１に送信する。

次に、本システムの動作について、図３に従い説明する。
本システムの動作は次の３つからなる。
・テレビ放送からリアルタイムに得られたシーン画像の特徴点データの抽出と記録
・携帯端末１から得られた特徴点データと記録された直近シーン画像の特徴点データとの照合
・合致するテレビ番組（放送局および視聴時刻を含む）の特定及び関連情報の送信

まず、サーバ２は、対象となる放送局のテレビ放送をキャプチャして得たシーン画像の特徴点データを抽出し、所定時間分の特徴点データを特徴点データ記憶手段２１１に記録する。これは図３のステップＳ（ａ）の処理である。この処理はステップＳ１からステップＳ８までの処理とは非同期に行われる。

このテレビ放送をキャプチャする処理の概要を図４を参照しながら説明する。サーバ２は、放送局Ａ，Ｂ，Ｃのそれぞれが提供するテレビ放送を１秒ごとに受信するものとする。図４（ａ）は、００：００：００から００：００：０９までに各放送局の提供する放送番組データからキャプチャした１０個のシーン画像から抽出した特徴点データを、特徴点データ記憶手段２１１に保存した状態を示す。図中、斜線を付した箇所には、放送局Ｂが００：００：０３に送信したシーン画像の特徴点データが記録されている。図４（ｂ）は、時刻００：００：１０にキャプチャした画像の特徴点データを記録した状態を示す（破線の矩形で示した箇所）。時刻００：００：００の特徴点データを最新時刻の特徴点データで上書きしている。このように特徴点データ記憶手段２１１には、１０秒分のデータだけが一時保存されており、１１秒経過するデータは最新のデータで上書きされる。なお、この保存時間は１０秒に限るものではなく、運用実績などにより適宜変更すればよい。最短で５秒、最長でも６０秒程度保存すれば実用上十分である。

携帯端末１から６個の静止画像の特徴点データが送信されたならば、サーバ２は特徴点データ同士の照合を１８０回（＝３放送局×１０秒×６個）行うことになる。対象放送局数が１０００であっても照合回数は６００００回にすぎない。
ところで、特徴点データの照合を高速に行うために、ｆｌａｎｎ（Ｆａｓｔ Ｌｉｂｒａｒｙ ｆｏｒＡｐｐｒｏｘｉｍａｔｅ Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒｓ）アルゴリズム等を用いてインデックスデータを作成することがある。たとえばｆｌａｎｎアルゴリズムは、高次元特徴量に関するK-近傍探索の高速な近似計算法であり、これに基づいてインデックスのツリーが作成され、このツリーに沿って照合が実行されていく。しかしながら、本システムは放送局当たり照合する特徴点データは５〜６０シーン画像分と数少ないことからインデックスデータの作成は行わない。

特徴点データ記憶手段２１１に１０秒分のデータを保持する場合の動作の流れを、図５に従い詳しく説明する。
時刻が００：００：００のときに放送された画面を「シーン０」、時刻が００：００：０１のときに放送された画面を「シーン１」、以下、「シーン２」、・・・とする。００：００：００の１秒前、２秒前、・・・に放送された画面は「シーン（−１）」、「シーン（−２）」と表現する。

時刻が００：００：０１のときの処理および特徴点データ記憶手段２１１の記録内容は次のとおりである。
サーバ２は各放送局から受信した「シーン１」の画面データ（以下、「シーン１画像」と記述）をキャプチャし、シーン１画像の特徴点データを時刻００：００：０２までに抽出し、抽出した特徴点データは特徴点データ記憶手段２１１に記録する（ステップＳ（ａ））。
この時点で特徴点データ記憶手段２１１に保存されているのは００：００：００の時点の９秒前、８秒前、・・・、１秒前および００：００：００に放送されたテレビ画面、つまり「シーン（−９）」、「シーン（−８）」、・・・、「シーン（−１）」および「シーン０」の各シーン画像の特徴点データである。これを図５では「（−９）／（−８）／（−７）／（−６）／（−５）／（−４）／（−３）／（−２）／（−１）／０」と表現している。
特徴点データ記憶手段２１１には１０秒分のデータしか保持しないので、００：００：０１の１１秒前の（シーン（−１０））の特徴点データはシーン（０）の特徴点データによって上書きされる。

時刻が００：００：０２のときの処理および特徴点データ記憶手段２１１に保存されている内容は次のとおりである。
サーバ２は各放送局から受信した「シーン２」の画面データをキャプチャし、シーン２画像の特徴点データを時刻００：００：０３までに抽出する。
特徴点データ記憶手段２１１に保存されているのは００：００：０１の時点の９秒前から１秒前および００：００：０１に放送されたテレビ画面、つまり「シーン（−８）」、「シーン（−７）」、・・・、「シーン０」、「シーン１」の各シーン画像の特徴点データである。これを図５では「（−８）／（−７）／（−６）／（−５）／（−４）／（−３）／（−２）／（−１）／０／１」と表現している。
特徴点データ記憶手段２１１には１０秒分のデータしか保持しないので、００：００：０２の１１秒前の（シーン（−９））の特徴点データはシーン（１）の特徴点データによって上書きされる。以下、００：００：０３以後の処理も同様である。

このようにサーバ２は、対象としている放送局の放送番組データを所定時間毎にキャプチャし、シーン画像の特徴点データを作成しておく。この処理は、ユーザが現在視聴している放送局と時刻を特定するステップＳ１〜Ｓ８の処理とは独立に行われる。
特徴点抽出には、たとえば公知のＯＲＢ（Oriented FAST and Rotated BRIEF）アルゴリズムを使用する。
（詳細は、http://www.willowgarage.com/papers/orb-efficient-alternative-sift-or-surfなどを参照）
ＯＲＢは公知のアルゴリズムであり且つ関数の利用レベルになるのでその詳細は省略する。

次に、ユーザの携帯端末１からユーザが現在視聴中のテレビスクリーン３１上の画面の特徴点データが送信され、サーバ２が当該ユーザの視聴中の放送局と番組と視聴時刻を特定する処理について図３および図６を参照しながら説明する。

ユーザは本システムのサービスの提供を受けるために、携帯端末１に格納されている所定のアプリケーションソフトを起動させる（ステップＳ１）。
ユーザは自分の携帯端末１のカメラレンズを１秒以上かざしてテレビ３のスクリーン３１に映し出されている動画を撮影する（ステップＳ２）。サーバ２ではテレビ画面のキャプチャを１秒間隔で行っているのでユーザが撮影する時間は少なくとも１秒以上は必要であるが、２秒程度で十分である。フィンガープリントを生成して認識する技術であれば６〜１０秒間の撮影が必要であるのに比べ、本システムはこのように短時間で足りる点で有利である。
図６の例では、ユーザはシーン５を含む動画を１秒間以上撮影し、サーバ２に特徴点データを送信する。この送信のために、携帯端末１の画面上に表示されたボタンなどを操作する（ステップＳ３）。
ステップＳ３の操作をトリガとして、撮影した動画から、所定の時間間隔で１以上の静止画像を取り出し、その静止画像の特徴点データを抽出する（ステップＳ４）。この抽出のアルゴリズムはサーバ２による特徴点抽出処理と同様である。

抽出された特徴点データは所定の遅延時間後にサーバ２に送信される（ステップＳ５）。ここでは遅延時間を１秒とする。遅延時間を挿入することが望ましい理由は、例えば図６においてシーン５の特徴点データがサーバ２に００：００：０６に送信された場合、特徴点データ記憶手段２１１には未だシーン５の特徴点データが登録されていない、といったことも起こりうるからである。
一方、ユーザの携帯端末１からサーバ２への通信に時間を要し、特徴点データ記憶手段２１１からは該当するシーン画像の特徴点データが消失していることもありうる。このタイムラグも考慮して特徴点データ記憶手段２１１に一時保存しておく秒数を決定することが望ましい。

００：００：０７に携帯端末１からの特徴点データを受信したサーバ２は、受信した特徴点データと所定の閾値以上一致する特徴点データを特徴点データ記憶手段２１１から検索する（ステップＳ６）。ユーザはシーン５のデータを送ってきたので、このシーン５のデータが特徴点データ記憶手段２１１に保存されている００：００：０６から００：００：１５の間に検索可能である。つまり、保存されている時間内に特徴点データの照合処理を行えば当たりシーン画像を得ることができるのである。
特徴点同士の照合のアルゴリズムは、本発明者の１人による特願２０１２−９５０３６などに開示している既存のアルゴリズムを使用すればよい。ただし、ユーザがどのような角度でどのような距離からテレビ３のスクリーン３１を撮影するかはさまざまであるから、拡大・縮小および回転に対してロバストなアルゴリズムであって、位置関係保存の判定処理、角度保存の判定処理などが組み込まれていることが望ましい。

ステップＳ６で条件にあったシーン画像が見つからないことがある。例えば、サーバ２が対象としていない放送局の番組であったり、特徴点データ記憶手段２１１から上書きされることによって消失した古いシーン画像であったりする場合である。これらの場合は、適宜エラーメッセージなどを携帯端末１へ送信してもよい。
サーバ２はユーザが視聴している画像の特徴点データと一致していると判定されたシーン画像の特徴点データを取り出せたならば、そのシーン画像に対応する放送局と時刻も取り出すことができ、これらの情報は種々活用することができる。例えば、そのシーン画像の放送時間と対応づけられている関連情報を番組関連情報ＤＢ２１２から取り出し携帯端末１に送信することができる（ステップＳ７）。
携帯端末１は、 サーバ２から受信した情報にもとづいて、撮影画像に関連する情報の提供を受ける（ステップＳ８）。例えば、提供を受けた情報がＵＲＬであれば、このＵＲＬに基づいてＷｅｂサーバ（図示せず）にアクセスしてＷｅｂページを取得して画面に表示させる。
このように本システムは、携帯端末１のカメラで放映中のスクリーン３１を撮影した画像について、関連する情報をその場で取得し表示させることができるので、従来のようにテレビ３を受動的に視聴するのではなく、テレビ３を介した能動的な情報収集も可能となる。

以上述べたとおり、本実施形態は静止画像同士の特徴点データの照合によってユーザが視聴している放送局と視聴時刻をせいぜい数秒間というわずかなタイムラグで特定することができる。これにより、テレビの視聴者に対してさまざまな付加的サービスを提供できる。このサービスの種類はどのようなものでもよい。ＣＭが対象とする製品に関する詳細情報の提供やネット販売の申込画面表示でもよく、テレビドラマならばテーマ曲や俳優が着用している衣服や装身具の販売元に関する情報の提示でもよい。あるいは、その番組についてのアンケートを提示したり、番組と関連するクイズへの参加を募ったりしてもよい。
テレビ３を見ながら携帯端末１を使用するというライフスタイルが一般的となった現在、どれだけのビジネスチャンスを開拓したり拡大したりできるかは、視聴番組同定の迅速さと精度にかかっている。その点、本発明は、マルチスクリーン視聴を活用した各種システムの基本技術となりうる。

本発明によって現在視聴中の番組が特定できるならば、多数の視聴者から送信されてくる特徴点データに基づき、番組の視聴率、同一番組の視聴率の変化、ユーザに好まれるシーンなどの情報も得ることができる。ＣＭを提供するスポンサー会社の宣伝販売手段となるだけでなく、番組制作や番組編成上の指針ともなる。
要は、視聴者が現在視聴している放送局と視聴時刻を迅速かつ正確に特定することにより、マルチスクリーン視聴を活用したビジネスの一層の普及に寄与できるという点が重要なのである。

《第２の実施形態》
本発明の第２の実施形態（以下、「本システム」）について説明する。この実施形態は第１の実施形態をサイマル放送用に変形したものであり、サイマル放送配信サーバを備えた放送局と本システムとの間でサイマル放送配信サーバから放送番組データを受信する契約等があることを前提とする。
本システムは、放送局に備えられたサイマル放送配信サーバから実際の放送に先行して放送番組データを受信する点で第１の実施形態と相違する。以下、相違点を中心に説明する。下記の説明および図面において、第１の実施形態と機能が同じであれば同一の符号を付す。

本システムは、図７に示すように、ユーザが使用する携帯端末１とサーバ５と、ユーザが視聴するテレビ３と放送局の設備６（以下、「放送局６」）から構成される。携帯端末１とサーバ５はインターネットＮを介して接続している。テレビ３とサーバ２のそれぞれは、放送局６に備えられたサイマル放送配信サーバ６１と接続している。

この実施形態では、サイマル放送配信サーバ６１から放送番組データを受信することによって、ほぼリアルタイムに視聴番組の同定ができる。ほぼリアルタイムとなる根拠を図８を参照しながら説明する。サイマル放送の生番組の場合、図８のようにサイマル放送配信サーバ６１から出力された放送番組データをユーザのもとで同時に視聴するには、放送媒体毎の調整時間と準備時間を併せた遅延時間が必要となる。この遅延時間を利用してサイマル放送配信サーバ６１から直接、実際に配信されている動画データを構成する静止画像（シーン画像）を一定又は必要な間隔で取出し、その画像の特徴点を抽出、かつ特徴点データ記憶手段５２１に一時保存する事が可能である。よって、遅延時間の後に放映された番組は、異なる放送媒体でもほぼ同時にテレビに映り、携帯端末１にて撮影されかつ特徴点が抽出された後、抽出データはサーバ５に送信されて照合可能となる。
なお、遅延時間としては、５秒から１０秒程度が適当である。

図９に示すのは、携帯端末１とサーバ５のそれぞれの機能ブロックである。携帯端末１については、第１の実施形態と相違点がないので説明は省略する。
サーバ５は、記憶手段５１と、処理手段５２と、図示しない入出力手段や通信インターフェース手段を有する情報処理装置である。

記憶手段５１は、特徴点データ記憶手段５１１と、番組関連情報データベース（以下、「番組関連情報ＤＢ」）２１２と、各種処理の中間結果などを格納するメモリ（図示せず）やコンピュータプログラムの格納手段（図示せず）などから構成される。
特徴点データ記憶手段５１１については後に詳しく説明する。

サーバ５の処理手段５２は、放送番組先行受信手段５２１と、特徴点収集手段２２２と、ユーザ視聴情報受信手段２２３と、画像検索手段２２４と、当たり画像情報送信手段２２５とを有する。
放送番組先行受信手段５２１は、サイマル放送配信サーバ６１からテレビ３に配信され放送が開始される数秒前に放送内容を受信する。

次に、本システムの動作について、図１０を参照しながら第１の実施形態との相違点を中心に説明する。

まず、サーバ５は、サイマル放送配信サーバ６１から数秒後に放送予定の放送番組データを受信する。図８のｔ２の時点で放送予定のデータはｔ１の時点で受信する。この受信対象は、サイマル放送配信サーバ６１から各放送媒体に分かれる前の画像データである。したがって、特徴点データ記憶手段５１１に登録される情報には“放送局”が含まれ、“放送媒体”は含まれていない。
この実施形態では、１２：００：００に放送されるデータ（「シーン１」のデータ）を５秒前の１１：５９：５５に受信し、特徴点を算出して特徴点データ記憶手段５１１に登録する。１２：００：０１に放送される「シーン２」のデータは１１：５９：５６に受信し、特徴点を算出して特徴点データ記憶手段５１１に登録する。「シーン３」、「シーン４」、・・・のデータも同様に処理をする。
特徴点データ記憶手段５１１には最大１５秒分のデータが登録される。

携帯端末１が１２：００：０２にスクリーン３１に映っている「シーン３」の画像を携帯端末１の画面上に映し出したならば、携帯端末１側で算出した特徴点データをサーバ５に送信する。この実施形態では、送信時にディレイを挿入するまでもない。つまり、遅延時間Ｓ＝０秒でよい。
サーバ５が１２：００：０４に受信したならば、特徴点データ記憶手段５１１に「シーン３」のデータが登録されている１２：００：１２までの間は検索可能である。
携帯端末１側のスクリーン３１の撮影からサーバ５への特徴点データの送信までの処理、およびサーバ５がユーザの視聴中の放送局と視聴時刻を特定する処理は第１の実施形態と同様（図３のステップＳ１からＳ８を参照）なので、説明は省略する。また、サーバ５が所定時間を経過したシーン画像の特徴点データを最新の特徴点データで上書きする処理も第１の実施形態と同様なので、説明は省略する。

この実施形態は第１の実施形態と比べて、下記の点ですぐれている。
図１０の例では、時刻１２：００：００においてスクリーン３１上にはシーン１の画像が映し出されているが、同時刻にはサイマル放送配信サーバ６１からサーバ５へはシーン６のデータが送信されている。このように５秒間の遅延が生じているため、スクリーン３１にシーンが出力される以前に、そのシーンの特徴点データがサーバ５の特徴点データ記憶手段５１１に保存されることとなる。よって、携帯端末１から送られてくる特徴点データとサーバ５に保存されている特徴点データの照合時の待ち時間がなくなり、リアルタイム性が増す。

以上、第１と第２の実施形態について説明した。第１の実施形態のサーバ２は、第２の実施形態のサーバ５が備える放送番組先行受信手段５２１も併せて備えていてもよい。サイマル放送配信サーバから受信する契約をしている放送局からは放送の数秒前に先行受信をし、かかる契約をしていない或はサイマル放送配信サーバを備えていない放送局からは放送と同時に受信をすることで、契約の有無にかかわらずあらゆる放送に対応できる。
一般のユーザにとっては自分が現在視聴しているテレビ番組について、携帯端末からも平行して情報が得られることが望ましいのであって、そのテレビ番組を提供している放送局が本発明のシステムと契約しているか否かは問題とならないのである。

また、本発明が特定の地域によらず広く利用されるためには、本発明のシステムが都道府県等の地域毎に提供されることが望ましい。各地にローカルな放送局があるからである。例えば、携帯端末が特徴点データとともに、そのＧＰＳ機能によって現在地を送信してきた場合、当該ユーザの現在位置が東京都渋谷区であれば、東京都（島嶼部を除く）内を管轄するサーバによって照合処理が行われるようにすればよい。

上記の第１および第２の実施形態の処理フローやアルゴリズムは例示にすぎず、これらに限るものではない。たとえば、上記の各実施形態では、携帯端末１側でインストールされているアプリケーションプログラムによってスクリーン３１を撮影して取得した静止画像の特徴点データを抽出していた。しかし、静止画像をサーバ２或は５に送信し、特徴点の抽出はサーバ２或は５で行ってもよい。

上記の各実施形態では、放送局から受信したテレビ番組データをキャプチャし特徴点データを作成して特徴点データ記憶手段２１１或は５１１に一時保存する処理も、携帯端末１からの送信データにより視聴番組を特定する処理も１台のコンピュータで行うことを想定している（図６参照、例えば時刻００：００：０７の処理）。しかし、複数のコンピュータがこれらのサーバ２或は５の機能を分担して処理してもかまわない。

マルチスクリーン視聴が一般的となっている昨今、テレビで視聴中の放送局と視聴時刻をほぼリアルタイムで特定できる本発明を利用することにより、マルチスクリーン視聴を利用したシステムの応用範囲は格段に拡がる。例えば、視聴番組に関連したサービスの提供にしても、そのサービスの種類が多岐に渡り、消費者行動にも大きな変化をもたらすことが期待できる。

１：携帯端末
１１：入力手段
１２：出力手段
１３：撮像手段
１４：記憶手段
１５：処理手段
１５１：静止画像取得手段
１５２：特徴点抽出手段
１５３：特徴点送信手段
１５４：視聴番組特定結果受信手段
１５５：視聴番組関連情報取得手段
２：（第１の実施形態の）サーバ
２１：記憶手段
２１１：特徴点データ記憶手段
２１２：番組関連情報データベース
２２：処理手段
２２１：放送番組同時受信手段
２２２：特徴点収集手段
２２３：ユーザ視聴情報受信手段
２２４：画像検索手段
２２５：当たり画像情報送信手段
３：テレビ受像機
３１：スクリーン
４：（第１の実施形態の）放送局
５：（第２の実施形態の）サーバ
５１：記憶手段
５１１：特徴点データ記憶手段
５２：処理手段
５２１：放送番組先行受信手段
６：（第２の実施形態の）放送局
６１：サイマル放送配信サーバ
Ｎ：インターネット

Claims (6)

1. ユーザが視聴している現在放送中のテレビ番組を映し出しているスクリーンを携帯端末で撮影し、撮影された動画像から静止画像を取得し、この静止画像から算出された特徴点データに基づき、該ユーザが視聴しているテレビ番組をほぼリアルタイムに同定するシステムであって、
   任意個数の放送局において現在放送中のテレビ番組データを受信する放送番組同時受信手段と、
   受信したテレビ番組データからＮ秒間隔で取得した画面の静止画像（以下、「シーン画像」）の特徴点をリアルタイムで算出し、放送局毎に現在放送されている直近の所定時間分の特徴点データを記憶手段に保存する特徴点収集手段と、
   前記ユーザの携帯端末から送信された、該ユーザが視聴しているテレビ番組から取得した静止画像の特徴点データを受信するユーザ視聴データ受信手段と、
   前記ユーザが現在視聴しているテレビ番組を同定するために、前記受信した特徴点データを、前記保存されている特徴点データと照合し、所定の一致条件を満たすシーン画像（以下、「当たりシーン画像」）を特定する画像検索手段と、
   を備えることを特徴とする視聴番組同定システム。
2. 前記携帯端末はテレビ番組が放映されているスクリーンをＮ秒以上続けて撮影して得た動画像から静止画像データを取得し、取得した静止画像データから算出した特徴点データを所定の遅延時間経過後に送信することを特徴とする請求項１に記載の視聴番組同定システム。
3. 前記携帯端末はテレビ番組が放映されているスクリーンをＮ秒以上続けて撮影して得た動画像から静止画像データを取得し、取得した静止画像データを所定の遅延時間経過後に送信し、
   前記ユーザ視聴データ受信手段は、特徴点データに代えて前記静止画像データを受信し、
   前記画像検索手段は、この受信した静止画像データの特徴点を算出し、算出した特徴点データと前記記憶手段に記録されている特徴点データと照合することを特徴とする請求項１に記載の視聴番組同定システム。
4. テレビ番組に関連する情報を格納する番組関連情報データベースと、
   前記当たりシーン画像を含むテレビ番組の関連情報を前記番組関連情報データベースから抽出して前記携帯端末に送信する当たり画像情報送信手段をさらに備えることを特徴とする請求項１に記載の視聴番組同定システム。
5. ユーザが視聴している現在放送中のテレビ番組を映し出しているスクリーンを携帯端末で撮影し、撮影された動画像から静止画像を取得し、この静止画像から算出された特徴点データに基づき、該ユーザが視聴しているテレビ番組をほぼリアルタイムに同定する方法であって、
   任意個数の放送局において現在放送中のテレビ番組データを受信するステップと、
   受信したテレビ番組データからＮ秒間隔で取得したシーン画像の特徴点をリアルタイムで算出し、放送局毎に現在放送されている直近の所定時間分の特徴点データを記憶手段に保存するステップと、
   前記ユーザの携帯端末から送信された、該ユーザが視聴しているテレビ番組から取得した静止画像の特徴点データを受信するステップと、
   前記ユーザが現在視聴しているテレビ番組を同定するために、前記受信した特徴点データを、前記保存されている特徴点データと照合し、所定の一致条件を満たす当たりシーン画像を特定するステップと、
   をコンピュータが実行することを特徴とする視聴番組同定方法。
6. ユーザが視聴している現在放送中のテレビ番組を映し出しているスクリーンを携帯端末で撮影し、撮影された動画像から静止画像を取得し、この静止画像から算出された特徴点データに基づき、該ユーザが視聴しているテレビ番組をほぼリアルタイムにコンピュータに同定させるためのコンピュータプログラムであって、
   任意個数の放送局において現在放送中のテレビ番組データを受信する機能と、
   受信したテレビ番組データからＮ秒間隔で取得したシーン画像の特徴点をリアルタイムで算出し、放送局毎に現在放送されている直近の所定時間分の特徴点データを記憶手段に保存する機能と、
   前記ユーザの携帯端末から送信された、該ユーザが視聴しているテレビ番組から取得した静止画像の特徴点データを受信する機能と、
   前記ユーザが現在視聴しているテレビ番組を同定するために、前記受信した特徴点データを、前記保存されている特徴点データと照合し、所定の一致条件を満たす当たりシーン画像を特定する機能と、
   をコンピュータに実現させることを特徴とする視聴番組同定プログラム。
   

Images