JP2012248133A - 画像検索システム及びその方法 - Google Patents

Abstract

【課題】システムの検索負荷を小さくすることを可能にしつつも、使用者がほしい画像を的確に検索することができるようにする。
【解決手段】画像検索システム１は、撮像部１３による撮像画像から予め設定した形状に合致する形状を抽出する簡易形状抽出部１４と、撮像画像に対応付けされる文字情報を取得する入力操作部１１と、撮像画像、簡易形状抽出部１４が抽出した形状、及び入力操作部１１により取得した文字情報を対応付けてサーバ３０に記憶するための処理を行う登録処理部１５と、検索指令があると、サーバ３０に記憶された撮像画像、形状、及び文字情報の検索を行い、その検索結果を出力する検索処理部１６と、を有する。
【選択図】図２

Description

本発明は、画像検索システム及びその方法に関する。

現在のインターネット上の画像検索としては、検索エンジンを用いたキーワードによる画像検索が主流である。
また、画像情報を検索対象とした検索システムも提案されている。例えば、その検索システムとしては、登録されている画像をエリア分割し、類似したものを検索するようなものがある。

しかしながら、キーワードによる画像検索の場合、まったく異なる画像がヒットしたりヒット数が多すぎて、検索したい画像を探すことが困難な場合が多かった。
また、画像による検索の場合、登録画像データが少ないため、ヒット率が少なく０件となるケースも多かった。その一方で、登録画像を増やすと検索速度が遅くなり、使用者にストレスを与えるシステムになってしまう。

このように、従来の技術では、全く異なる画像が検索される、ヒット率が低い、使用者にストレスを与えるシステムになってしまう等、使用者がほしい画像を容易に検索することが困難であった。
本発明の目的は、システムの検索負荷を小さくすることを可能にしつつも、使用者がほしい画像を的確に検索することができるようにすることである。

前記課題を解決するために、本実施態様は、撮像部からの撮像画像から予め設定した形状に合致する形状を抽出する抽出手段と、前記撮像画像に対応付けされる文字情報を取得する取得手段と、前記撮像画像、前記抽出手段が抽出した形状、及び前記取得手段が取得した文字情報を対応付けて記憶部に記憶する記憶処理手段と、検索指令があると、前記記憶部に記憶された撮像画像、形状、及び文字情報の検索を行い、その検索結果を出力する検索手段と、を有することを特徴とする画像検索システムである。

また、本実施態様においては、前記検索手段は、検索指令により得た前記撮像部からの撮像画像、前記抽出手段が抽出した形状、及び前記取得手段が取得した文字情報を基に、前記記憶部に記憶された撮像画像、形状、及び文字情報の検索を行う。
また、本実施態様においては、前記取得手段は、前記撮像画像を取得した撮影時刻及び撮影場所を文字情報として取得する。

また、本実施態様においては、前記検索手段は、前記撮像部の撮像中心位置に撮像対象が捉えられ、かつ撮像画像内に占める前記撮像対象の面積の割合が６０％以上の場合、検索を行う。
また、本実施態様においては、前記取得手段は、使用者によって操作され入力された前記文字情報を取得する。

また、本実施態様は、撮像部からの撮像画像から予め設定した形状に合致する形状を抽出するとともに前記撮像画像に対応付けされる文字情報を取得するステップと、前記撮像画像、抽出した形状、及び取得した文字情報を対応付けて記憶部に記憶するステップと、検索指令があると、前記記憶部に記憶された撮像画像、形状、及び文字情報の検索を行い、その検索結果を出力するステップと、を有することを特徴とする画像検索方法である。

本発明によれば、撮像画像から抽出した形状、撮像画像に対応付けされる文字情報を検索対象にしたことで、システムの検索負荷を小さくすることを可能にしつつも、使用者がほしい画像を的確に検索することができる。

画像検索システムの構成例を示すブロック図である。 端末の構成例を示すブロック図である。 簡易形状抽出部が画像から抽出した抽象画像の一例を示す。 撮像条件の一例を説明する図である。 登録情報の一例を示す図である。 画像検索システムの動作等を説明する図である。 画像検索システムの動作等を説明する他の図である。 本実施形態の変形例における端末の構成例を示すブロック図である。

（構成）
本実施形態は、画像検索システムである。
図１は、画像検索システム１の構成例を示すブロック図である。
図１に示すように、画像検索システム１は、端末１０（例えばデジタル情報閲覧端末）とサーバ３０とがインターネットやＬＡＮ（Local Area Network）等の通信網４０を介して通信可能に接続されている。

端末１０は、通信可能に構成された端末であり、パーソナルコンピュータ（例えば携帯可能なパーソナルコンピュータ）や携帯電話等である。
図２は、端末１０の構成例を示すブロック図である。
図２に示すように、端末１０は、入力操作部１１、表示部１２、撮像部１３、簡易形状抽出部１４、登録処理部１５、検索処理部１６、及び通信部１７を有している。端末１０において、簡易形状抽出部１４や登録処理部１５、検索処理部１６は、例えばデバイスで構成されていても良く、プログラムにより実現されるものであっても良い。

入力操作部１１は、使用者が押圧操作等により情報を入力できるようにするものであり、例えばキーボードやボタン（タッチパネルに表示されるボタン等）等である。表示部１２は、画像や文字を表示するように構成されており、モニター等である。撮像部１３は、例えばＣＣＤ（Charge Coupled Device）カメラである。
なお、端末１０は、撮像部１３を有することに限定されるものではなく、外部装置となる撮像装置から撮像画像を得るようにしても良い。

簡易形状抽出部１４は、撮像部１３からの撮像画像の特徴として簡易形状を抽出する。具体的には、簡易形状抽出部１４は、撮像画像から予め設定した簡易形状に合致する形状を抽出する。例えば、簡易形状とは、丸形状、多角形形状に代表される形状である。また、例えば、簡易形状抽出部１４は、公知の画像マッチング処理技術を用いて、撮像画像から予め設定した簡易形状に合致する形状を抽出する。

登録処理部１５は、登録指示があったとき、すなわち、登録モード等の使用者が登録を要求している場合、撮像部１３からの撮像画像を登録する処理を行う。具体的には、登録処理部１５は、簡易形状抽出部１４が抽出した簡易形状の情報と、撮像された物体の情報（例えば撮像画像）を対応付ける。また、登録処理部１５は、入力操作部１１からその物体の情報やカテゴリ情報が入力された場合には、それらの情報も対応付ける。さらに、登録処理部１５は、場合によっては、撮像画像を得た時刻情報（時刻の他に春夏秋冬等も含む）や端末１０が有するＧＰＳ（Global Positioning System）機能により撮像画像を得た位置情報も対応付ける。このように、登録処理部１５は、それらの情報を文字（テキスト）情報と画像情報とに分けて対応付けている。

そして、登録処理部１５は、それら対応付けた情報を通信部１７に出力する。
ここで、図３（ａ）及び（ｂ）は、それぞれ簡易形状抽出部１４が画像から抽出した画像の一例を示す。図３（ａ）及び（ｂ）に示すように、抽出された画像は、簡易形状（１つ又は複数の簡易形状）により構成される抽象画像になっている。
通信部１７は、登録処理部１５からの情報を通信網４０を介してサーバ３０に送信する。

一方、検索処理部１６は、検索指示があったとき、すなわち、使用者が検索を要求している検索モード等のタイミングで、撮像部１３が撮像画像を取得し、簡易形状抽出部１４が抽出した簡易形状の画像情報（抽象画像情報）を通信部１７に出力する。
また、検索処理部１６は、入力操作部１１からその撮像した物体の情報やカテゴリ情報が入力された場合には、それらの情報も画像情報に対応付けて通信部１７に出力する。さらに、検索処理部１６は、撮像画像を得た時刻情報や撮像画像を得た位置情報が得られる場合には、それら情報も画像情報に対応付けて通信部１７に出力する。

また、検索処理部１６は、撮像画像において撮像対象又は検索対象となる物体が中心に位置され、かつ撮像画像内に占めるその物体の画像の面積（物体の投影面積）の割合が６０％以上、好ましくは８０％以上の場合に検索処理を有効にしている。そのため、例えば、端末１０は、そのような検索処理を有効にする条件を満たさないときには、メッセージを表示したりメッセージ音声を出力したりする。

図４は、そのような条件を満たしているときに得られる物体の撮像画像の一例を示す。
図４に示すように、物体は、撮像領域（ＣＣＤの撮像領域）に対して中心に位置され、かつその面積（投影面積）の割合が６０％以上になっている。
サーバ３０は、データを管理するサーバである。サーバ３０は、通信網４０を介して端末１０から送信されてきた情報に応じた処理を行う。

すなわち、サーバ３０は、端末１０（登録処理部１５）から登録情報（文字情報と画像情報）が送信されてきた場合には、その登録情報を記憶、管理する。
図５は、登録情報の一例を示す。
図５に示すように、サーバ３０には、端末１０から送信されてきた登録情報に応じて情報が登録される。

また、サーバ３０は、端末１０（検索処理部１６）から検索情報（文字情報と画像情報）が送信されてきた場合には、既に登録されている登録情報を検索して、検索情報に合致する登録情報を特定する。そして、サーバ３０は、その検索結果として、その特定した登録情報を通信網４０を介して端末１０に送信する。この場合、端末１０では、検索処理部１６が、サーバ３０から送信されてきた登録情報を基に、表示部１２への表示を行う。例えば、検索処理部１６は、登録情報に含まれている物体の画像情報を表示部１２に表示する。また、登録情報に文字情報（物体の情報やカテゴリ情報）が含まれている場合には、検索処理部１６は、その文字情報も併せて表示部１２に表示する。

（動作等）
図６及び図７に示す例を用いて、画像検索システム１の動作等を説明する。
図６に示すように、端末１０は、登録モードにおいて、撮像部１３により物体が撮像され、入力操作部１１により文字情報が入力されると、撮像画像から簡易形状を抽出し、その抽出した簡易形状の情報等からなる画像情報とカテゴリ情報、時刻情報及び位置情報等からなる文字情報とをサーバ３０に送信する。要するに、図７に示すように、端末１０は、撮像画像から特徴量を抽出して得た抽象画像である画像情報と、入力された検索オプション情報であるカテゴリ情報、時刻情報及び位置情報等とを対応付けてサーバ３０に送信する。そして、サーバ３０は、端末１０から送信されてきた画像情報及び文字情報を登録する。

一方、図６に示すように、端末１０は、検索モードにおいて、撮像部１３により物体が撮像され、入力操作部１１により文字情報が入力されると、撮像画像から簡易形状を抽出し、その抽出した簡易形状の情報等からなる画像情報とカテゴリ情報等からなる文字情報とをサーバ３０に送信する。これに対して、図６に示すように、サーバ３０は、端末１０から送信されてきた画像情報及び文字情報を基に、既に登録されている登録情報を検索して、検索情報に合致する登録情報を特定する。そして、サーバ３０は、検索結果として、その特定した登録情報を通信網４０を介して端末１０に送信する。

これにより、端末１０では、図６に示すように、サーバ３０から送信されてきた登録情報を基に、表示部１２への表示を行う。例えば、図７に示すように、表示部１２に物体情報を表示するとともにその概要を表示する。
以上のように、画像検索システム１では、検索対象の撮像画像からその検索対象の特徴量を抽出し、その抽象画像と該抽象画像に対応付けされるカテゴリ等の文字情報とをサーバ３０に登録している。これにより、画像検索システム１では、サーバ３０において、物体のカテゴリで検索することで画像検索する前にふるいにかけて一次検索によりデータ数を絞り込み、その後、詳細画像を検索することで、画像による検索を可能にしている。さらに、画像検索システム１では、撮影時刻や撮影場所の情報を付加することで、より正確に物体情報を表示している。

なお、本実施形態では、簡易形状抽出部１４は、例えば、抽出手段を実現している。また、入力操作部１１は、例えば、取得手段を実現している。また、サーバ３０は、例えば、記憶部を実現している。また、登録処理部１５は、例えば、記憶処理手段を実現している。また、検索処理部１６は、例えば、検索手段を実現している。

（本実施形態の効果）
本実施形態では、撮像画像から抽出した形状、撮像画像に対応付けされる文字情報を検索対象にしたことで、システムの検索負荷を小さくすることを可能にしつつも、使用者がほしい画像を的確に検索することができる。

ここで、デジタル情報閲覧端末は、通信網の発展により、物体の情報の検索も高速に行うことができるため、文字に関する辞書的な機能が既に広く活用されている。これに対して、本実施形態では、システムの検索負荷を小さくすることを可能にしつつも、使用者がほしい画像を的確に検索することができるため、大容量のサーバ又はデータベースにおいても、高速かつ正確に検索できるようになる。

また、画像検索システム１は、撮像画像から抽出した形状等を登録する機能だけでも学術的な情報を提供するシステムとして活用できる。例えば、画像検索システム１では、動物や植物、車、建物等あらゆる物体の情報を抽象画像として登録し、それに併せてカテゴリを文字情報として登録することで、カテゴリ毎のいままでにない画像検索百科事典を提供することができる。

また、画像検索システム１では、サーバ３０に記憶された登録情報から、検索指令により得た撮像部１３による撮像画像、簡易形状抽出部１４が抽出した形状、及び入力操作部１１により取得した文字情報に対応する情報を出力することができる。すなわち、画像検索システム１は、使用者がほしい画像をより的確に提供することができる。
また、画像検索システム１では、端末１０に搭載してある機能を利用して撮影時刻及び撮影場所を取得し、それを文字情報とすることができる。

これにより、画像検索システム１では、例えば、カテゴリ分けにより動植物のような抽象化が難しい物体でも、位置情報や時間（春夏秋冬等）の情報を併用することでより正確な情報を得ることが可能になる。
また、画像検索システム１では、撮像部１３の撮像中心位置に物体が捉えられ、かつ撮像画像内に占める物体の面積の割合が６０％以上、より好ましくは８０％以上の場合に検索を行うことで、撮像画像からの形状の抽出精度を高めることができる。

これは、撮像部１３の撮像中心位置に物体が捉えられていなかったり、撮像画像内に占める物体の面積の割合が６０％未満の場合には、撮像画像からの形状の抽出精度が低くなってしまうからである。

（本実施形態の変形例）
本実施形態の変形例には次のようなものがある。
本実施形態では、サーバ３０が有するデータの登録及び検索機能を端末１０が有していても良い。
図８は、そのような端末１０の構成例を示すブロック図である。

図８に示すように、端末１０は、図２に示した構成に加えて記憶部１８を有する。記憶部１８は、例えば、端末１０に内蔵されるものであったり、端末１０に対して着脱自在とされるものであったりする。すなわち例えば、記憶部は、ＳＤカード、ＵＳＢメモリ、ＩＣカード、ＨＤＤ等である。

１ 画像検索システム、１０ 端末、１１ 入力操作部、１２ 表示部、１３ 撮像部、１４ 簡易形状抽出部、１５ 登録処理部、１６ 検索処理部、１７ 通信部、１８ 記憶部、３０ サーバ

Claims (6)

1. 撮像部からの撮像画像から予め設定した形状に合致する形状を抽出する抽出手段と、
   前記撮像画像に対応付けされる文字情報を取得する取得手段と、
   前記撮像画像、前記抽出手段が抽出した形状、及び前記取得手段が取得した文字情報を対応付けて記憶部に記憶する記憶処理手段と、
   検索指令があると、前記記憶部に記憶された撮像画像、形状、及び文字情報の検索を行い、その検索結果を出力する検索手段と、
   を有することを特徴とする画像検索システム。
2. 前記検索手段は、検索指令により得た前記撮像部からの撮像画像、前記抽出手段が抽出した形状、及び前記取得手段が取得した文字情報を基に、前記記憶部に記憶された撮像画像、形状、及び文字情報の検索を行うことを特徴とする請求項１に記載の画像検索システム。
3. 前記取得手段は、前記撮像画像を取得した撮影時刻及び撮影場所を文字情報として取得することを特徴とする請求項１又は２に記載の画像検索システム。
4. 前記検索手段は、前記撮像部の撮像中心位置に撮像対象が捉えられ、かつ撮像画像内に占める前記撮像対象の面積の割合が６０％以上の場合、検索を行うことを特徴とする請求項１乃至３の何れか１項に記載の画像検索システム。
5. 前記取得手段は、使用者によって操作され入力された前記文字情報を取得することを特徴とする請求項１乃至４の何れか１項に記載の画像検索システム。
6. 撮像部からの撮像画像から予め設定した形状に合致する形状を抽出するとともに前記撮像画像に対応付けされる文字情報を取得するステップと、
   前記撮像画像、抽出した形状、及び取得した文字情報を対応付けて記憶部に記憶するステップと、
   検索指令があると、前記記憶部に記憶された撮像画像、形状、及び文字情報の検索を行い、その検索結果を出力するステップと、
   を有することを特徴とする画像検索方法。

Images