JP2015099567A - 検索装置、方法及びプログラム - Google Patents

Abstract

【課題】構成要素の位置を指定することで、検索対象コンテンツを検索することができる検索装置、方法及びプログラムを提供する。
【解決手段】実施形態の検索装置は、取得部と、検索部と、表示制御部とを、備える。取得部は、検索対象コンテンツを構成する構成要素の位置を指定する手書きデータを取得する。検索部は、手書きデータに基づいて、１以上のコンテンツを記憶する記憶部から検索対象コンテンツを検索する。表示制御部は、検索結果を表示部に表示させる。
【選択図】図１

Description

本発明の実施形態は、検索装置、方法及びプログラムに関する。

従来から、ユーザが入力した手書きのクエリに基づいて、文書を検索する技術が知られている。

特開２００７−２１３４１６号公報

しかしながら、上述したような従来技術は、入力された手書きデータを文字認識により文字に置き換え、置き換えた文字と一致又は類似する文字を含むコンテンツを検索するものに過ぎない。

このため、上述したような従来技術では、検索対象コンテンツを構成する構成要素の位置を指定して、当該検索対象コンテンツを検索することができない。

本発明が解決しようとする課題は、構成要素の位置を指定することで、検索対象コンテンツを検索することができる検索装置、方法及びプログラムを提供することである。

実施形態の検索装置は、取得部と、検索部と、表示制御部とを、備える。取得部は、検索対象コンテンツを構成する構成要素の位置を指定する手書きデータを取得する。検索部は、前記手書きデータに基づいて、１以上のコンテンツを記憶する記憶部から前記検索対象コンテンツを検索する。表示制御部は、検索結果を表示部に表示させる。

本実施形態の検索装置の例を示す構成図。 本実施形態の検索対象コンテンツの例を示す図。 本実施形態の手書きデータの例を示す図。 本実施形態の検索結果の例を示す図。 本実施形態の検索対象コンテンツの例を示す図。 本実施形態の手書きデータの例を示す図。 本実施形態の手書きデータの例を示す図。 本実施形態の手書きデータの例を示す図。 本実施形態の手書きデータの例を示す図。 本実施形態の手書きデータの例を示す図。 本実施形態の検索処理例を示すフローチャート図。 変形例の検索対象コンテンツの例を示す図。 変形例の手書きデータの例を示す図。 実施形態及び変形例の検索装置のハードウェア構成例を示す図。

以下、添付図面を参照しながら、実施形態を詳細に説明する。

図１は、本実施形態の検索装置１０の一例を示す構成図である。図１に示すように、検索装置１０は、記憶部１１と、付与部１３と、入力部１５と、取得部１７と、生成部１９と、検索部２１と、表示制御部２３と、表示部２５とを、備える。

記憶部１１は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、光ディスク、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）などの磁気的、光学的、又は電気的に記憶可能な記憶装置により実現できる。付与部１３、取得部１７、生成部１９、検索部２１、及び表示制御部２３は、例えば、ＣＰＵ（Central Processing Unit）などの処理装置にプログラムを実行させること、即ち、ソフトウェアにより実現してもよいし、ＩＣ（Integrated Circuit）などのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。入力部１５は、例えば、タッチパネル、タッチパッド、マウス、及び電子ペンなどの手書き入力可能な入力装置により実現できる。表示部２５は、例えば、タッチパネルディスプレイや液晶ディスプレイなどの表示装置により実現できる。

記憶部１１は、１以上のコンテンツを記憶する。本実施形態では、コンテンツは、文書作成ソフトウェア、表計算ソフトウェア、プレゼンテーションソフトウェア、及び文書閲覧ソフトウェア等で作成された文書やＷｅｂページなどのデジタル文書や、ユーザが手書きデータを入力することで作成された手書き文書などを想定しているが、これに限定されるものではなく、静止画や動画などであってもよい。

付与部１３は、記憶部１１に記憶されたコンテンツ毎に、当該コンテンツを解析して、当該コンテンツを構成する複数の構成要素それぞれの位置、当該複数の構成要素間の相対位置関係、及び当該複数の構成要素それぞれの種別を示す構造情報を生成し、当該コンテンツに付与する。

構成要素は、コンテンツ上のユーザが認知可能な領域である。構成要素の位置は、例えば、ページ上の座標情報などが挙げられる。構成要素間の相対位置関係は、両構成要素の位置（座標情報）から特定できる。

構成要素の種別は、例えば、文字、図形、表、画像、及び絵などの少なくともいずれかとすることができる。なお、構成要素の種別が文字の場合、段落、行、単語、１文字、部首など、種別を更に細分化してもよい。また、構成要素の種別が図形や表の場合、直線、三角、四角、及び円など、種別を更に細分化してもよい。また、構成要素の種別が画像の場合、画像内の物体やエッジなど、種別を更に細分化してもよい。画像内の物体を認識するには、例えば、Jim Mutch and David G. Lowe. Multiclass Object Recognition with Sparse, Localized Features. IEEE Conference on Computer Vision and Pattern Recognition （CVPR）, pp. 11-18, New York, June 2006.に開示された物体認識手法を用いればよい。エッジは、画像内において輝度値や色が鋭敏に変化した線である。なお、例えば、構成要素の種別を、赤、青、及び緑など色としてもよい。また、例えば、構成要素の種別を、濃い、及び薄いなど密度としてもよい。

コンテンツがデジタル文書の場合、文書情報として、構成要素の位置、構成要素間の相対位置関係、及び構成要素の種別を特定可能な情報を含んでいる。このため、付与部１３は、コンテンツがデジタル文書の場合、当該コンテンツを解析することで、構造情報を生成すればよい。

また、コンテンツが手書き文書の場合も、手書きデータを構成するストロークそれぞれが属するクラスや位置を解析することで、構成要素の位置、構成要素間の相対位置関係、及び構成要素の種別を特定できる。クラスは、例えば、文字、図形、表、画像、及び絵などの少なくともいずれかである。このため、付与部１３は、コンテンツが手書きデータの場合も、当該コンテンツを解析することで、構造情報を生成すればよい。

なお、ストロークが属するクラスは、ストロークの集合を空間的又は時間的まとまりで構造化し、構造化した構造単位で、当該構造に帰属するストロークが属するクラスを決定する手法や、ストローク毎に、当該ストロークの周囲に存在する１以上の周辺ストロークを抽出し、当該ストロークと抽出した１以上の周辺ストロークとの組合せの特徴に関する組合せ特徴量を算出し、算出した組合せ特徴量で当該ストロークが属するクラスを決定する手法などで決定しておけばよい。

組合せ特徴量は、対象ストロークと１以上の周辺ストロークの少なくともいずれかとの関係を示す第１特徴量を含む。また、組合せ特徴量は、対象ストロークの形状に関する特徴量と１以上の周辺ストロークそれぞれの形状に関する特徴量との総和である総和値を用いた第２特徴量を含む。

第１特徴量は、対象ストロークと１以上の周辺ストロークの少なくともいずれかとの形状の類似度、及び対象ストロークと１以上の周辺ストロークの少なくともいずれかとの位置関係を特定する特定値の少なくとも一方である。

形状の類似度は、例えば、対象ストロークと１以上の周辺ストロークの少なくともいずれかとの長さ、曲率総和、主成分方向、外接矩形面積、外接矩形長、外接矩形縦横比、始点・終点距離、方向密度ヒストグラム、及び屈曲点数の少なくともいずれかの類似度である。つまり、形状の類似度は、例えば、対象ストロークのストローク特徴量と１以上の周辺ストロークの少なくともいずれかのストローク特徴量との類似度とすることができる。

特定値は、例えば、対象ストロークと１以上の周辺ストロークの少なくともいずれかとの外接矩形の重なり率、重心距離、重心距離の方向、端点距離、端点距離の方向、及び交差点数の少なくともいずれかである。

第２特徴量は、例えば、組合せの外接矩形長に対する対象ストロークの長さと１以上の周辺ストロークそれぞれの長さとの総和の比、対象ストローク及び１以上の周辺ストロークの方向密度ヒストグラムの総和値、及び組合せの外接矩形面積に対する対象ストロークの外接矩形面積と１以上の周辺ストロークそれぞれの外接矩形面積との総和の比の少なくともいずれかである。

入力部１５は、検索対象コンテンツを構成する構成要素の位置を指定する手書きデータを検索装置１０に入力する。手書きデータは、詳細には、検索対象コンテンツを構成する複数の構成要素それぞれの位置に加え、複数の構成要素間の相対位置関係を更に指定する。また、手書きデータは、複数の構成要素それぞれの種別を更に指定してもよい。なお、手書きデータは、複数のストロークで構成される。

また本実施形態では、検索対象コンテンツの複数の構成要素は、同一ページ上に存在し、複数の構成要素それぞれの位置は、当該同一ページ上の位置であるものとするが、これに限定されるものではない。

本実施形態では、入力部１５はタッチパネルであり、ユーザがスタイラスペンや指を用いてタッチパネル上で図形、絵、及び文字などの少なくともいずれかを手書きすることにより、手書きデータを入力することを想定しているが、これに限定されるものではない。例えば、入力部１６をタッチパッド、マウス、及び電子ペンなどで実現してもよい。

ストロークは、ユーザが手書した図形、絵、及び文字などの１画、即ち、スタイラスペンや指がタッチパネルの入力面に接してから離れるまで（ペンダウンからペンアップまで）の軌跡を示すデータであり、例えば、スタイラスペンや指と入力面との接点の時系列の座標値として表すことができる。

取得部１７は、入力部１５から入力された手書きデータを取得する。

生成部１９は、取得部１７により取得された手書きデータを整形して検索クエリを生成する。具体的には、生成部１９は、取得部１７により取得された手書きデータに対し、文字認識、図形認識、表認識、及び画像認識などを施して、検索クエリを生成する。

検索部２１は、取得部１７により取得された手書きデータに基づいて、記憶部１１から検索対象コンテンツを検索する。本実施形態では、検索部２１は、記憶部１１に記憶されている１以上のコンテンツそれぞれの構造情報を参照して、検索対象コンテンツを検索する。

具体的には、検索部２１は、生成部１９により生成された検索クエリと記憶部１１に記憶されている１以上のコンテンツそれぞれの構造情報とを比較して、検索対象コンテンツを検索する。例えば、検索部２１は、記憶部１１に記憶されている１以上のコンテンツのうち検索クエリと構造情報との類似度が閾値を超えるコンテンツを、検索対象コンテンツとして検索する。類似度は、例えば、一致する構成要素間の範囲の一致率とすることができる。

なお、記憶部１１に記憶されている１以上のコンテンツは、それぞれ、自身を構成する複数の構成要素それぞれの位置、当該複数の構成要素間の相対位置関係、及び当該複数の構成要素それぞれの種別を導出可能である。このため、検索部２１は、記憶部１１に記憶されているコンテンツ毎に、当該コンテンツを解析して、複数の構成要素それぞれの位置、当該複数の構成要素間の相対位置関係、及び当該複数の構成要素それぞれの種別を導出し、生成部１９により生成された検索クエリと比較して検索対象コンテンツを検索してもよい。このようにすれば、付与部１３がコンテンツに構造情報を付与していなくても、検索対象コンテンツを検索できる。

表示制御部２３は、検索部２１の検索結果を表示部２５に表示させる。

次に、図２〜図４を参照しながら、本実施形態の検索例について説明する。図２は、本実施形態の検索対象コンテンツ３１の一例を示す図であり、図３は、本実施形態の手書きデータの一例を示す図であり、図４は、本実施形態の検索結果の一例を示す図である。

図２に示すように、検索対象コンテンツ３１の右下には、画像（写真）の領域３２があるものとする。この場合、入力部１５は、図３に示すように、種別が画像であってページの右下に位置する領域３３を指定する手書きデータを検索装置１０に入力する。そして、生成部１９は、入力された手書きデータを整形して検索クエリを生成し、検索部２１は、生成した検索クエリと記憶部１１に記憶されている１以上のコンテンツそれぞれの構造情報とを比較して、検索クエリと構造情報との類似度が閾値を超えるコンテンツ、即ち、ページの右下に画像の領域が位置するコンテンツを検索する。この結果、検索部２１の検索結果は、図４に示すように、検索対象コンテンツ３１、コンテンツ３６、コンテンツ３８となり、検索対象コンテンツ３１を検索できる。

次に、図５〜図１０を参照しながら、本実施形態の手書きデータ（検索クエリ）の具体例について説明する。図５は、本実施形態の検索対象コンテンツ４１の一例を示す図であり、図６〜図１０は、本実施形態の手書きデータの一例を示す図である。

図５に示すように、検索対象コンテンツ４１の上段左には、文字の領域４２があり、検索対象コンテンツ４１の上段右には、画像（写真）の領域４３があり、検索対象コンテンツ４１の中段には、図の領域４４があり、検索対象コンテンツ４１の下段には、表の領域４５があるものとする。

この場合、検索対象コンテンツ４１を検索するための手書きデータとして、例えば、図６〜図１０に示す手書きデータが考えられる。

図６に示す手書きデータは、検索対象コンテンツを構成する複数の構成要素それぞれの位置に記載された手書き文字で、検索対象コンテンツの複数の構成要素それぞれの位置、相対位置関係、及び複数の構成要素それぞれの種別を指定する。

具体的には、図６に示す手書きデータは、ページ５０の上段左に文字５１を手書きすることで、上段左に文字領域があり、ページ５０の上段右に写真５２を手書きすることで、上段右に写真領域があり、ページ５０の中段に図５３を手書きすることで、中段に図形領域があり、ページ５０の下段に表５４を手書きすることで、下段に表領域があることを指定する。

図６に示す手書きデータは、検索対象コンテンツの複数の構成要素それぞれの位置、相対位置関係、及び複数の構成要素それぞれの種別を簡単に指定できるので、入力性に優れる。また検索対象コンテンツ４１の構成をユーザが曖昧に記憶している場合にも対応できる。但し、図６に示す手書きデータは、手書き文字で構成要素の種別を特定しているため、生成部１９は、検索クエリを生成する際に、手書き文字を文字認識する必要がある。なお、図６に示す例では、検索対象コンテンツを構成する複数の構成要素それぞれの位置に手書き文字を記載したが、構成要素の種別を示すアイコンやスタンプで代用してもよい。

図７に示す手書きデータは、検索対象コンテンツを構成する複数の構成要素それぞれの位置に記載された手書き記号（図形）で、検索対象コンテンツの複数の構成要素それぞれの位置、相対位置関係、及び複数の構成要素それぞれの種別を指定する。

具体的には、図７に示す手書きデータは、ページ６０の上段左に文字を概念化した記号である横線６１を手書きすることで、上段左に文字領域があり、ページ６０の上段右に写真（画像）を概念化した記号である矩形６２を手書きすることで、上段右に写真領域があり、ページ６０の中段に図形を概念化した記号である楕円６３を手書きすることで、中段に図形領域があり、ページ６０の下段に表を概念化した記号である田６４を手書きすることで、下段に表領域があることを指定する。なお、横線６１の本数は、文字領域の行数に対応させてもよいし、対応させなくてもよい。

図７に示す手書きデータも、検索対象コンテンツの複数の構成要素それぞれの位置、相対位置関係、及び複数の構成要素それぞれの種別を簡単に指定できるので、入力性に優れる。また検索対象コンテンツ４１の構成をユーザが曖昧に記憶している場合にも対応できる。また、図７に示す例では、文字を概念化した記号を横線、写真（画像）を概念化した記号を矩形、図形を概念化した記号を楕円、表を概念化した記号を田としているが、概念化した記号に追加学習等により増加させたり、変更させたりしてもよい。

図８に示す手書きデータは、検索対象コンテンツを構成する複数の構成要素それぞれの位置に記載された手書き円又は手書き多角形及び当該手書き円又は当該手書き多角形内に記載された手書き文字で、検索対象コンテンツの複数の構成要素それぞれの位置、相対位置関係、及び複数の構成要素それぞれの種別を指定する。

具体的には、図８に示す手書きデータは、ページ７０の上段左に「文字」を含む多角形７１を手書きすることで、上段左に文字領域があり、ページ７０の上段右に「写真」を含む多角形７２を手書きすることで、上段右に写真領域があり、ページ７０の中段に「図」を含む多角形７３を手書きすることで、中段に図形領域があり、ページ７０の下段に「表」を含む多角形７４を手書きすることで、下段に表領域があることを指定する。

図８に示す手書きデータは、検索対象コンテンツの複数の構成要素それぞれの位置、相対位置関係、及び複数の構成要素それぞれの種別を、具体的に指定できるので、検索性に優れる。但し、図８に示す手書きデータは、手書き文字で構成要素の種別を特定しているため、生成部１９は、検索クエリを生成する際に、手書き文字を文字認識する必要がある。

図９に示す手書きデータは、検索対象コンテンツを構成する複数の構成要素それぞれの位置に記載された手書きストローク及び当該手書きストロークの色で、検索対象コンテンツの複数の構成要素それぞれの位置、相対位置関係、及び複数の構成要素それぞれの種別を指定する。

具体的には、図９に示す手書きデータは、ページ８０の上段左を、文字を示す色のストローク８１で塗潰すことで、上段左に文字領域があり、ページ８０の上段右を、写真（画像）を示す色のストローク８２で塗潰すことで、上段右に写真領域があり、ページ８０の中段を、図形を示す色のストローク８３で塗潰すことで、中段に図形領域があり、ページ８０の下段を、表を示す色のストローク８４で塗潰すことで、下段に表領域があることを指定する。

図９に示す手書きデータは、検索対象コンテンツの複数の構成要素それぞれの位置、相対位置関係、及び複数の構成要素それぞれの種別を簡単に指定できるので、入力性に優れる。また検索対象コンテンツ４１の構成をユーザが曖昧に記憶している場合にも対応できる。なお、ストロークの太さを太くすることで塗潰しをより簡易化するようにしてもよいし、塗潰しの密度を検索対象コンテンツ４１に対応させてもよいし、対応させなくてもよい。

図１０に示す手書きデータは、検索対象コンテンツを構成する複数の構成要素それぞれの位置に記載された手書き円又は手書き多角形で、検索対象コンテンツの複数の構成要素それぞれの位置、及び相対位置関係を指定し、手書き円又は手書き多角形内に記載された手書き文字及び手書き図形の少なくとも一方で、検索対象文字及び検索対象図形の少なくとも一方を指定する。

この場合、検索部２１は、記憶部１１に記憶された１以上のコンテンツのうち、検索クエリと構造情報との類似度が閾値を超え、かつ手書き文字及び手書き図形の少なくとも一方が記載された手書き円又は手書き多角形で指定された位置で手書き文字及び手書き図形の少なくとも一方が存在するコンテンツを、検索対象コンテンツとして検索することになる。

具体的には、図１０に示す手書きデータは、ページ９０の上段左に多角形９１を手書きすることで、上段左に領域があり、ページ９０の上段右に多角形９２を手書きすることで、上段右に領域があり、ページ９０の中段に多角形９３を手書きすることで、中段に領域があり、ページ９０の下段に多角形９４を手書きすることで、下段に表領域があることを指定する。

更に、多角形９１内に「Ｓｙｓｔｅｍ」と手書きすることで、上段左の領域に「Ｓｙｓｔｅｍ」というキーワードが存在することを指定し、多角形９３内に円柱を手書きすることで、中段の領域に円柱が存在することを指定し、多角形９４内に「ｉｎｓｉｄｅ」と手書きすることで、下段の領域に「ｉｎｓｉｄｅ」というキーワードが存在することを指定する。

図１０に示す手書きデータは、検索対象コンテンツの複数の構成要素それぞれの位置、及び相対位置関係を指定しつつ、従来のキーワード検索を併用したものであるため、従来のキーワード検索よりも、より検索結果を絞り込める。但し、図１０に示す手書きデータは、手書き文字で構成要素の種別を特定しているため、生成部１９は、検索クエリを生成する際に、手書き文字を文字認識する必要がある。

なお、図６〜図１０に示す例において、手書きデータはインタラクティブに入力できるため、図６〜図１０で説明した内容を一度に入力する必要はなく、検索結果を見ながら、段階的に入力すればよい。

図１１は、本実施形態の検索装置１０で行われる検索処理の手順の流れの一例を示すフローチャート図である。

まず、付与部１３は、記憶部１１に記憶されたコンテンツ毎に、当該コンテンツを解析して、当該コンテンツを構成する複数の構成要素それぞれの位置、当該複数の構成要素間の相対位置関係、及び当該複数の構成要素それぞれの種別を示す構造情報を生成し、当該コンテンツに付与する（ステップＳ１０１）。

続いて、取得部１７は、入力部１５から入力された手書きデータを取得し（ステップＳ１０３）、表示制御部２３は、取得された手書きデータを表示部２５に表示させる。

続いて、生成部１９は、取得部１７により取得された手書きデータを整形して検索クエリを生成する（ステップＳ１０５）。

続いて、検索部２１は、生成部１９により生成された検索クエリと記憶部１１に記憶されている１以上のコンテンツそれぞれの構造情報とを比較して、検索対象コンテンツを検索する（ステップＳ１０７）。

続いて、表示制御部２３は、検索部２１の検索結果を表示部２５に表示させる（ステップＳ１０９）。

なお、ステップＳ１０１〜Ｓ１０９までの処理を連続して実行する必要はなく、ステップＳ１０１は予め１度実行しておけばよい。また、手書きデータの表示と検索結果の表示とは、同時に行ってもよい。また、取得部１７による手書きデータの取得の完了、即ち、ペンアップのタイミングを、ステップＳ１０５以降の処理を開始するトリガーに用いてもよい。

以上のように本実施形態によれば、検索対象コンテンツの構成要素の位置を指定することで、当該検索対象コンテンツを検索することができる。特に本実施形態では、検索対象コンテンツの構成要素の位置を指定すれば足りるため、検索対象コンテンツの内容を曖昧に記憶しているような場合にも、検索対象コンテンツを検索することができる。

（変形例１）
上記実施形態において、検索対象コンテンツを電子カルテとしてもよい。

図１２は、変形例の検索対象コンテンツ１００の一例を示す図であり、図１３は、変形例の手書きデータの一例を示す図である。

図１２に示すように、検索対象コンテンツ１００の左上には、シェーマの領域１０１があり、シェーマ内の中央部には、患部の箇所を示す絵領域及び患部に対するコメントの文字領域１０２があるものとする。シェーマは、人体図のテンプレートであり、患部の箇所や患部に対するコメントなどが記入される。

この場合、検索対象コンテンツ１００を検索するための手書きデータとして、例えば、図１３に示す手書きデータが考えられる。

図１３に示す手書きデータは、検索対象コンテンツの構成要素の位置に記載された手書き絵（ラフスケッチ）で、検索対象コンテンツの構成要素の位置、及び構成要素の種別を指定する。

具体的には、図１３に示す手書きデータは、ページ１１０の左上にシェーマのラフスケッチ１１１を手書きすることで、左上にシェーマの領域があることを指定する。

なお変形例の場合、付与部１３は、シェーマ情報を更に含む構造情報を生成し、コンテンツに付与する。シェーマ情報は、シェーマの領域の位置及びシェーマのテンプレートの種別などである。

なお検索部２１は、更に手書きデータのラフスケッチの形状と一致するシェーマを検索するようにしてもよい。この場合、検索部２１は、線画同士のマッチング方法として、各画素値が線画の線からの距離に応じ、近いほど大きな値を持つ画像を生成し、その画像間のユークリッド距離により、線画間の距離を求めるchamfer matchingとよばれる技術を用いればよい。そして検索部２１は、求めた距離を用いて、書かれた線画が最も近いシェーマのテンプレートを検索すればよい。

（変形例２）
上記実施形態では、検索装置１０が全ての構成要素を備える例について説明したが、これに限定されるものではなく、例えば、一部の構成要素をクラウド上に設けるなど、検索装置１０の外部に設けるようにしてもよい。

（ハードウェア構成）
図１４は、上記実施形態及び変形例の検索装置１０のハードウェア構成の一例を示す図である。上記実施形態及び変形例の検索装置１０は、ＣＰＵなどの制御装置９０１と、ＲＯＭやＲＡＭなどの記憶装置９０２と、ＨＤＤなどの外部記憶装置９０３と、ディスプレイなどの表示装置９０４と、キーボードやマウスなどの入力装置９０５と、通信インタフェースなどの通信装置９０６と、を備えており、通常のコンピュータを利用したハードウェア構成となっている。

上記実施形態及び変形例の検索装置１０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供される。

また、上記実施形態及び変形例の検索装置１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記実施形態及び変形例の検索装置１０で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上記実施形態及び変形例の検索装置１０で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するようにしてもよい。

上記実施形態及び変形例の検索装置１０で実行されるプログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、ＣＰＵがＨＤＤからプログラムをＲＡＭ上に読み出して実行することにより、上記各部がコンピュータ上で実現されるようになっている。

なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。

例えば、上記実施形態のフローチャートにおける各ステップを、その性質に反しない限り、実行順序を変更し、複数同時に実施し、あるいは実施毎に異なった順序で実施してもよい。

以上のように、上記実施形態及び変形例によれば、構成要素の位置を指定することで、検索対象コンテンツを検索することができる。

１０ 検索装置
１１ 記憶部
１３ 付与部
１５ 入力部
１７ 取得部
１９ 生成部
２１ 検索部
２３ 表示制御部
２５ 表示部

Claims (17)

1. 検索対象コンテンツを構成する構成要素の位置を指定する手書きデータを取得する取得部と、
   前記手書きデータに基づいて、１以上のコンテンツを記憶する記憶部から前記検索対象コンテンツを検索する検索部と、
   検索結果を表示部に表示させる表示制御部と、
   を備える検索装置。
2. 前記手書きデータは、前記検索対象コンテンツを構成する複数の構成要素それぞれの位置に加え、前記複数の構成要素間の相対位置関係を更に指定する請求項１に記載の検索装置。
3. 前記手書きデータは、前記複数の構成要素それぞれの種別を更に指定する請求項２に記載の検索装置。
4. 前記１以上のコンテンツは、それぞれ、自身を構成する複数の構成要素それぞれの位置、当該複数の構成要素間の相対位置関係、及び当該複数の構成要素それぞれの種別を導出可能である請求項３に記載の検索装置。
5. 前記コンテンツ毎に、当該コンテンツを解析して、前記複数の構成要素それぞれの位置、前記相対位置関係、及び前記複数の構成要素それぞれの種別を示す構造情報を生成し、当該コンテンツに付与する付与部を更に備え、
   前記検索部は、前記１以上のコンテンツそれぞれの構造情報を参照して、前記検索対象コンテンツを検索する請求項４に記載の検索装置。
6. 前記手書きデータを整形して検索クエリを生成する生成部を更に備え、
   前記検索部は、前記検索クエリと前記１以上のコンテンツそれぞれの前記構造情報を比較して、前記検索対象コンテンツを検索する請求項５に記載の検索装置。
7. 前記検索部は、前記１以上のコンテンツのうち前記検索クエリと前記構造情報との類似度が閾値を超えるコンテンツを、前記検索対象コンテンツとして検索する請求項６に記載の検索装置。
8. 前記手書きデータは、前記複数の位置それぞれに記載された手書き文字で、前記検索対象コンテンツの前記複数の構成要素それぞれの位置、前記相対位置関係、及び前記複数の構成要素それぞれの種別を指定する請求項７に記載の検索装置。
9. 前記手書きデータは、前記複数の位置それぞれに記載された手書き記号で、前記検索対象コンテンツの前記複数の構成要素それぞれの位置、前記相対位置関係、及び前記複数の構成要素それぞれの種別を指定する請求項７に記載の検索装置。
10. 前記手書きデータは、前記複数の位置それぞれに記載された手書き円又は手書き多角形及び当該手書き円又は当該手書き多角形内に記載された手書き文字で、前記検索対象コンテンツの前記複数の構成要素それぞれの位置、前記相対位置関係、及び前記複数の構成要素それぞれの種別を指定する請求項７に記載の検索装置。
11. 前記手書きデータは、前記複数の位置それぞれに記載された手書きストローク及び当該手書きストロークの色で、前記検索対象コンテンツの前記複数の構成要素それぞれの位置、前記相対位置関係、及び前記複数の構成要素それぞれの種別を指定する請求項７に記載の検索装置。
12. 前記手書きデータは、前記複数の位置それぞれに記載された手書き円又は手書き多角形で、前記検索対象コンテンツの前記複数の構成要素それぞれの位置、及び前記相対位置関係を指定し、前記手書き円又は前記手書き多角形内に記載された手書き文字及び手書き図形の少なくとも一方で、検索対象文字及び検索対象図形の少なくとも一方を指定し、
    前記検索部は、前記１以上のコンテンツのうち、前記検索クエリと前記構造情報との類似度が閾値を超え、かつ前記手書き文字及び前記手書き図形の少なくとも一方が記載された前記手書き円又は前記手書き多角形で指定された位置で前記手書き文字及び前記手書き図形の少なくとも一方が存在するコンテンツを、前記検索対象コンテンツとして検索する請求項７に記載の検索装置。
13. 前記種別は、文字、図形、表、画像、及び絵の少なくともいずれかである請求項３に記載の検索装置。
14. 前記手書きデータは、前記位置に記載された手書き絵で、前記検索対象コンテンツの前記構成要素の位置、及び前記構成要素の種別を指定する請求項７に記載の検索装置。
15. 前記検索対象コンテンツの前記複数の構成要素は、同一ページ上に存在し、
    前記複数の構成要素それぞれの前記位置は、前記同一ページ上の位置である請求項２に記載の検索装置。
16. 検索対象コンテンツを構成する構成要素の位置を指定する手書きデータを取得する取得ステップと、
    前記手書きデータに基づいて、１以上のコンテンツを記憶する記憶部から前記検索対象コンテンツを検索する検索ステップと、
    検索結果を表示部に表示させる表示制御ステップと、
    を含む検索方法。
17. 検索対象コンテンツを構成する構成要素の位置を指定する手書きデータを取得する取得ステップと、
    前記手書きデータに基づいて、１以上のコンテンツを記憶する記憶部から前記検索対象コンテンツを検索する検索ステップと、
    検索結果を表示部に表示させる表示制御ステップと、
    をコンピュータに実行させるためのプログラム。

Images