JP7095377B2

JP7095377B2 - 情報処理装置及び情報処理プログラム

Info

Publication number: JP7095377B2
Application number: JP2018079379A
Authority: JP
Inventors: 賢吾得地
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2018-04-17
Filing date: 2018-04-17
Publication date: 2022-07-05
Anticipated expiration: 2038-04-17
Also published as: US10970583B2; US20190318192A1; CN110399605A; JP2019185676A

Description

本発明は、情報処理装置及び情報処理プログラムに関する。

従来、ドキュメント、動画像、あるいは音声データを含む対象データの要約を出力する技術が提案されている。

例えば特許文献１には、静止画又は動画を含むコンテンツから対象被写体が映っている部分を抽出し、抽出した部分を組み合わせてダイジェストコンテンツを構成する情報処理装置が開示されている。また、例えば特許文献２には、動画において、利用者により選択された登場人物との間に所定の関係性を有する登場人物が登場する区間を検出し、検出した区間を出力する情報処理装置が開示されている。

特開２０１３－１７１３７３号公報特開２０１３－２５７４８号公報

ところで、ドキュメント、動画像、あるいは音声データを含む対象データの意味を表現した図を作成して表示することが考えられる。ここで、対象データの意味を表現した図が表示された後に、対象データの少なくとも一部分を抽出したい場合がある。

本発明の目的は、対象データの意味を表現した図を表示した後で、対象データの少なくとも一部分を抽出することにある。

請求項１に係る発明は、対象データの意味を表現した図を表示部に表示する表示制御部と、前記図の一部又は全部である指定部分が指定された場合、前記指定部分の表現に利用した前記対象データの少なくとも一部分である部分データを抽出する抽出部と、を備え、前記表示制御部は、前記抽出部が前記部分データを抽出した場合、前記対象データのうち前記部分データを除いた残りの部分に応じて生成された前記図を表示し、前記表示制御部は、前記対象データにおける意味上の複数の区分それぞれの意味を表現した複数の前記図を表示し、前記複数の図のうちいずれかの前記図の一部又は全部が前記指定部分として指定されて当該指定部分に応じた前記部分データが抽出された場合、前記指定部分を含む前記図に対応する前記区分のうち前記部分データを除いた残りの部分に応じて生成された前記図を表示し、前記表示制御部は、前記指定部分を含む前記図に対応する前記区分から前記部分データを除いたことによって変化する、当該区分以外の区分である他区分の意味に応じて再生成された前記図を表示する、情報処理装置である。

請求項２に係る発明は、前記図が生成される前記他区分が利用者によって選択可能である、請求項１に記載の情報処理装置である。

請求項３に係る発明は、前記表示制御部は、前記部分データが抽出された前記区分の意味の変化に連動して意味が変化する関係にある前記他区分の変化後の意味に応じて再生成された前記図を表示する、請求項１に記載の情報処理装置である。

請求項４に係る発明は、対象データの意味を表現した図を表示部に表示する表示制御部と、前記図の一部又は全部である指定部分が指定された場合、前記指定部分の表現に利用した前記対象データの少なくとも一部分である部分データを抽出する抽出部と、を備え、前記表示制御部は、前記対象データに含まれない付加情報の表現を含む前記図を表示し、前記抽出部は、前記部分データとして前記付加情報を抽出せず、前記表示制御部は、前記付加情報の表現を含む前記図を表示した後に、前記抽出部が前記部分データを抽出して前記対象データのうち前記部分データを除いた残りの部分に応じて生成された前記図を表示した場合、前記付加情報の編集を利用者に促す画面を前記表示部に表示する、情報処理装置である。

請求項５に係る発明は、対象データの意味を表現した図を表示部に表示する表示制御部と、前記図の一部又は全部である指定部分が指定された場合、前記指定部分の表現に利用した前記対象データの少なくとも一部分である部分データを抽出する抽出部と、を備え、前記表示制御部は、前記対象データに含まれない付加情報の表現を含む前記図を表示し、前記抽出部は、前記部分データとして前記付加情報を抽出し、前記表示制御部は、前記付加情報の表現を含む前記図を表示した後に、前記抽出部が前記部分データを抽出して前記対象データのうち前記部分データを除いた残りの部分に応じて生成された前記図を表示した場合、前記付加情報の編集を利用者に促す画面を前記表示部に表示する、情報処理装置である。

請求項６に係る発明は、前記対象データと前記部分データのデータ形式が互いに異なる、請求項１から５のいずれか一項に記載の情報処理装置である。

請求項７に係る発明は、前記指定部分を指定するための音声指示を受け付ける音声入力部、をさらに備える、請求項１から５のいずれか一項に記載の情報処理装置である。

請求項８に係る発明は、対象データの意味を表現した図を表示部に表示する表示制御部と、前記図の一部又は全部である指定部分が指定された場合、前記指定部分の表現に利用した前記対象データの少なくとも一部分である部分データを抽出する抽出部と、前記部分データが抽出されて前記図が生成された場合、前記対象データに登場する登場対象であって前記図によって表現されている登場対象が、前記部分データが除かれたことによって意味上の影響を受けた場合、当該登場対象に対する通知を出力する通知制御部と、を備え、前記表示制御部は、前記抽出部が前記部分データを抽出した場合、前記対象データのうち前記部分データを除いた残りの部分に応じて生成された前記図を表示する、情報処理装置である。

請求項９に係る発明は、コンピュータを、対象データの意味を表現した図を表示部に表示する表示制御部と、前記図の一部又は全部である指定部分が指定された場合、前記指定部分の表現に利用した前記対象データの少なくとも一部分である部分データを抽出する抽出部と、として機能させ、前記表示制御部は、前記抽出部が前記部分データを抽出した場合、前記対象データのうち前記部分データを除いた残りの部分に応じて生成された前記図を表示し、前記表示制御部は、前記対象データにおける意味上の複数の区分それぞれの意味を表現した複数の前記図を表示し、前記複数の図のうちいずれかの前記図の一部又は全部が前記指定部分として指定されて当該指定部分に応じた前記部分データが抽出された場合、前記指定部分を含む前記図に対応する前記区分のうち前記部分データを除いた残りの部分に応じて生成された前記図を表示し、前記表示制御部は、前記指定部分を含む前記図に対応する前記区分から前記部分データを除いたことによって変化する、当該区分以外の区分である他区分の意味に応じて再生成された前記図を表示する、情報処理プログラムである。
請求項１０に係る発明は、コンピュータを、対象データの意味を表現した図を表示部に表示する表示制御部と、前記図の一部又は全部である指定部分が指定された場合、前記指定部分の表現に利用した前記対象データの少なくとも一部分である部分データを抽出する抽出部と、前記部分データが抽出されて前記図が生成された場合、前記対象データに登場する登場対象であって前記図によって表現されている登場対象が、前記部分データが除かれたことによって意味上の影響を受けた場合、当該登場対象に対する通知を出力する通知制御部と、として機能させ、前記表示制御部は、前記抽出部が前記部分データを抽出した場合、前記対象データのうち前記部分データを除いた残りの部分に応じて生成された前記図を表示する、情報処理プログラムである。
請求項１１に係る発明は、コンピュータを、対象データの意味を表現した図を表示部に表示する表示制御部と、前記図の一部又は全部である指定部分が指定された場合、前記指定部分の表現に利用した前記対象データの少なくとも一部分である部分データを抽出する抽出部と、として機能させ、前記表示制御部は、前記対象データに含まれない付加情報の表現を含む前記図を表示し、前記抽出部は、前記部分データとして前記付加情報を抽出せず、前記表示制御部は、前記付加情報の表現を含む前記図を表示した後に、前記抽出部が前記部分データを抽出して前記対象データのうち前記部分データを除いた残りの部分に応じて生成された前記図を表示した場合、前記付加情報の編集を利用者に促す画面を前記表示部に表示する、情報処理プログラムである。
請求項１２に係る発明は、コンピュータを、対象データの意味を表現した図を表示部に表示する表示制御部と、前記図の一部又は全部である指定部分が指定された場合、前記指定部分の表現に利用した前記対象データの少なくとも一部分である部分データを抽出する抽出部と、として機能させ、前記表示制御部は、前記対象データに含まれない付加情報の表現を含む前記図を表示し、前記抽出部は、前記部分データとして前記付加情報を抽出し、前記表示制御部は、前記付加情報の表現を含む前記図を表示した後に、前記抽出部が前記部分データを抽出して前記対象データのうち前記部分データを除いた残りの部分に応じて生成された前記図を表示した場合、前記付加情報の編集を利用者に促す画面を前記表示部に表示する、情報処理プログラムである。

請求項１，４，５，８－１２に係る発明によれば、対象データの意味を表現した図を表示した後で、対象データの少なくとも一部分を抽出することができる。

請求項１，８－１０に係る発明によれば、対象データから部分データを除いた残りの部分を表現した図を表示することができる。

請求項１，９に係る発明によれば、指定部分に対応した区分から部分データを除いた残りの部分を表現した図を表示することができる。

請求項１，９に係る発明によれば、指定部分に対応した区分から部分データが抽出された場合に、他区分に応じた図を生成して表示することができる。

請求項２に係る発明によれば、利用者は、図の生成の対象となる他区分を選択することができる。

請求項３に係る発明によれば、部分データが抽出された区分の意味の変化に連動して意味が変化する他区分に応じた図を生成して表示することができる。

請求項４，１１に係る発明によれば、付加情報の表現を含む図を表示した後で、指定部分が指定された場合、付加情報を含まない部分データを抽出することができる。

請求項５，１２に係る発明によれば、付加情報の表現を含む図を表示した後で、指定部分が指定された場合、付加情報を含む部分データを抽出することができる。

請求項４，５，１１，１２に係る発明によれば、付加情報の表現を含む図を作成した後で、部分データが抽出された場合、利用者は、再生成された図に関する付加情報を編集することができる。

請求項６に係る発明によれば、対象データとはデータ形式が異なる部分データを抽出することができる。

請求項７に係る発明によれば、音声指示により指定部分を指定することができる。

請求項８，１０に係る発明によれば、対象データから部分データが除かれたことにより意味上の影響を受けた登場対象に対して通知を出力することができる。

本実施形態に係る情報処理装置の構成概略図である。対象データの意味を表現した意味図の表示例を示す図である。付加情報の表現を含む意味図の表示例を示す図である。意味図及び追加データの表示例を示す図である。追加データが画像形式で表示された例を示す図である。対象データに対して追加データが指定される様子を示す図である。追加データを考慮して再生成された意味図の表示例を示す図である。追加データが指定された際に表示される、意味図を再生成する区分を指定する画面の例を示す図である。指定された区分に追加データが追加されたことによって変化した他区分の意味に応じて再生成された区分意味図の表示例を示す図である。付加情報の表現を含む意味図に対して追加データを指定する様子を示す図である。付加情報の表現を変更せずに再生成された意味図の表示例を示す図である。再生成された、付加情報の表現を含まない意味図の表示例を示す図である。追加データが対象データに追加された場合に表示される、付加情報の編集画面の例を示す図である。対象データの意味を表現した意味図から部分データが抽出される様子を示す図である。対象データの意味を表現した意味図から構成要素が指定されて部分データが抽出される様子を示す図である。複数の区分意味図に共通して含まれる構成要素が指定部分として指定された場合に部分データが抽出される様子を示す図である。対象データから部分データを除いた残りの部分に応じて再生成された意味図を示す図である。部分データを抽出する際に表示される、意味図を再生成する区分を指定する画面の例を示す図である。指定された区分から部分データが抽出されたことによって変化した他区分の意味に応じて再生成された意味図の表示例を示す図である。付加情報の表現を含む意味図から部分データが抽出される様子を示す図である。部分データが抽出された際に、付加情報の表現を変更せずに、対象データから部分データを除いた残りの部分に応じて再生成された意味図の表示例を示す図である。部分データが抽出された際に、対象データから部分データを除いた残りの部分に応じて再生成された、付加情報の表現を含まない意味図の表示例を示す図である。部分データが抽出された際に表示される付加情報の編集画面の例を示す図である。

＜情報処理装置の構成概略＞
図１は、本実施形態に係る情報処理装置１０の構成概略図である。情報処理装置１０の例としては、例えばパーソナルコンピュータ、スマートフォンなどの携帯端末、あるいはサーバなどであるが、情報処理装置１０は、以下の機能を実現可能な限りにおいてどのような装置であってもよい。

記憶部１２は、例えばＲＯＭ、ＲＡＭ、あるいはハードディスクなどを含んで構成される。記憶部１２には、情報処理装置１０の各部を動作させるための情報処理プログラムが記憶される。さらに、図１に示すように、記憶部１２には対象データ１４及び追加データ１６が記憶される。

対象データ１４は、情報処理装置１０の処理の対象となるデータであり、ウェブページあるいは電子ドキュメントなどの電子文書、動画像データ、あるいは音声データを含むものである。対象データ１４は、通信部１８を介して情報処理装置１０以外の装置から取得してもよく、情報処理装置１０が作成したものであってもよい。対象データ１４の内容としては、例えば、会議の議事録などであるが、もちろん対象データ１４の内容としてはこれには限られない。

追加データ１６も、対象データ１４と同様にウェブページあるいは電子ドキュメントなどの電子文書、動画像データ、あるいは音声データを含むものである。追加データ１６は、制御部２６が対象データ１４の意味を表現した意味図を作成した後に、情報処理装置１０が取得するデータである。追加データ１６の内容としては、例えば対象データ１４が会議の議事録である場合では、議事録を見た上司が入力する校閲データや、会議の出席者によって後から提示された追加資料などであるが、もちろん追加データ１６の内容としてはこれには限られない。

追加データ１６も、通信部１８を介して情報処理装置１０以外の装置から取得してもよく、情報処理装置１０が作成したものであってもよい。追加データ１６のデータ形式は対象データ１４と同じであってもよく、異なっていてもよい。例えば、対象データ１４が動画像であり、追加データが静止画像であってよい。また、追加データ１６は複数記憶部１２に記憶されていてもよい。

通信部１８は、例えばネットワークアダプタを含んで構成される。通信部１８は、ＬＡＮあるいはインターネットなどの通信回線を介して他の装置と通信する機能を発揮する。

入力部２０は、例えばタッチパネル、キーボード、あるいはマウスなどを含んで構成される。また、入力部２０としては、カメラやセンサを利用した非接触操作(ジェスチャー)を受け付けるインターフェースを含んで構成されてもよい。入力部２０は、情報処理装置１０に対する利用者（ユーザ）の指示を受け付ける。

音声入力部２２は、例えばマイクなどを含んで構成される。音声入力部２２は、情報処理装置１０に対するユーザの音声指示を受け付ける。

表示部２４は、例えば液晶パネルなどを含んで構成される。表示部２４には、種々の画面が表示され、特に、制御部２６の処理結果が表示される。

なお、情報処理装置１０がサーバである場合には、情報処理装置１０は、入力部２０、音声入力部２２、及び表示部２４を有していなくてもよい。その場合は、タッチパネル、キーボードあるいはマウスなどの入力部、及び、マイクなどの音声入力部を有するユーザ端末と通信する通信部１８が、ユーザ端末から送信されてくるユーザの指示あるいは音声指示を受信する。すなわち、通信部１８が、入力部２０あるいは音声入力部２２の機能を発揮する。また、ユーザ端末の液晶パネルなどが表示部２４の機能を発揮する。

制御部２６は、例えばＣＰＵあるいはマイクロコントローラを含んで構成される。制御部２６は、記憶部１２に記憶された情報処理プログラムに従って、情報処理装置１０の各部を制御する。図１に示されるように、制御部２６は、解析部２８、意味図生成部３０、抽出部３２、表示制御部３４、及び、通知制御部３６としても機能する。

解析部２８は、対象データ１４を解析することで対象データ１４の意味（内容）を取得する。同様に、解析部２８は、追加データ１６を解析することで、追加データ１６の意味を取得する。以下、解析部２８の処理の説明において対象データ１４に対する処理を説明するが、解析部２８は、追加データ１６に対しても同様の処理を行う。

具体的には、解析部２８は、対象データ１４から抽出した文字列に対して自然言語処理を施すことによって対象データ１４の意味を取得する。

対象データ１４からの文字列の抽出について、対象データ１４が電子文書である場合には、例えば電子文書に対して文字認識処理を施すことによって文字列を抽出することができる。対象データ１４が動画像データあるいは音声データである場合には、動画像データあるいは音声データに含まれる音声をテキストデータに変換することによって文字列を抽出することができる。

自然言語処理とは、形態素解析、構文解析、意味解析、あるいは文脈解析を含む処理である。

形態素解析とは、対象言語の文法や、辞書と呼ばれる単語の品詞などの情報に基づいて、文字列を複数の形態素（言語で意味を持つ最小単位）の列に分割した上で、各形態素の品詞などを判別する処理である。

構文解析とは、複数の形態素間の関係（例えば修飾－被修飾の関係）などの構文論的な関係を判別し、これにより複数の形態素間の位置関係（かかり受けなど）を決定する処理である。構文解析によって複数のパターンの構文木（各形態素をノードとする木構造）が形成される。

意味解析とは、各形態素の意味を考慮し、各形態素の意味に基づいて、複数の形態素間の正しい繋がりを決定する処理である。意味解析によって、複数のパターンの構文木から意味的に正しい構文木が選択される。

文脈解析とは、１又は複数の形態素からなる文に跨って構文解析及び意味解析を行う処理である。例えば、文脈解析によれば、第１文の内容に基づいて、第２文に登場する指示代名詞の内容が把握される。

好適には、解析部２８は、対象データ１４に対して自然言語処理を施すことによって、対象データ１４のうち特に重要な１又は複数の部分を特定する。特に、解析部２８は、対象データ１４内に明示的に現れる文字列のみならず、当該文字列の内容から推定される内容を含む内容を重要部分として特定してもよい。

また、解析部２８は、対象データ１４全体の意味を解析した上で、対象データ１４の全体の要約を表す要約文字列を生成するようにしてもよい。要約とは、対象データ１４が特に表したい意味（内容）であり、対象データ１４の重要部分と重複してもよい。ただし、要約文字列としては、対象データ１４から抽出された文字列の一部分でなくてもよい。

また、解析部２８は、対象データ１４の意味に基づいて、対象データ１４を複数の区分に分けるようにしてもよい。例えば、対象データ１４を目的、課題、解決手段、次回迄の課題という４つの区分に分けるようにしてもよい。

また、解析部２８は、区分毎に重要部分を特定するようにしてもよい。さらに、解析部２８は、区分毎に要約文字列を生成するようにしてもよい。

なお、対象データ１４をどのような区分に分けるかは、ユーザが設定できるようになっているのが好ましい。

意味図生成部３０は、解析部２８によって得られた対象データ１４の意味に基づいて、対象データ１４の少なくとも一部分の意味を表現した意味図を生成する。意味図の一例としては、意味図の生成対象となった対象データ１４の一部分に含まれる各用語の関係、例えば、主語（何が）、述語（何をした）、目的語（何を）などの関係が分かるような図である。意味図は、１又は複数の構成要素を含んで構成される。構成要素は、図形、写真、あるいは文字などである。例えば、意味図は、主語を表す構成要素、述語を表す構成要素、目的語を表す構成要素の組み合わせで構成される。意味図の詳細については後述する。

意味図生成部３０は、例えば、対象データ１４のうち重要だと判断された重要部分の意味を表現した意味図を生成する。重要部分の判定は、例えば解析部２８の解析結果に基づいて実行する。また、意味図生成部３０は、解析部２８が生成した要約文字列を表現した意味図を生成するようにしてもよい。

意味図生成部３０は、対象データ１４の複数の部分の意味を表現した複数の意味図を生成するようにしてもよい。例えば、上述のように解析部２８が対象データ１４を複数の区分に分けた場合には、意味図生成部３０は、対象データ１４の複数の区分それぞれを表現した複数の区分意味図からなる意味図を生成してもよい。もちろん、意味図生成部３０は、複数の区分のうち、１つの区分を表現した１つの意味図を生成するようにしてもよい。

また、意味図生成部３０は、対象データ１４を表現した意味図を生成した後に、当該対象データ１４に対する追加データ１６がユーザなどによって指定された場合に、対象データの意味のみならず、追加データ１６の意味も併せて考慮した上で、意味図を再生成する。

抽出部３２は、意味図生成部３０が生成した、対象データ１４を表現した意味図に対して指定部分がユーザなどによって指定された場合に、当該指定部分の表現に利用した対象データ１４の少なくとも一部分を部分データとして抽出する。指定部分は意味図の一部又は全部であってよく、また、部分データは対象データ１４の全部であってもよい。抽出された部分データは記憶部１２に記憶されるか、通信部１８を介して他の装置へ送信される。

なお、抽出部３２が対象データ１４から部分データを抽出した際に、意味図生成部３０は、対象データ１４から部分データを除いた残りの部分を表現した意味図を再生成するようにしてもよい。もちろん、意味図生成部３０は、部分データが抽出された場合に、生成済みの意味図をそのまま残す（すなわち再生成しない）ようにしてもよい。

表示制御部３４は、種々の画面を表示部２４に表示する処理を実行する。特に、表示制御部３４は、意味図生成部３０が生成（あるいは再生成）した意味図、追加データ１６、あるいは抽出部３２が抽出した部分データなどを表示部２４に表示する。

通知制御部３６は、対象データ１４に対する追加データ１６が指定されて、追加データ１６が考慮されて意味図が再生成された場合、対象データ１４に登場する登場対象であって意味図によって表現されている（意味図に含まれる）登場対象が、追加データ１６を考慮することによって意味上の影響を受けた場合、当該登場対象に対する通知を出力する。また、通知制御部３６は、対象データ１４から部分データが抽出されて意味図が再生成された場合、対象データ１４に登場する登場対象であって意味図によって表現されている登場対象が、部分データが除かれたことによって意味上の影響を受けた場合、当該登場対象に対する通知を出力する。

ここで、登場対象は人物を含むが、これに限られるものではない。例えば、登場対象には、ＡＩロボットあるいは種々の装置（例えば動物に餌や薬を与える装置）などが含まれる。登場対象が人物である場合には、通知制御部３６は、例えば、当該人物に対してメールを送信することなどによって通知を出力する。また、登場対象がＡＩロボットや装置である場合には、これらを制御するための信号を通知として出力する。

以下、意味図生成部３０、抽出部３２、表示制御部３４、及び通知制御部３６の処理の詳細について説明する。

＜意味図の詳細＞
まず、意味図生成部３０が生成する意味図の詳細を説明する。図２には、意味図生成部３０が生成した、対象データ１４を表現した意味図４０が表示部２４に表示された例が示されている。

図２に示す通り、本実施形態においては、意味図４０は、対象データ１４における意味上の複数の区分に応じた複数の区分意味図４２ａ～４２ｄ（以下、複数の区分意味図４２ａ～４２ｄを総称して区分意味図４２と記載する）から構成されている。もちろん、意味図４０は、対象データ１４の１つの区分（一部分）を表現した１つの図であってもよい。

図２の例では、解析部２８により対象データ１４が目的、課題、解決手段、及び次回迄の課題の４つの区分に分けられ、意味図生成部３０により、目的に対応する区分意味図４２ａ、課題に対応する区分意味図４２ｂ、解決手段に対応する区分意味図４２ｃ、次回迄の課題に対応する区分意味図４２ｄが生成され、表示制御部３４により、これら区分意味図４２から構成される意味図４０が表示部２４に表示されている。

対象データ１４の各区分に対応する各区分意味図４２は、解析部２８により生成された各区分の要約文字列を表現したものであってよい。例えば、図２の区分意味図４２ａは対象データ１４における目的の要約文字列を表現したものであり、区分意味図４２ｂは対象データ１４における課題の要約文字列を表現したものであり、区分意味図４２ｃは対象データ１４における解決手段の要約文字列を表現したものであり、区分意味図４２ｄは対象データ１４における次回迄の宿題の要約文字列を表現したものである。

あるいは、各区分に対応する各区分意味図４２は、対象データ１４の複数の区分それぞれの一部分（例えば重要部分）を表現したものであってもよい。

また、複数の区分としては、目的、課題、解決手段、及び次回までの課題に限られない。例えば、複数の区分としては、対象データ１４の意味における起、承、転、及び結であってもよい。また、複数の区分としては、機器、通信、及び人など、対象データ１４の内容に応じた区分であってもよい。

本実施形態では、意味図４０（各区分意味図４２）は、１又は複数の構成要素４４から構成される。構成要素４４によって、各区分の少なくとも一部の意味が表現されている。例えば、図２における目的の区分に対応する区分意味図４２ａにおいて、構成要素４４として、男性を表す図形、スマートフォンを表す図形、お金を表す図形、及びキャッシュレジスタを表す図形を含んでおり、これらの構成要素４４により「電子決済」が表現されている。また、スマートフォンによる電子決済であることをより分かりやすくするために、区分意味図４２ａにおいて、スマートフォンを表す図形からキャッシュレジスタを表す図形へ向かう矢印の構成要素４４が含まれている。

意味図４０に含まれる構成要素４４としては図形に限らず、写真あるいは文字であってもよい。例えば、図２に示す区分意味図４２ｄにおいては、「Ａさん：コンビニβにヒアリング」といった文字の構成要素４４が含まれている。

なお、表示制御部３４は、意味図４０に含まれる構成要素４４が表現する用語の対象データ１４における重要度に基づいて、当該構成要素４４の表示態様を決定するようにしてもよい。例えば、解析部２８の処理結果に基づいて、より重要であると判定された用語を表現する構成要素４４をより大きく表示する。もちろん、構成要素４４の重要度は大きさ以外の表示態様で表現されるようにしてもよい。例えば、構成要素４４の色、あるいは、構成要素４４が文字である場合には、構成要素４４のフォントなどによって重要度を表現するようにしてもよい。

また、意味図生成部３０は、対象データ１４に含まれない付加情報を考慮して、当該付加情報の表現を含む意味図４０を生成してもよい。図３に、付加情報の表現４６を含む意味図４０が表示部２４に表示された例が示されている。図３の例では、複数の区分意味図４２が、それぞれ付加情報の表現４６を含んでいる。

本実施形態では、付加情報はユーザにより付加される。具体的には、意味図４０が表示された後で、ユーザが表示された意味図４０に対する付加情報を入力部２０を用いて入力することで付加情報が付加される。図３の例では、各区分意味図４２に対するユーザのコメントが、各区分意味図４２（すなわち対象データ１４の各区分）に対する付加情報であり、ユーザが入力したコメントに対応する文字列を含む吹き出しが付加情報の表現４６となっている。もちろん、付加情報はそれ以外の方法によって付加されてもよいし、付加情報の内容はユーザによって入力されるもの以外であってもよい。

＜追加データを考慮した意味図の再生成処理＞
以下、意味図生成部３０が、対象データ１４を表現した意味図を生成した後に、追加データ１６がユーザによって指定された場合に、意味図を再生成する処理の詳細について説明する。

まず、対象データ１４に対する追加データ１６の指定方法について説明する。本実施形態では、図４に示される通り、表示制御部３４は、対象データ１４を表現した（追加データ１６を考慮する前の）意味図４０と共に、意味図４０の表示領域外に追加データ１６を表示する。図４の例では、複数の追加データ１６（動画ファイルＢ.mpeg4、文書６.docx、及び静止画像Ｇ.jpeg）が示されている。このように、追加データ１６としては様々なデータ形式をとることができる。例えば、対象データ１４が動画である場合にも、追加データとして静止画や電子文書（ドキュメント）を指定可能である。すなわち、上述のように、対象データ１４と追加データ１６のデータ形式が互いに異なっていてもよい。

図４においては、追加データ１６は文字列で表示されているが、図５に示される通り、表示制御部３４は、追加データ１６を画像形式で表示してもよい。例えば、追加データ１６が動画であれば、当該動画の１つのフレームを表示してもよい。あるいは、追加データ１６が静止画であれば、当該静止画の一部あるいは縮小画像を表示してもよい。また、意味図生成部３０が追加データ１６の意味を表す画像を生成して、表示制御部３４が当該画像を表示するようにしてもよい。

ユーザは、表示部２４上において、追加データ１６を意味図４０の表示領域外から表示領域内へ移動させることで、当該意味図４０に対応する対象データ１４に対する追加データ１６を指定することができる。図６には、追加データ１６が意味図４０の表示領域外から表示領域内へ移動される様子が示されている。表示部２４上における追加データの移動は、例えば、タッチパネル上において、追加データ１６上に指又はスタイラスをタッチして、タッチパネルへの接触を維持しながら指又はスタイラスを意味図４０の表示領域内まで移動させること（すなわちスライド操作をすること）で実現される。あるいは、マウスを用いて、表示部２４上を移動するポインタを追加データ１６上に移動させた上でマウスのボタンを押下し、ボタンの押下を維持しながらポインタを意味図４０の表示領域内まで移動させること（すなわちドラッグ操作をすること）で実現される。もちろん、その他の方法で追加データ１６を意味図４０の表示領域内に移動させてもよい。

複数の追加データ１６が表示された場合には、ユーザは、表示された複数の追加データ１６を個別に意味図４０の表示領域内に移動可能となっている。これにより、複数の追加データ１６がある場合に、ユーザは、複数の追加データ１６の中から選択した追加データ１６を指定することができる。

また、意味図４０が複数の区分意味図４２から構成される場合には、追加データ１６の移動先によって、対象データ１４の区分を指定した上で、追加データを指定することができる。図６の例では、追加データ１６である静止画像Ｇ.jpegが、区分意味図４２ｃの表示領域内に移動されている。これにより、対象データ１４のうち、区分意味図４２ｃに対応する解決手段の区分が指定区分として指定された上で、追加データ１６が指定される。

なお、対象データ１４に対する追加データ１６の指定は、上記以外の方法で行ってもよい。例えば、表示制御部３４が、対象データ１４に対する追加データ１６を選択する選択画面を表示部２４に表示し、ユーザが、当該選択画面において追加データ１６を指定するようにしてもよい。もちろんその場合であっても、指定区分を指定した上で追加データを指定可能となっているのが望ましい。また、対象データ１４に対する追加データ１６を指定するための音声指示を音声入力部２２に入力することで追加データ１６を指定するようにしてもよい。

対象データ１４に対する追加データ１６が指定されると、意味図生成部３０は、指定された追加データ１６を考慮して意味図を再生成する。そして、表示制御部３４は、意味図生成部３０が再生成した意味図４０’を表示部２４に表示させる。図７に、再生成された意味図４０’の表示例が示されている。意味図４０’においては、追加データ１６を考慮する前の意味図４０に比して、区分意味図４２ｃにいくつかの構成要素４４（図７において一点鎖線で囲まれた構成要素４４）が加えられている。なお、再生成された意味図４０’は追加データ１６を考慮したものであるが、その内容は必ずしも追加データ１６を考慮する前の意味図４０と異なっていなくてもよい。追加データ１６の内容によっては、意味図４０と意味図４０’の内容が同じである場合もある。

図７に示された意味図４０’は、図６に示すように、指定区分として解決手段が指定された上で追加データ１６が指定された場合に再生成されたものである。このように、対象データ１４に対して、指定区分が指定された上で追加データ１６が指定された場合、意味図生成部３０は、追加データ１６を考慮して、指定区分（図７の例では解決手段）を表現した区分意味図４２ｃ’（以下、追加データが指定されたことにより再生成された区分意味図を総称して区分意味図４２’と記載する）を再生成する。例えば、区分意味図４２ｃ’は、対象データ１４の指定区分である解決手段の内容、及び追加データ１６の内容を表現したものとなる。このとき、指定区分以外の区分である他区分の区分意味図４２ａ、４２ｂ、及び４２ｃは再生成の対象としなくてもよい。

追加データ１６の内容を対象データ１４の指定区分の内容に追加した場合、他区分の内容にも影響が及ぶ場合がある。例えば、指定区分である解決手段の内容に追加データ１６の内容が追加された結果、他区分である次回までの宿題の内容が変化する場合がある。また、例えば、指定区分である課題の内容に追加データ１６の内容が追加された結果、他区分である解決手段あるいは次回までの宿題の内容が変化する場合がある。

したがって、対象データ１４に対して、指定区分が指定された上で追加データ１６が指定された場合、意味図生成部３０は、指定区分に対応する区分意味図４２ｃのみならず、指定区分への追加データ１６によって内容が変化する他区分に対応する区分意味図４２ａ、４２ｂ、及び４２ｄも再生成の対象とするようにしてもよい。

追加データ１６が指定されたときに意味図の再生成の対象となる他区分はユーザによって選択可能となっていてもよい。本実施形態では、図８に示すように、指定区分が指定された上で追加データ１６が指定されたときに、表示制御部３４は、意味図の再生成の対象となる他区分をユーザに選択させるための他区分選択ウィンドウ５０を表示する。ユーザが他区分選択ウィンドウ５０において意味図の再生成の対象となる他区分を選択すると、意味図生成部３０は、追加データ１６を考慮して、指定区分の区分意味図４２’ｃと、選択された他区分の区分意味図４２’を再生成する。

図９には、他区分選択ウィンドウ５０において他区分として次回までの宿題が選択され、解決手段を指定区分として追加データ１６が指定された場合に、指定区分の解決手段に応じた区分意味図４２ｃ’と他区分の次回までの宿題に応じた区分意味図４２ｄ’が再生成されて表示された例が示されている。再生成された区分意味図４２ｄ’においては、解決手段の内容が変化したことで、次回までの宿題として、新たに、ＣさんがレジメーカにΩをヒアリングすることが示されている。

ここで、対象データ１４に対して追加データ１６が指定されたことによって、区分意味図４２ｄ’が示すように、対象データ１４に登場する人物であるＣさんが意味上の影響を受けている。したがって、通知制御部３６は、Ｃさんに対して通知（例えばメールなど）を出力する。これにより、Ｃさんは、追加データ１６によって自分の次回までの宿題が変更されたことを容易に把握することができる。

また、追加データ１６が指定されたときに意味図の再生成の対象となる他区分は、ユーザ選択によらずに自動的に決定されるようにしてもよい。具体的には、意味図生成部３０は、対象データ１４において、指定区分の意味の変化に連動して意味が変化する関係にある他区分の意味図を再生成する対象として自動的に選択し、選択した他区分の変化後の意味を表現する意味図を再生成するようにしてもよい。

指定区分の意味の変化に連動して意味が変化する関係にある他区分とは、例えば、指定区分が上位概念の意味を有している場合にその下位概念の意味を有する他区分、あるいは、指定区分が上流の意味を有している場合にその下流の意味を有する他区分である。また、例えば、対象データ１４が一連のステップを表すデータである場合においては、指定区分が前ステップに関する意味を有している場合に後ステップに関する意味を有する他区分である。

本実施形態の例（目的、課題、解決手段、及び次回までの宿題の４つの区分の例）では、例えば、課題が変化することで、解決手段及び次回までの宿題が変化する場合が多い。したがって、課題が指定区分に指定された上で追加データ１６が指定された場合には、意味図生成部３０は、課題のみならず、解決手段及び次回までの宿題を意味図の再生成の対象として自動的に選択してよい。

なお、追加データ１６が指定されたときに意味図を再生成する対象を指定区分の区分意味図４２のみとするか、あるいは他区分の区分意味図４２まで含めることとするかは、ユーザなどによって設定可能となっていてもよい。

上述の通り、意味図生成部３０は、付加情報の表現４６を含む意味図４０を生成することができる。図１０に示すように、付加情報の表現４６を含む意味図４０に対して追加データ１６が指定された場合にも、意味図生成部３０は意味図４０を再生成の対象とする。この場合、付加情報が対象データ１４に含まれない意味を有していることから、再生成した意味図４０’における付加情報の表現４６の取り扱いが問題となり得る。

図１１には、付加情報の表現４６を含む意味図４０に対して、指定区分が指定された上で追加データ１６が指定されて再生成された意味図４０’の第１の表示例が示されている。図１０と図１１を比較して分かるように、本実施形態においては、意味図生成部３０は、追加データ１６が指定される前の意味図４０が有する付加情報の表現４６を変更せずに、意味図４０’を再生成する。

また、図１２には、付加情報の表現４６を含む意味図４０に対して、指定区分が指定された上で追加データ１６が指定されることで再生成された意味図４０’の第２の表示例が示されている。図１２に示される通り、意味図生成部３０は、追加データ１６が指定される前の意味図４０が有する付加情報の表現４６を含まない意味図４０’を再生成するようにしてもよい。図１２の例では、指定区分として解決手段が指定されているので、指定区分に係る区分意味図４２ｃ’のみが再生成されており、区分意味図４２ｃ’においては区分意味図４２ｃが有していた付加情報の表現４６が削除されている。これにより、区分意味図４２ｃ’の表現内容と、区分意味図４２ｃ’に付された付加情報の表現４６の内容とに齟齬が生じることを防止している。

また、表示制御部３４は、付加情報の表現４６を含む意味図４０に対して追加データ１６が指定されることで再生成された意味図４０’を表示した場合、付加情報の編集をユーザに促す画面を表示部２４に表示するようにしてもよい。図１３には、付加情報の編集をユーザに促す画面の表示例が示されている。図１３の例では、指定区分として解決手段が指定され、それに応じて、指定区分である解決手段の区分意味図４２ｃ’、及び、他区分である次回までの宿題の区分意味図４２ｄ’が再生成されている。したがって、表示制御部３４は、再生成された区分意味図４２ｃ’においては、区分意味図４２ｃが有していた付加情報の表現４６を削除した上で、新たに、ユーザに区分意味図４２ｃ’に対する付加情報（ここではコメント）を入力するためのコメント入力欄５２を表示している。同様に、表示制御部３４は、再生成された区分意味図４２ｄ’においては、区分意味図４２ｄが有していた付加情報の表現４６を削除した上で、新たに、ユーザに区分意味図４２ｄ’に対する付加情報を入力するためのコメント入力欄５２を表示している。

付加情報の編集をユーザに促す画面としては、図１３に示した画面以外の画面であってもよい。また、付加情報の編集をユーザに促す画面を表示する前に、ユーザに「意味図が再生成されたのでコメントの編集をしますか？」といったような確認画面を表示し、ユーザの確認を得た上で付加情報の編集をユーザに促す画面を表示するようにしてもよい。

また、図１３の例においては、区分意味図４２ｃ’に対する付加情報と、区分意味図４２ｄ’に対する付加情報を同時に編集可能となっているが、複数の区分意味図４２’が再生成された場合には、複数の区分意味図４２’についての複数の付加情報をユーザに順次編集させるべく、各区分意味図４２’に対する付加情報の編集画面を順次表示するようにしてもよい。このとき、付加情報の編集画面の表示順は、再生成された各区分意味図４２’に対応する対象データ１４の各区分間の関係に応じて決定されるのが好ましい。例えば、対象データ１４が起、承、転、結の区分に分けられている場合には、起の区分意味図４２’に対する付加情報、承の区分意味図４２’に対する付加情報、転の区分意味図４２’に対する付加情報、結の区分意味図４２’に対する付加情報の順に編集画面を表示させるのが好ましい。

以上説明した通り、情報処理装置１０においては、対象データ１４における意味上の区分を表現した意味図４０が生成された後に、対象データ１４に対して追加データ１６が指定された場合に、対象データ１４及び追加データ１６の意味を考慮した意味図４０’が再生成されて表示される。これにより、ユーザは、追加データ１６を考慮した対象データ１４の内容をより容易に把握できるようになる。例えば、対象データ１４が会議の議事録である場合に、会議の出席者から追加資料が事後的に提出された場合において、当該追加資料を考慮した意味図４０’を再生成することで、ユーザは、追加資料を含む議事録の内容を容易に把握することができるようになる。

＜意味図が生成された対象データからの部分データの抽出処理＞
以下、対象データ１４を表現した意味図４０が表示された後に、抽出部３２が、対象データ１４の少なくとも一部分を抽出する処理の詳細について説明する。

図１４に、対象データ１４を表現した意味図４０において指定部分が指定されて、部分データが抽出される様子が示されている。抽出部３２は、表示部２４に表示された対象データ１４を表現した意味図４０の一部又は全部である指定部分がユーザなどによって指定された場合に、指定部分の表現に利用した対象データ１４の少なくとも一部分である部分データを抽出する。

本実施形態では、表示部２４上において、意味図４０の一部又は全部を指定部分として選択して、当該指定部分を意味図４０表示領域内から表示領域外へ移動させることで、指定部分を指定することができる。追加データの移動と同様に、表示部２４上における指定部分の移動は、例えば、スライド操作あるいはドラッグ操作などにより実現される。

なお、指定部分として意味図４０の全体が指定された場合、抽出部は対象データ１４そのものを抽出するようにしてもよい。例えば、対象データがサーバなどに記憶されていてユーザが直接対象データ１４にアクセスできない場合において、ユーザは、意味図４０を全体を指定部分として指定することで、意味図４０が表現する対象データ１４の全体を取得することができる。

図１４においても、意味図４０は、対象データ１４の複数の区分に対応する複数の区分意味図４２から構成されている。このように、意味図４０が複数の区分意味図４２から構成される場合、ユーザがタッチした区分意味図４２の全体が指定部分として選択されるようにすることができる。例えば、図１４に示す通り、ユーザが区分意味図４２ｃをタッチし、そのまま区分意味図４２ｃを意味図４０の表示領域外へスライド操作すると、指定部分として区分意味図４２ｃの全体が指定される。

指定部分が指定されると、抽出部３２は、指定部分の表現に利用した対象データ１４の少なくとも一部分である部分データ７０を抽出する。図１４の例では、指定部分として区分意味図４２ｃが指定されているので、この場合、抽出部３２は、対象データ１４から、区分意味図４２ｃが表現する部分を部分データ７０として抽出する。

なお、ユーザがタッチした区分意味図４２の一部を指定部分として指定可能となっていてもよい。この場合、例えば、ユーザが区分意味図４２の一部を指で囲むなどして指定した上で、指定した部分を意味図４０の表示領域外へ移動させるなどの操作をすることで、区分意味図４２の一部を指定部分として指定することができる。

指定部分が意味図４０の表示領域内から表示領域外へ移動された場合、表示制御部３４は、指定部分の移動先に、抽出された部分データ７０を表示する。なお、指定部分の移動先とは、スライド操作の終点（指あるいはスタイラスがタッチパネルから離された位置）、あるいはドラッグ操作の終点（マウスのボタンの押下が解除された位置）である。これにより、ユーザは、抽出された部分データ７０がどのようなデータであるかを容易に把握することができる。図１４の例では、区分意味図４２ｃは、動画ファイルＡ.mpeg4、文書３.docx、静止画像Ｃ.jpegを表現したものであるので、部分データとしてこれらのデータが抽出されている。

対象データ１４のデータ形式と部分データ７０のデータ形式が互いに異なっていてもよい。例えば、対象データ１４が動画である場合、抽出部３２は、当該動画の１フレームの静止画を部分データ７０として抽出してもよい。

なお、図１４においては、意味図４０は複数の区分意味図４２から構成されているが、部分データ７０の抽出の対象となる対象データ１４を表現した意味図は、複数の区分に分けられたものでなくてもよい。

意味図４０が１又は複数の構成要素を含んでいる場合、構成要素を指定部分として指定することができるようになっていてもよい。図１５には、意味図４０に含まれる構成要素４４が指定部分として指定される様子が示されている。図１５に示す通り、ユーザは、意味図に含まれる構成要素４４を選択して、当該構成要素４４を意味図４０表示領域内から表示領域外へ移動させることで、当該構成要素４４を指定部分として指定することができる。なお、複数の構成要素４４を指定部分として指定可能となっていてもよい。

構成要素４４が指定されると、抽出部３２は、対象データ１４のうち、指定された構成要素４４の表現に利用した少なくとも一部分である部分データ７０を抽出する。図１５の例では、指定部分として、「携帯端末」を表す構成要素４４が指定されているので、この場合、抽出部３２は、対象データ１４から、当該構成要素４４が表現する部分を部分データ７０として抽出する。

意味図４０を構成する複数の区分意味図４２において、共通して含まれる構成要素４４が指定部分として指定された場合、抽出部３２は、指定された構成要素４４を含む複数の区分意味図４２に対応する複数の区分それぞれから、指定された構成要素４４の表現に利用した部分データ７０を抽出する。

図１６に示された意味図４０においては、「サーバ」を表す構成要素４４は、区分意味図４２ｂ及び４２ｃに共通して含まれている。この場合、ユーザによって、区分意味図４２ｂ及び４２ｃの一方に含まれる「サーバ」を表す構成要素４４が指定部分として指定された場合に、区分意味図４２ｂ及び４２ｃの他方に含まれる「サーバ」を表す構成要素４４も自動的に指定部分として指定されるようにしてもよい。その上で、抽出部３２は、区分意味図４２ｂに対応する対象データ１４の区分である課題から、「サーバ」を表す構成要素４４の表現に利用した部分を部分データ７０として抽出すると共に、区分意味図４２ｃに対応する対象データ１４の区分である解決手段から、「サーバ」を表す構成要素４４の表現に利用した部分を部分データ７０として抽出するようにしてもよい。これにより、複数の部分データ７０が抽出される。

なお、意味図４０における指定部分の指定は、上記以外の方法で行ってもよい。例えば、意味図４０において指定部分を指定するための音声指示を音声入力部２２に入力することで指定部分を指定するようにしてもよい。

抽出部３２によって部分データが抽出された場合、意味図生成部３０は、対象データ１４から部分データを除いた残りの部分に応じて意味図を再生成し、表示制御部３４が再生成された意味図を表示部２４に表示するようにしてもよい。

図１７には、解決手段を表現した区分意味図４２ｃから「携帯端末」を表す構成要素４４が指定部分として指定されて部分データが抽出された場合（図１５参照）に、意味図生成部３０が再生成した区分意味図４２ｃ’’（以下、部分データが抽出されたことにより再生成された区分意味図を総称して区分意味図４２’’と記載する）が示されている。図１７の例のように、意味図４０が複数の区分意味図４２から構成されている場合において、いずれかの区分意味図４２の一部又は全部が指定部分として指定されて、当該指定部分に応じた部分データ７０が抽出された場合、意味図生成部３０は、指定部分を含む区分意味図４２に対応する対象データ１４の区分のうち部分データ７０を除いた残りの部分を表現した区分意味図４２’’を再生成する。例えば、区分意味図４２ｃ’’は、対象データ１４の指定区分である解決手段の内容から部分データ７０を除いた残りの部分を表現したものである。図１７の例においては、区分意味図４２ｃ’’は、区分意味図４２ｃに比して、指定部分として指定された「携帯端末」を表す構成要素４４が削除されている。

指定部分に対応する対象データ１４の区分の内容から部分データ７０の内容を除いた場合、指定部分に対応する区分である他区分の内容にも影響が及ぶ場合がある。例えば、指定部分に対応する区分である解決手段の内容から部分データ７０の内容を除いた結果、他区分である次回までの宿題の内容が変化する場合がある。また、例えば、指定部分に対応する区分である課題の内容から部分データ７０の内容を除いた結果、他区分である解決手段あるいは次回までの宿題の内容が変化する場合がある。

したがって、意味図４０が複数の区分意味図４２から構成されている場合において、指定部分に対応する対象データ１４の区分の内容から部分データ７０が抽出された場合、意味図生成部３０は、指定部分を含む区分意味図４２ｃのみならず、部分データ７０が抽出されることによって内容が変化する他区分に対応する区分意味図４２ａ，４２ｂ又は４２ｄも再生成の対象とするようにしてもよい。

部分データ７０が抽出されたときに意味図の再生成の対象となる他区分はユーザによって選択可能となっていてもよい。本実施形態では、図１８に示すように、部分データ７０が抽出されたときに、表示制御部３４は、意味図の再生成の対象となる他区分をユーザに選択させるための他区分選択ウィンドウ８０を表示する。ユーザが他区分選択ウィンドウ８０において意味図の再生成の対象となる他区分を選択すると、意味図生成部３０は、対象データ１４から部分データ７０を除いた内容を表現するように、指定区分の区分意味図４２ｃ’’と、選択された他区分の区分意味図４２’’を再生成する。

図１９には、区分意味図４２ｃに含まれる構成要素４４が指定部分として指定されて部分データ７０が抽出され、他区分選択ウィンドウ８０において他区分として次回までの宿題が選択された場合に、指定部分に係る区分意味図４２ｃ’’と選択された他区分に係る次回までの宿題に応じた区分意味図４２ｄ’’が再生成されて表示された例が示されている。再生成された区分意味図４２ｄ’’においては、解決手段の内容が変化したことで、次回までの宿題として、新たに、ＣさんがレジメーカにΩをヒアリングすることが示されている。

ここで、対象データ１４から部分データ７０が除かれたことによって、区分意味図４２ｄ’’が示すように、対象データ１４に登場する人物であるＣさんが意味上の影響を受けている。したがって、通知制御部３６は、Ｃさんに対して通知（例えばメールなど）を出力する。これにより、Ｃさんは、対象データ１４から部分データ７０が除かれたことによって自分の次回までの宿題が変更されたことを容易に把握することができる。

また、部分データ７０が抽出されたときに意味図の再生成の対象となる他区分は、ユーザ選択によらずに自動的に決定されるようにしてもよい。具体的には、意味図生成部３０は、対象データ１４において、部分データ７０が抽出された区分の意味の変化に連動して意味が変化する関係にある他区分を意味図を再生成する対象として自動的に選択するようにしてもよい。

なお、部分データ７０が抽出されたときに意味図を再生成する対象を指定部分を含む区分意味図４２のみとするか、あるいは他区分の区分意味図４２まで含めることとするかは、ユーザなどによって設定可能となっていてもよい。

図２０に示すように、付加情報の表現４６を含む意味図４０に対して指定部分が指定された場合、付加情報は対象データ１４の内容に含まれない情報であるため、抽出部３２は、部分データ７０として付加情報を抽出しなくてもよい。一方、付加情報の表現４６を含む意味図４０に対して指定部分が指定された場合、抽出部３２は、付加情報を含めた部分データ７０を抽出するようにしてもよい。図２１には、部分データ７０として付加情報である「ユーザの付加情報.txt」が抽出されている。

また、付加情報の表現４６を含む意味図４０に対して指定部分が指定されて部分データ７０が抽出された場合にも、意味図生成部３０は意味図４０を再生成の対象とする。図２１には、付加情報の表現４６を含む意味図４０に対して指定部分が指定されて部分データ７０が抽出されたことで再生成された意味図４０’’の第１の表示例が示されている。図２０と図２１を比較して分かるように、本実施形態においては、意味図生成部３０は、部分データ７０が抽出される前の意味図４０が有する付加情報の表現４６を変更せずに、意味図４０’’を再生成する。

また、図２２には、付加情報の表現４６を含む意味図４０に対して指定部分が指定されて部分データ７０が抽出されたことで再生成された意味図４０’’の第２の表示例が示されている。図２２に示される通り、意味図生成部３０は、部分データ７０が抽出される前の意味図４０が有する付加情報の表現４６を含まない意味図４０’’を再生成するようにしてもよい。図２２の例では、区分意味図４２ｃの一部が指定部分として指定されているので、区分意味図４２ｃ’’のみが再生成されており、区分意味図４２ｃ’’においては区分意味図４２ｃが有していた付加情報の表現４６が削除されている。これにより、区分意味図４２ｃ’’の表現内容と、区分意味図４２ｃ’’に付された付加情報の表現４６の内容とに齟齬が生じることを防止している。

また、表示制御部３４は、付加情報の表現４６を含む意味図４０に対して指定部分が指定されて部分データ７０が抽出されることで再生成された意味図４０’’を表示した場合、付加情報の編集をユーザに促す画面を表示部２４に表示するようにしてもよい。図２３には、付加情報の編集をユーザに促す画面の表示例が示されている。図２３の例では、区分意味図４２ｃの一部が指定部分として指定されて部分データ７０が抽出され、それに応じて、指定部分に係る区分意味図４２ｃ’’、及び、他区分に係る区分意味図４２ｄ’’が再生成されている。したがって、表示制御部３４は、再生成された区分意味図４２ｃ’’においては、区分意味図４２ｃが有していた付加情報の表現４６を削除した上で、新たに、ユーザに区分意味図４２ｃ’’に対する付加情報（ここではコメント）を入力するためのコメント入力欄５２を表示している。同様に、表示制御部３４は、再生成された区分意味図４２ｄ’’においては、区分意味図４２ｄが有していた付加情報の表現４６を削除した上で、新たに、ユーザに区分意味図４２ｄ’’に対する付加情報を入力するためのコメント入力欄５２を表示している。

追加データ１６が追加されて意味図４０’が再生成された場合同様、付加情報の編集をユーザに促す画面としては、図２３に示した画面以外の画面であってもよい。また、付加情報の編集をユーザに促す画面を表示する前に、ユーザに「意味図が再生成されたのでコメントの編集をしますか？」といったような確認画面を表示し、ユーザの確認を得た上で付加情報の編集をユーザに促す画面を表示するようにしてもよい。

また、図２３の例においては、区分意味図４２ｃ’’に対する付加情報と、区分意味図４２ｄ’’に対する付加情報を同時に編集可能となっているが、追加データ１６が追加されて意味図４０’が再生成された場合同様、複数の区分意味図４２’’が再生成された場合には、複数の区分意味図４２’’についての複数の付加情報をユーザに順次編集させるべく、各区分意味図４２’’に対する付加情報の編集画面を順次表示するようにしてもよい。このとき、付加情報の編集画面の表示順は、再生成された各区分意味図４２’’に対応する対象データ１４の各区分間の関係に応じて決定されるのが好ましい。

以上説明した通り、情報処理装置１０においては、対象データ１４における意味上の区分を表現した意味図４０が生成された後に、意味図４０において指定部分が指定された場合に、当該指定部分の表現に利用した対象データ１４の少なくとも一部を部分データとして抽出することができる。例えば、対象データ１４が会議の議事録である場合には、ユーザは、意味図４０において議事録の大まかな内容を把握した上で、所望の部分を指定部分として指定して抽出された部分データ７０を確認することで、所望の部分の詳細を確認することが容易にできるようになる。また、対象データ１４の一部である部分データ７０を種々の目的に転用することが容易にできるようになる。また、部分データ７０を除いた対象データ１４の残りの部分で意味図４０’’が再生成されるから、生成された意味図４０の一部を削除して意味図４０’’を再生成させる用途で部分データ７０を抽出用することもできる。

以上、本発明に係る実施形態を説明したが、本発明は上記実施形態に限られるものではなく、各実施形態を組み合わせて利用してもよいし、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。

１０情報処理装置、１２記憶部、１４対象データ、１６追加データ、１８通信部、２０入力部、２２音声入力部、２４表示部、２６制御部、２８解析部、３０意味図生成部、３２抽出部、３４表示制御部、３６通知制御部。

Claims

対象データの意味を表現した図を表示部に表示する表示制御部と、
前記図の一部又は全部である指定部分が指定された場合、前記指定部分の表現に利用した前記対象データの少なくとも一部分である部分データを抽出する抽出部と、
を備え、
前記表示制御部は、前記抽出部が前記部分データを抽出した場合、前記対象データのうち前記部分データを除いた残りの部分に応じて生成された前記図を表示し、
前記表示制御部は、前記対象データにおける意味上の複数の区分それぞれの意味を表現した複数の前記図を表示し、前記複数の図のうちいずれかの前記図の一部又は全部が前記指定部分として指定されて当該指定部分に応じた前記部分データが抽出された場合、前記指定部分を含む前記図に対応する前記区分のうち前記部分データを除いた残りの部分に応じて生成された前記図を表示し、
前記表示制御部は、前記指定部分を含む前記図に対応する前記区分から前記部分データを除いたことによって変化する、当該区分以外の区分である他区分の意味に応じて再生成された前記図を表示する、
情報処理装置。
前記図が生成される前記他区分が利用者によって選択可能である、
請求項１に記載の情報処理装置。
前記表示制御部は、前記部分データが抽出された前記区分の意味の変化に連動して意味が変化する関係にある前記他区分の変化後の意味に応じて再生成された前記図を表示する、
請求項１に記載の情報処理装置。
対象データの意味を表現した図を表示部に表示する表示制御部と、
前記図の一部又は全部である指定部分が指定された場合、前記指定部分の表現に利用した前記対象データの少なくとも一部分である部分データを抽出する抽出部と、
を備え、
前記表示制御部は、前記対象データに含まれない付加情報の表現を含む前記図を表示し、
前記抽出部は、前記部分データとして前記付加情報を抽出せず、
前記表示制御部は、前記付加情報の表現を含む前記図を表示した後に、前記抽出部が前記部分データを抽出して前記対象データのうち前記部分データを除いた残りの部分に応じて生成された前記図を表示した場合、前記付加情報の編集を利用者に促す画面を前記表示部に表示する、
情報処理装置。
対象データの意味を表現した図を表示部に表示する表示制御部と、
前記図の一部又は全部である指定部分が指定された場合、前記指定部分の表現に利用した前記対象データの少なくとも一部分である部分データを抽出する抽出部と、
を備え、
前記表示制御部は、前記対象データに含まれない付加情報の表現を含む前記図を表示し、
前記抽出部は、前記部分データとして前記付加情報を抽出し、
前記表示制御部は、前記付加情報の表現を含む前記図を表示した後に、前記抽出部が前記部分データを抽出して前記対象データのうち前記部分データを除いた残りの部分に応じて生成された前記図を表示した場合、前記付加情報の編集を利用者に促す画面を前記表示部に表示する、
情報処理装置。
前記対象データと前記部分データのデータ形式が互いに異なる、
請求項１から５のいずれか一項に記載の情報処理装置。
前記指定部分を指定するための音声指示を受け付ける音声入力部、
をさらに備える、請求項１から５のいずれか一項に記載の情報処理装置。
対象データの意味を表現した図を表示部に表示する表示制御部と、
前記図の一部又は全部である指定部分が指定された場合、前記指定部分の表現に利用した前記対象データの少なくとも一部分である部分データを抽出する抽出部と、
前記部分データが抽出されて前記図が生成された場合、前記対象データに登場する登場対象であって前記図によって表現されている登場対象が、前記部分データが除かれたことによって意味上の影響を受けた場合、当該登場対象に対する通知を出力する通知制御部と、
を備え、
前記表示制御部は、前記抽出部が前記部分データを抽出した場合、前記対象データのうち前記部分データを除いた残りの部分に応じて生成された前記図を表示する、
情報処理装置。
コンピュータを、
対象データの意味を表現した図を表示部に表示する表示制御部と、
前記図の一部又は全部である指定部分が指定された場合、前記指定部分の表現に利用した前記対象データの少なくとも一部分である部分データを抽出する抽出部と、
として機能させ、
前記表示制御部は、前記抽出部が前記部分データを抽出した場合、前記対象データのうち前記部分データを除いた残りの部分に応じて生成された前記図を表示し、
前記表示制御部は、前記対象データにおける意味上の複数の区分それぞれの意味を表現した複数の前記図を表示し、前記複数の図のうちいずれかの前記図の一部又は全部が前記指定部分として指定されて当該指定部分に応じた前記部分データが抽出された場合、前記指定部分を含む前記図に対応する前記区分のうち前記部分データを除いた残りの部分に応じて生成された前記図を表示し、
前記表示制御部は、前記指定部分を含む前記図に対応する前記区分から前記部分データを除いたことによって変化する、当該区分以外の区分である他区分の意味に応じて再生成された前記図を表示する、
情報処理プログラム。
コンピュータを、
対象データの意味を表現した図を表示部に表示する表示制御部と、
前記図の一部又は全部である指定部分が指定された場合、前記指定部分の表現に利用した前記対象データの少なくとも一部分である部分データを抽出する抽出部と、
前記部分データが抽出されて前記図が生成された場合、前記対象データに登場する登場対象であって前記図によって表現されている登場対象が、前記部分データが除かれたことによって意味上の影響を受けた場合、当該登場対象に対する通知を出力する通知制御部と、
として機能させ、
前記表示制御部は、前記抽出部が前記部分データを抽出した場合、前記対象データのうち前記部分データを除いた残りの部分に応じて生成された前記図を表示する、
情報処理プログラム。
コンピュータを、
対象データの意味を表現した図を表示部に表示する表示制御部と、
前記図の一部又は全部である指定部分が指定された場合、前記指定部分の表現に利用した前記対象データの少なくとも一部分である部分データを抽出する抽出部と、
として機能させ、
前記表示制御部は、前記対象データに含まれない付加情報の表現を含む前記図を表示し、
前記抽出部は、前記部分データとして前記付加情報を抽出せず、
前記表示制御部は、前記付加情報の表現を含む前記図を表示した後に、前記抽出部が前記部分データを抽出して前記対象データのうち前記部分データを除いた残りの部分に応じて生成された前記図を表示した場合、前記付加情報の編集を利用者に促す画面を前記表示部に表示する、
情報処理プログラム。
コンピュータを、
対象データの意味を表現した図を表示部に表示する表示制御部と、
前記図の一部又は全部である指定部分が指定された場合、前記指定部分の表現に利用した前記対象データの少なくとも一部分である部分データを抽出する抽出部と、
として機能させ、
前記表示制御部は、前記対象データに含まれない付加情報の表現を含む前記図を表示し、
前記抽出部は、前記部分データとして前記付加情報を抽出し、
前記表示制御部は、前記付加情報の表現を含む前記図を表示した後に、前記抽出部が前記部分データを抽出して前記対象データのうち前記部分データを除いた残りの部分に応じて生成された前記図を表示した場合、前記付加情報の編集を利用者に促す画面を前記表示部に表示する、
情報処理プログラム。