JP3746378B2 - 電子メモ処理装置、電子メモ処理方法、および電子メモ処理プログラムを記録したコンピュータ読取り可能な記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は文書の作成および文書を媒体としたコミュニケーションに関し、特に電子的であるか紙媒体であるかを問わず、文書に対して電子的なメモを付加したり表示したりすることが可能な装置および方法ならびにそうした電子メモ処理方法を実現する電子メモ処理プログラムを記録したコンピュータ読取り可能な記録媒体に関する。
【０００２】
【従来の技術】
近年、文書の作成は、文書作成専用のいわゆるワードプロセッサと呼ばれる装置またはコンピュータ上で実行される文書作成アプリケーションソフトウェアを用いて行われることが通常である。こうした方式では、文書に対する修正、加筆が手軽に行なえるという利点がある。しかし企業等ではこれらのアプリケーションプログラムを使って担当者が文書を作成するが、文書作成担当者により作成された文書をそのまま配布することは少ない。むしろ一旦印字して、上司や同僚によりチェックを受け、その添削結果をもとの文書ファイルに反映し、より完成度を上げてから配布するのが一般的である。この場合、修正内容やコメントはペンで原稿の上に書込まれる。
【０００３】
このような方法の長所は、修正箇所と修正内容とを一見するだけで対応付けられること、およびコンピュータ操作が必要ないため、コンピュータの操作に不慣れな者であっても校正作業が容易にできるという点にある。また、紙媒体上で文書を検討する際には、多くの頁をごく短い時間で通覧したり、遠く離れた複数頁を簡単に比較できたりするという利点があり、こうした利点はコンピュータ等の表示装置では得ることは困難である。
【０００４】
しかしこの方式では、コンピュータ内に格納されている文書と、紙に書かれた修正メモとの対応関係を統一的に管理することが困難であるという問題がある。また、他の人が文書の校正や文書に関するコメントの作成をしたり、複数の人が同一の文書に対してそうした処理をしたりする場合があるが、そうした場合にはコンピュータ内に格納されているある文書と、その文書に関して紙媒体上に作成された多くのメモまたはコメントとを統合的に管理する必要がある。従来の方式ではそうした統合的な管理は極めて困難であった。したがって、こうした欠点を解消するために、紙媒体の文書と電子的な文書、さらには文書に対して作成されたメモまたはコメントとを統一的に管理するシステムが望まれている。
【０００５】
この問題を解決すべく、通常のコンピュータセットを用いて、作成中の文書にコメントを付加したり、文書に付加されたコメントを参照したりするための技術がいくつか提案されている。その代表例として、ＴＲＯＮ（Ｔｈｅ Ｒｅａｌ−Ｔｉｍｅ Ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ Ｎｕｃｌｅｕｓ）プロジェクトの「実身仮身」モデルが挙げられる（第１の従来技術）。この技術では、データが、データの実体（実身）とアイコン（仮身）とを持ち、仮身を任意のデータの実身の中に組み込むことで、ハイパーテキストのような機能をデータに持たせる。
【０００６】
また、特開平１−０２６２６９号公報、特開平１−０３５６５２号公報、または特開平１−０３７６５６号公報は、文書中の文字列の代替文字列と、それに関する情報とを記憶しておき、必要なときに代替文字列を表示する文書編集方式を開示している。
【０００７】
一方、人が作業を行う「机」にコンピュータの機能を持たせ、それによって人とコンピュータとの対話を行うという技術が「Ｉｎｔｅｒａｃｔｉｎｇ ｗｉｔｈ Ｐａｐｅｒ ｏｎ ｔｈｅ Ｄｉｇｉｔａｌｄｅｓｋ」（Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ ＡＣＭ， Ｖｏｌ．３６，Ｎｏ．７，１９９３）または「実世界での操作に反応する机型の対話環境」（インタラクティブシステムとソフトウェア、ＩＩ−ＷＩＳＳ’９４、近代科学社、Ｓｅｐ，１９９４）で提案されている（第２の従来技術）。
【０００８】
第２の従来技術は、机の上に配置されたカメラを用いて、机上の物体およびユーザの動作を監視し、監視された状況に応じて、コンピュータで生成された画面を机上にプロジェクタで写し出すという形式でコンピュータと作業者との対話を行う。机上の物体やプロジェクタで写し出された画面に対してユーザがアクションを起こすと、当該物体または画面に割り当てられたコンピュータの機能が動作し、結果が机上に写し出される。特に、「Ｉｎｔｅｒａｃｔｉｎｇ ｗｉｔｈ
Ｐａｐｅｒ ｏｎ ｔｈｅ Ｄｉｇｉｔａｌｄｅｓｋ」と題された文献では、机上の上に書かれた図形を認識することで、紙を媒体としたコンピュータとのコミュニケーションを図ろうとしている。
【０００９】
また、紙を媒体としてコンピュータとのコミュニケーションを目指した別の技術として、特開平９−９１３９１号公報に挙げられた技術がある（第３の従来技術）。この技術では、これまでコンピュータの世界に閉じた技術であったハイパーテキスト、ハイパーメディアの概念を紙媒体の文書に適用しようとしている。そのためにこの技術では、関連情報が付加されている文書の構成要素に網かけなどの印を付けて印字する。そして、その紙文書に対して、ユーザが所望の文書構成要素にマーカで印を付ける処理を行う。その紙文書をスキャナで読取ってコンピュータへの入力とし、コンピュータによって、印が付けられた文書構成要素と関連する情報がプリンタまたはコンピュータディスプレイ等の出力装置に出力される。
【００１０】
ところで、紙媒体に文書を出力した上で校正をする場合、文書をチェックする人数分だけ文書を印字する必要があり、プリンタ用紙の消費が増えるという欠点がある。また、文書の内容を遠隔地の人に校正してもらう場合、処理を迅速にするためにはファクシミリなどを利用して原稿を送り、またファクシミリなどを利用して校正済みの原稿を送ってもらわなければならず不便である。また前述のように、コンピュータに格納された電子的な文書ファイルと、紙に印字された文書の手書のコメントとの対応を統一的に管理するのは困難である。したがって、できれば紙媒体を使用せずに校正などの作業を行なえるようにできれば便利である。その場合にはコンピュータを利用せざるを得ないが、コンピュータの操作、特にワードプロセッサソフトウェアの操作に熟練していない者、特にキーボード入力が不得意な者にとってはできるだけ紙媒体を使用した場合と同様の操作で処理を済ませることが望ましい。
【００１１】
【発明が解決しようとする課題】
上述の３つの従来技術のうち、第１の従来技術は、文書に付加されたメモを管理するための手法ということができるが、これはコンピュータ環境に閉じた技術であって、紙媒体を用いた文書校正などの処理には適用できないという問題がある。現代はコンピュータが発達した社会であり、紙を使用して行われることはほとんどがコンピュータ上で行うことが可能である。しかしそれでも、依然として多くの紙が使用され、コンピュータの利用が広まるにつれてむしろ紙の使用量が増えているといわれる。これは、紙に書かれた文書、特にコンピュータによって印字された文書の視認性の良さによるものである。したがってコンピュータ内の情報が紙媒体に移され、さらにメモなどの情報が加えられたのちコンピュータ内にそうした新たな情報が反映されずかえって拡散していくという問題がある。すなわち、紙という媒体とコンピュータで管理できる電子的な媒体とを統合し、紙媒体に付加されたメモなどの、電子的な情報の関連情報を統一的に管理する技術を開発する必要が高まっている。
【００１２】
一方第２の従来技術では、ユーザが紙に書いたメモをコンピュータに取込んだとしても、そのメモと実際にそのメモが書かれていた紙媒体との間の対応関係は保存されない。そのためメモと紙媒体とを統一的に管理することはできない。また、ユーザが直接紙の上にメモなどを記入するため、多くのメモを書くと紙上が煩雑になり視認性がわるくなるという問題がある。さらに、装置が大規模であり携帯が困難であるという問題もある。
【００１３】
また、第３の従来技術では、紙を媒体として電子的な媒体とのコミュニケーションを実現しようとしているが、メモの付加など、情報を文書に付加する作業自体は従来どおりコンピュータに閉じた世界の中で行わなければならない。また、紙文書から情報を引き出すためには、ユーザが直接に紙媒体の上の文書にマークを付ける必要がある。また、マークされた文書をスキャナを用いて読取らなければならない。そのため文書が汚れたり、文書上に記載された事項が多数になり煩雑になったり、マークが薄かったりすると必要な情報を文書から読取ることができず関連情報の引き出しは困難となる。
【００１４】
電子的な文書に直接手書で電子的なコメントを書き込めるような仕組として、アプリケーションプログラムが作成した文書ファイルにさらにペン入力で手書データを追加する機能は、既に市販のアプリケーションプログラムで実現されている。そのアプリケーションプログラムでは、文書の編集モードとは異なる「描画」モードに切り換えることにより、ユーザがペン入力データを追加できる。
【００１５】
しかし、この機能は単一のアプケーションの中で閉じており汎用的な仕組になっていないため、他のアプリケーションで作成した文書は処理できない。そのため個々のアプリケーションがそれぞれペン入力データを扱う仕組を実装しなければならないという問題がある。また、こうして作成されたメモはもとの文書と一体となっており、これのみを他のアプリケーションプログラムが自由に取出して使用することもできない。また他のアプリケーションが作成した文書ファイルの場合、仮にその文書ファイルを読込み表示する機能があったとしても、もとのアプリケーションが作成した文書のレイアウトがそのまま再現できるとは限らず、したがって種々様々なレイアウトの文書にメモを書き入れることになってしまい統一してメモと電子的な文書とを管理することは難しい。
【００１６】
さらに、上述した従来技術のアプリケーションではペン入力データは文書の一部を構成することになり、ペン入力データのみを文書の他の部分から分離して抜き出して別の用途に活用することができないという問題点もある。
【００１７】
こうした問題を解決するための一つの提案が特開平5-189185号公報においてなされている。この公報に記載の発明では、ウィンドウにイメージデータを描画する。そしてこの描画したイメージデータの上に仮想的に透明ウィンドウを設け、前記のウィンドウ描画イメージを破壊することなくイメージを描画する。この仕組を用い最初に文書ファイルのイメージをウィンドウに描画し、仮想透明ウィンドウにペンでメモを描画することによりあたかも紙媒体上の文書を添削しているような操作感を実現することが可能である。
【００１８】
しかし、特開平5-189185号公報で開示されている方法はベースとなるイメージを破壊することなく別のイメージをその上に描画するのみであり、複数のユーザがある文書ファイルに対して別々の箇所でメモを記入したりするための枠組みは全く開示されていない。そのため、そのままでは文書の添削のような用途には応用できない。
【００１９】
したがって本発明の目的は、媒体を問わず、文書に対して付加されるメモを、文書とともに統一的に管理できる電子メモ処理装置および方法ならびに電子メモ処理プログラムを記録したコンピュータ読取り可能な記録媒体を提供することである。
【００２０】
本発明の他の目的は、媒体を問わず、文書に対してあたかも紙の上にペンでコメントを記入しているかのような操作感で電子メモを付加することができ、コンピュータに不慣れなユーザでも文書校正作業に参加できる電子メモ処理装置および方法ならびに電子メモ処理プログラムを記録したコンピュータ読取り可能な記録媒体を提供することである。
【００２１】
本発明のさらに他の目的は、紙媒体の文書に対して電子的なメモを付加することができ、かつそうした電子的なメモをもとの紙媒体の文書と統一的に管理することができる電子メモ処理装置および方法ならびに電子メモ処理プログラムを記録したコンピュータ読取り可能な記録媒体を提供することである。
【００２２】
本発明の他の目的は、電子媒体の文書ファイルに対して、あたかも紙の上で訂正しているかのような操作感で文書ファイルを修正することができ、コンピュータに不慣れなユーザでも文書修正作業を行うことができる電子メモ処理装置および方法ならびに電子メモ処理プログラムを記録したコンピュータ読取り可能な記録媒体を提供することである。
【００２３】
本発明のさらに他の目的は、媒体を問わず文書に対して複数の人が電子的なコメントを付加することができ、かつそれらのコメントを容易に区別できる電子メモ処理装置および方法ならびに電子メモ処理プログラムを記録したコンピュータ読取り可能な記録媒体を提供することである。
【００２４】
【課題を解決するための手段】
上記目的を達成するため、本願発明では以下のような構成をとる。
【００２５】
発明にかかる電子メモ処理装置は、対象となる任意の文書を識別するための文書識別手段と、文書識別手段により識別された文書と関連付けられた電子メモを記憶手段から検索するための電子メモ検索手段と、対象となる文書と重なるように位置合わせされた仮想的な透明入力シート上に表示するための表示手段とを含む。
【００２６】
対象となる文書に対して関連付けられた電子メモが記憶手段から検索されて、当該文書と重なるように位置合わせされて表示されるので、あたかもメモが当該文書上に記入されているかのように電子メモを文書とともに見ることができる。
【００２７】
好ましくは電子メモ処理装置は、対象となる任意の文書と重なるように位置合わせされた仮想的な透明入力シート上にユーザが入力する、文書への電子メモを電子的に取得するための電子メモ取得手段と、軌跡取得手段が取得した電子メモを、仮想的な透明入力シート上に表示するための表示手段と、軌跡取得手段により取得された電子メモを、対象となる文書と関連付けて記憶手段に保存するための電子メモ保存手段とを含む。
【００２８】
この発明によれば、文書に重ねられた仮想的な透明入力シート上にユーザが電子メモを入力することができ、その電子メモをその文書と関連付けて保存できる。そのため、たとえばキーボードなどの入力機器の操作に不慣れなユーザであっても、文書に対する電子メモを容易に入力することができ、かつその電子メモとその文書とを統一して管理できる。
【００２９】
好ましくは、電子メモ取得手段は、シースルー入出力部上にユーザが入力する手書きデータの軌跡を取得するための軌跡取得手段を含む。さらに、軌跡取得手段は、対象となる文書上に重ねられる透明なタブレットと、ユーザがタブレット上を移動させるペン手段の軌跡を、タブレットから電子的に取得するための手段とを含んでもよい。表示手段は、タブレットと積層される、透明な表示シートであってもよい。
【００３０】
タブレットによってユーザの操作するペン手段の軌跡を取得して、タブレットと積層される透明な表示シートに当該軌跡を電子メモとして表示することで、あたかも文書にメモを手書きで書込んでいるような操作感を実現することができる。
【００３１】
好ましくは、対象となる文書は紙媒体の文書であり、軌跡取得手段は、対象となる文書がその上に重ねられるタブレットと、ユーザがタブレット上を移動させるペン手段の軌跡を、タブレットから電子的に取得するための手段とを含んでもよい。
【００３２】
紙媒体の文書に対しても、通常のメモと同様の操作感で電子メモを入力することができるので、キーボードなどの操作に不慣れなユーザでも容易に電子メモを作成でき、かつもとの紙媒体の文書と電子メモとを統一して管理できる。
【００３３】
好ましくは、表示手段は、ユーザにより装着されると、対象となる文書と手書きデータの軌跡とが重ねあわされるように表示する、透明な表示部分を有する眼鏡型表示手段を含む。
【００３４】
文書の媒体を問わず、眼鏡型の表示手段によって手書きデータを文書と重ねて表示できる。表示のための手段を文書上に配置する必要がなく、文書の取り扱いが容易になる。そのため通常の文書に手書きでメモを追加するのと同様の操作感を実現できる。
【００３５】
好ましくは、対象となる文書の予め定められる領域には予め当該文書の識別子が形成されており、電子メモ処理装置はさらに、識別子を読取って対象となる文書を識別するための文書識別手段を含み、電子メモ保存手段は、手書きデータと、読取られた識別子と手書きデータとを関連付ける情報とを記憶媒体に記憶させるための手段を含む。文書識別手段は、対象となる文書の、識別子が形成される領域を走査できる位置に設けられ、領域を走査して識別子を読取るためのスキャナを含む。
【００３６】
文書に予め識別子を形成しておき、スキャナなどの文書識別手段でその識別子を読取って対象となる文書を識別する。そしてこの識別子を、手書きデータと関連付けて保存しておくことで、後に、この文書に対して付加されている手書きデータを検索し取出して表示することが可能になる。
【００３７】
好ましくは、対象となる文書は紙媒体の文書であり、対象となる文書を画像として取込む撮像手段と、撮像手段により取込まれた画像に基づいて、文書の内容を認識するための画像認識手段と、画像認識手段により認識された文書の内容に基づいて対象となる文書を識別するための手段とをさらに含む。
【００３８】
画像として文書を取込むためにはたとえばカメラなどを用いればよく、文書にあえて識別子を付加しておかなくとも文書を識別することが可能になる。
【００３９】
好ましくは、対象となる文書は、電子的に作成された後に紙媒体に印字された文書であり、画像認識手段によって識別された文書に対応する、電子的に作成された文書を文書記憶手段を検索して取出すための手段をさらに含む。
【００４０】
電子的に作成された文書を紙媒体に印刷した場合、当該紙媒体の文書に対応する電子的な文書が文書記憶手段内に保存されているはずである。そこで、画像認識手段によって識別された文書に対応する、電子的に作成された文書を文書記憶手段から取出すことにより、紙媒体に印刷された文書に付加された電子メモと、もとの電子的な文書とを関連付けることが可能になる。そのため、紙媒体をも利用しながら、文書と電子メモとを統一的に管理することが可能になる。また、単一の電子的な文書を複数枚印刷し、それらに対して複数の者が電子メモによって校正処理をした場合でも、それら複数の電子メモと、もとの電子的な文書とを統一して管理することができる。
【００４１】
好ましくは、対象となる文書は電子的媒体の文書であり、電子メモ処理装置はさらに、対象となる文書を文書記憶手段から検索して表示手段に表示するための文書検索手段を含む。紙媒体の文書でなく、電子的媒体の文書を表示してそれに電子メモを付加したり、付加された電子メモを重ねて表示することにより、紙媒体を利用せずに文書とメモとを統一的に管理することができる。
【００４２】
好ましくは、対象となる文書を識別するための文書識別手段と、文書識別手段と関連付けられている電子メモを記憶手段から検索して、表示手段に表示させるための電子メモ検索手段とをさらに含んでもよい。
【００４３】
文書の識別結果に応じて、その文書と関連付けられている電子メモが検索され表示手段によって文書と重ねて表示されるので、通常の紙媒体の文書にメモが記入されているのと同様に、既にその文書に付加されているメモを容易に見ることができる。
【００４４】
好ましくは、対象となる文書のレイアウトが、対象となる文書に最後に電子メモが付加された後にどのように修正されたかを検出するための修正検出手段と、修正検出手段により検出された対象となる文書のレイアウトの修正に応じて、対象となる文書の電子メモの表示位置を調整するためのレイアウト調整手段とをさらに含む。
【００４５】
文書のレイアウトが修正された場合、メモが表示されるべき位置をそのままにしておくと、文書上で当初メモが付加されていた箇所とは別の箇所にメモが表示されてしまう。そこで、文書のレイアウトの修正があった場合には、そのレイアウトの修正に応じてメモの表示位置を変えることにより、常に適切な位置にメモを表示することができる。
【００４６】
好ましくは、対象となる文書は電子的媒体の文書であり、さらに、対象となる文書を文書記憶手段から検索して文書イメージを生成し、電子メモ検索手段により検索された電子メモと合成して表示手段により表示するための文書検索手段を含む。
【００４７】
対象となる文書が電子的媒体の文書である場合、あえてそれを印刷せず、文書検索手段によって文書記憶手段から当該文書を検索して文書イメージを生成し、それを電子メモと合成して表示することで、紙媒体に文書を印刷し、メモを記入した場合と同様の効果を得ることができる。
【００４８】
この場合文書検索手段は、文書イメージと、電子メモ検索手段により検索された電子メモのイメージとの排他的論理和をとることにより両者を合成してもよい。排他的論理和をとることにより、文書のイメージに対して電子メモのイメージを明確に区別して見易く表示できる。
【００４９】
好ましくは、対象となる文書は電子的媒体の文書であり、さらに、対象となる文書を文書記憶手段から検索して文書イメージを生成するための手段と、電子メモ検索手段により検索された電子メモのイメージを生成するための手段と、ユーザの指定にしたがって、文書イメージおよび電子メモのイメージのうちの任意のものを単独で、または合成して表示手段に表示するための選択的合成手段を含む。
【００５０】
対象となる文書が電子的媒体の文書である場合、あえてそれを印刷せず、文書検索手段によって文書記憶手段から当該文書を検索して文書イメージを生成できる。それを電子メモと合成して表示することもできるし、いずれかのみを単独で表示することもできる。そのため、もとの文書のみの形態、電子メモのみの形態、および紙媒体に文書を印刷しメモを記入したときと同様の形態、のうちの任意の形態で文書および電子メモを表示できる。そのため、単に紙媒体にメモを記入したときと比較してより効果的に文書とメモとを閲覧することおよび管理することができる。
【００５１】
好ましくは、電子メモ処理装置は、対象となる文書が、文書を記憶するための文書記憶手段に格納されているか否かを判定するための判定手段と、判定手段により、対象となる文書が文書記憶手段に格納されていないと判定されたときに、対象となる文書を電子的に処理可能なデータ形態に変換し、新たな文書として文書記憶手段に登録するための文書登録手段をさらに含む。
【００５２】
対象となる文書が文書記憶手段に格納されていないときには、当該文書が電子的に処理可能なデータ形態に変換されて文書記憶手段に記憶される。一旦当該文書が登録されると、以後は電子的に当該文書と当該文書に付加されるメモとを対応付けて管理することができる。そのため、紙媒体の形式で保存されていた文書を電子的な管理体系の中に取込んで、電子メモとともに統一的に管理することが容易になる。
【００５３】
好ましくは、記憶手段は、予め準備された共通データを記憶しており、電子メモは、予め準備された共通データを含み、電子メモ保存手段が保存する電子メモの形式は、対象となる文書の文書情報と電子メモとの対応情報と、電子メモを構成する共通データへのインデックスとを含む。共通データは複数種類のメディアのデータを含んでもよい。
【００５４】
共通データを準備し、電子メモにはこれら共通データへのインデックスを含ませるようにすれば、同一のデータを複数個の電子メモで共有することができる。そのため電子メモのための記憶領域を節約できる。
【００５５】
好ましくは、電子メモ保存手段が保存する電子メモの形式は、対象となる文書に関連付けられた複数個の電子メモを含み、複数個の電子メモの各々は属性データを含む。表示手段は、属性に応じて異なった表示態様で複数個の電子メモを表示する。この場合の「表示態様」として、属性によっては表示を行わないことも含まれる。
【００５６】
属性に応じて異なった表示態様で電子メモを表示することで、たとえばメモを作成した人ごと、メモを作成した場所ごと、メモを作成した日付けごと、メモが作成された電子メモ処理装置ごとなどに、容易に区別して表示することができる。
【００５７】
好ましくは、対象となる文書は電子的な文書であり、電子メモ処理装置は、シースルー入出力部上にユーザが手書きで入力する、文書に対するオペレータを電子的に取得し認識するためのオペレータ認識手段と、オペレータ認識手段が取得したオペレータにしたがって、電子的な文書を修正するための文書修正手段とをさらに含む。
【００５８】
電子メモを入力するのと同様に、文書に重ねて表示されるシースルー入出力部上にユーザが手書きで文書に対するオペレータを入力すると、このオペレータが認識され、オペレータにしたがって電子的な文書が修正される。キーボードなどを使用する場合と比較して、より直感的に分かりやすい形で、かつ容易に電子的な文書を修正することができる。
【００５９】
好ましくは、対象となる文書のレイアウトが、文書修正手段によりどのように修正されたかを検出するための修正検出手段と、修正検出手段により検出された対象となる文書のレイアウトの修正に応じて、対象となる文書の電子メモの表示位置を調整するためのレイアウト調整手段とをさらに含む。
【００６０】
電子的な文書のレイアウトが修正された場合、メモが表示されるべき位置をそのままにしておくと、文書上で当初メモが付加されていた箇所とは別の箇所にメモが表示されてしまう。そこで、文書のレイアウトの修正があった場合には、そのレイアウトの修正に応じてメモの表示位置を変えることにより、常に適切な位置にメモを表示することができる。
【００６１】
好ましくは電子メモ処理装置は、電子的な文書を表示するための表示手段と、対象となる文書と重なるように位置合わせされた仮想的な透明入力シート上にユーザが手書きで入力する、前記文書に対するオペレータを電子的に取得し認識するためのオペレータ認識手段と、オペレータ認識手段が取得したオペレータにしたがって、電子的な文書を修正するための手段とを含む。
【００６２】
電子的な文書に重ねて表示されるシースルー入出力部上にユーザが手書きで文書に対するオペレータを入力すると、このオペレータが認識され、オペレータにしたがって電子的な文書が修正される。キーボードなどを使用する場合と比較して、より直感的に分かりやすい形で、かつ容易に電子的な文書を修正することができる。
【００６３】
この発明にかかる電子メモ処理方法は、対象となる文書を識別するステップと、文書を識別するステップにより識別された文書と関連付けられた電子メモを記憶手段から検索するステップと、検索するステップにより検索された電子メモを対象となる文書と重なるように位置合わせされた仮想的な透明入力シート上に表示するステップとを含む。
【００６４】
好ましくは、対象となる任意の文書と重なるように位置合わせされた仮想的な透明入力シート上にユーザが入力する、文書への電子メモを電子的に取得するステップと、電子メモを取得するステップにより取得された電子メモを、対象となる文書と関連付けて記憶手段に保存するステップとをさらに含む。
【００６５】
好ましくは、電子メモを電子的に取得するステップは、シースルー入出力部上にユーザが入力する手書きデータの軌跡を取得するステップを含む。この軌跡を取得するステップは、ユーザが対象となる文書上に重ねられる透明なタブレット上を移動させるペン手段の軌跡を、タブレットから電子的に取得するステップを含んでもよい。表示するステップは、タブレットと積層される、透明な表示シートに取得した電子メモを表示するステップを含んでもよい。
【００６６】
好ましくは、対象となる文書は紙媒体の文書であり、軌跡を取得するステップは、ユーザが対象となる文書がその上に重ねられるタブレット上を移動させるペン手段の軌跡を、タブレットから電子的に取得するステップを含む。。
【００６７】
好ましくは、表示するステップは、ユーザにより装着されると、対象となる文書と手書きデータの軌跡とが重ねあわされるように表示する、透明な表示部分を有する眼鏡型表示装置に電子メモを表示するステップを含む。
【００６８】
好ましくは、対象となる文書の予め定められる領域には予め当該文書の識別子が形成されており、電子メモ処理方法は、さらに、識別子を読取って対象となる文書を識別するステップを含み、電子メモを保存するステップは、手書きデータと、読取られた識別子と手書きデータとを関連付ける情報とを記憶媒体に記憶させるステップを含む。文書を識別するステップは、対象となる文書の、識別子が形成される領域を走査できる位置に設けられたスキャナにより識別子を読取るステップを含んでもよい。または、文書を識別するステップは、対象となる文書を画像として取込むステップと、画像として取込むステップにより取込まれた画像に基づいて、画像認識により識別子を認識し読取るステップを含んでもよい。
【００６９】
好ましくは、対象となる文書は紙媒体の文書であり、文書を識別するステップは、対象となる文書を画像として取込むステップと、画像として取込むステップにより取込まれた画像に基づいて、文書の内容を認識するステップと、画像を認識するステップにより認識された文書の内容に基づいて対象となる文書を識別するステップとをさらに含む。
【００７０】
好ましくは、対象となる文書は、電子的に作成された後に紙媒体に印字された文書であり、電子メモ処理方法は、画像を認識するステップによって識別された文書に対応する、電子的に作成された文書を文書記憶手段を検索して取出すステップをさらに含む。
【００７１】
好ましくは、対象となる文書は電子的媒体の文書であり、電子メモ処理方法はさらに、対象となる文書を文書記憶手段から検索して表示する文書検索ステップを含む。電子メモ処理方法は、対象となる文書を識別するステップと、対象となる文書と関連付けられている電子メモを記憶手段から検索して、当該電子メモを表示するステップとをさらに含んでもよい。
【００７２】
好ましくは、対象となる文書のレイアウトが、対象となる文書に最後に電子メモが付加された後にどのように修正されたかを検出するステップと、修正を検出するステップにより検出された対象となる文書のレイアウトの修正に応じて、対象となる文書の電子メモの表示位置を調整するステップとをさらに含む。
【００７３】
好ましくは、対象となる文書は電子的媒体の文書であり、さらに、対象となる文書を文書記憶手段から検索して文書イメージを生成し、電子メモを表示するステップにより検索された電子メモと合成して表示するステップを含む。合成して表示するステップは、文書イメージと、電子メモを表示するステップにより検索された電子メモのイメージとの排他的論理和をとることにより両者を合成してもよい。
【００７４】
好ましくは、対象となる文書は電子的媒体の文書であり、さらに、対象となる文書を文書記憶手段から検索して文書イメージを生成するステップと、電子メモを表示するステップにより検索された電子メモのイメージを生成するステップと、ユーザの指定にしたがって、文書イメージおよび電子メモのイメージのうちの任意のものを単独で、または合成して表示するステップとを含む。
【００７５】
好ましくは、対象となる文書が、文書を記憶するための文書記憶手段に格納されているか否かを判定するステップと、判定するステップにより、対象となる文書が文書記憶手段に格納されていないと判定されたときに、対象となる文書を電子的に処理可能なデータ形態に変換し、新たな文書として文書記憶手段に登録するステップとをさらに含む。
【００７６】
好ましくは、記憶手段は、予め準備された共通データを記憶しており、電子メモは、予め準備された共通データを含み、電子メモを保存するステップが保存する電子メモの形式は、対象となる文書の文書情報と電子メモとの対応情報と、電子メモを構成する共通データへのインデックスとを含む。共通データは複数種類のメディアのデータを含むことができる。
【００７７】
好ましくは、電子メモの形式は、対象となる文書に関連付けられた複数個の電子メモを含み、複数個の電子メモの各々は属性データを含み、表示するステップは、属性に応じて異なった表示態様で複数個の電子メモを表示する。たとえば属性に応じて、複数個の電子メモが選択的に表示される。
【００７８】
例えば、属性データは、ユーザを特定する情報、電子メモが作成または修正された日時を特定するための情報、電子メモが作成または修正されたときの電子メモ処理方法の存在位置を特定するための情報、電子メモの識別子または電子メモの作成者を特定する情報を含んでもよい。
【００７９】
好ましくは、対象となる文書は電子的な文書であり、仮想的な透明入力シート上にユーザが手書きで入力する、文書に対するオペレータを電子的に取得し認識するためのステップと、オペレータを認識するステップで取得されたオペレータにしたがって、電子的な文書を修正するステップとをさらに含む。
【００８０】
好ましくは、対象となる文書のレイアウトが、文書を修正するステップによりどのように修正されたかを検出するステップと、修正を検出するステップにより検出された対象となる文書のレイアウトの修正に応じて、対象となる文書の電子メモの表示位置を調整するステップとをさらに含む。
【００８１】
発明にかかる電子メモ処理方法は、電子的な文書を表示するステップと、対象となる文書と重なるように位置合わせされた仮想的な透明入力シート上にユーザが手書きで入力する、文書に対するオペレータを電子的に取得し認識するステップと、オペレータを認識するステップで取得されたオペレータにしたがって、電子的な文書を修正するステップとを含む。
【００８２】
この発明にかかる記録媒体は、上記に記載の電子メモ処理方法を実現するためのコンピュータプログラムを記録した、コンピュータ読取り可能な記録媒体である。
【００８３】
当該記録媒体から、当該コンピュータプログラムをコンピュータに読取らせることにより、上記に記載の発明にかかる方法を実現することができる。
【００８４】
【発明の実施の形態】
［第１の実施の形態］
以下に本発明の第１の実施の形態を図面に基づき具体的に説明する。図１を参照して、本願発明の第１の実施の形態の電子メモ処理装置５０は、紙媒体上の文書５２に重ねられる開口部５６を有するフレーム５４と、開口部５６内に設けられた透明な入出力一体型表示装置６４と、開口部５６の右上（開口部５６の右肩部に対応した位置）に設けられ、文書５２の右肩部分に付加された識別子などを読込むためのスキャナ６２と、ユーザが入出力一体型表示装置６４に対して手書きで文字や図形を入力する際に使用するペン６０と、フレーム５４の一辺に内蔵された制御装置５８とを含む。この実施の形態では制御装置５８はフレーム５４に内蔵されているが、フレーム５４とは分離してもよい。また制御装置５８の一部のみをフレーム５４内に内蔵し、他を分離してもよい。
【００８５】
図２を参照して、入出力一体型表示装置６４は、透明でその下に配置された文書５２を見ることが可能な（以下こうした性質を「シースルー」と呼ぶ）シースルー表示装置６８と、シースルー表示装置６８上に積層された透明なタブレット６６とを含む。
【００８６】
図１から図４を参照して、文書５２の上に電子メモ処理装置５０を置くと、使用者７０は入出力一体型表示装置６４を通して文書５２を見ることができる。タブレット６６にペン６０を用いて電子メモ７２を書き、それをリアルタイムでシースルー表示装置６８に表示することにより、あたかも文書５２に対して手書きでメモを加筆しているように操作することができる。電子メモ処理装置５０の動作の詳細については後述する。
【００８７】
図５にこの第１の実施の形態の電子メモ処理装置５０のハードウェア構成を示す。図５を参照してこの電子メモ処理装置５０は、実質的にはコンピュータからなり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８０と、ＣＰＵ８０が接続されたバス８２と、いずれもバス８２に接続されたタブレット６６、Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）８４、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）８６、着脱可能なキーボード８８、二次記憶装置９０および当該電子メモ処理装置５０をネットワークに接続するための通信装置９２とを含む。二次記憶装置９０はハードディスクでもフラッシュメモリでもよい。また着脱可能なカードメモリであってもよい。キーボード８８は図１から図４には図示していないが、着脱可能であって、ペン６０による手書き入力の他にキーボード入力をも可能にする。ただし、手書きメモを入力するだけであればキーボード８８は不要である。
【００８８】
図６を参照して、機能的には、電子メモ処理装置５０は、文書を格納しておく文書ストレージ１１２と、メモを格納しておくメモストレージ１１０と、文書情報を格納するための文書情報ストレージ１１４と、スキャナ６２と、シースルー表示装置６８と、ペン６０と協働して入力装置として動作するタブレット６６と、スキャナ６２が読取った情報に基づいて電子メモ処理装置５０に対する文書５２の位置関係を算出するための位置関係算出部１００と、スキャナ６２によって読取られた、文書５２に付された識別子に基づいてメモ付加／表示処理に必要な文書情報とメモ情報とを特定するための文書識別部１１６と、文書が未登録の場合に文書をシステムに取込むための文書登録部１１８と、文書識別部１１６により特定された文書情報とメモ情報とに基づいてメモストレージ１１０、文書ストレージ１１２および文書情報ストレージ１１４から原文書とメモとを読込むための文書／メモ読込部１０６と、読込まれた文書情報とメモ情報とに基づいて、メモをシースルー表示装置６８に表示するための電子メモ表示部１０２と、新規のメモを作成／登録するための電子メモ付加部１０８と、電子メモ表示部１０２および電子メモ付加部１０８の動作を制御するための電子メモ表示／付加管理部１０４とを含む。
【００８９】
入力装置として、スキャナ６２の他に、紙文書全体を走査するためのスキャナを設けてもよい。本実施の形態では位置関係算出部１００はスキャナ６２によって読取られた文書５２上の情報に基づいて位置情報を算出するが、文書５２ が常に同じ位置にセットされることが確実であれば位置関係算出部１００は不要である。また位置情報を算出するための装置はスキャナ６２には限定されず、たとえばカメラを用いて撮影した文書５２の映像に基づいて位置情報を算出してもよい。
【００９０】
図６を参照して、文書情報ストレージ１１４は、文書情報１３０と、メモ情報１３２と、文書−メモ対応情報１３４とを含む。
【００９１】
図７を参照して、文書情報１３０は、各文書に対する文書識別子（文書ＩＤ）と、文書の所在位置と、文書の種類と、文書の作成者と、文書の作成日および更新日とを含んでいる。したがって文書ＩＤが分かれば当該文書の所在位置が分かり当該文書を文書ストレージ１１２から取出すことができる。
【００９２】
文書ストレージ１１２は図６では一つのまとまった二次記憶装置のように描かれているが、実際には仮想的なものであり、文書の実体はコンピュータシステム内、またはコンピュータネットワーク上に分散していてもよい。要は、本実施の形態の電子メモ処理装置からアクセス可能でさえあればよい。図７に示される例では、文書の所在位置としてＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）が用いられているが、この形式には限定されず、ファイルの位置を特定できるものであればどのような形式のものでもよい。ただし、ネットワークを介して遠隔地の端末やサーバから文書ファイルを取り寄せることを考えると、現在のところこの例のようにＵＲＬを用いるのが最も現実的である。 図８を参照して、メモ情報１３２は、各電子メモに対して、メモ識別子（メモＩＤ）と、メモの所在位置と、メモの作成者と、メモの作成日とを含む。メモＩＤが分かればこのメモ情報１３２に基づいてその所在位置がわかり、したがってメモストレージ１１０からメモを取出すことができる。図８においても、メモの所在位置としてはＵＲＬが用いられているが、もちろんメモファイルの所在位置を特定できるものであれば所在位置はどのような表現形式で記載されてもよい。
【００９３】
この電子メモは様々なメディアのメモを含む。本実施の形態の装置はグラフィックス、イメージ、動画像、音声、他文書へのリンクの６つのメディアを扱う。一つのメモはこれらのメディアのうち１種類または複数種類のメディアから構成される。本実施の形態では、メモはメモストレージ１１０に格納されているが、図６に示されるように、メモストレージ１１０内のインデックスファイル１３６によって、メモを構成するメディアが管理されている。
【００９４】
メモストレージ１１０内には、大別して２種類のファイルが存在している。一つは、前記した６種類のメディアに固有の実体ファイルであり、もう一つは実体ファイルへのインデックスファイルである。つまりあるメモは、各メディアの実体ファイルからなってもよいが、実体ファイルの代わりに、実体ファイルへのインデックスからなるインデックスファイルを含んでもよい。このようにインデックスファイルを用いると、異なるメモが同一の実体ファイルへのインデックスを含むことができるので、同一の実体ファイルを異なるメモで共有する共通ファイルとすることができ、メモストレージのための領域が少なくてすむとともにメディアの管理も容易になる。
【００９５】
このインデックスファイルは、メモ情報１３２内のメモ情報テーブルに記述されている所在位置と一対一で対応している。つまりメモ情報１３２のメモ情報テーブル内の個々の「所在位置」は、当該メモのインデックスファイルの位置（名前）を示している。 図９にインデックスファイルの記述例を示す。図９に示したインデックスファイルは、図７に「所在位置」として示されている「file://memos./008001.mem」に対応したものであり、一つのメモを構成する各メディアの実体ファイルへのインデックスを含んでいる。図９を参照して、一つのインデックスファイル１３６には、そのメモを構成するメディアごとに、そのメモを構成する各メディアのファイルのメモ内の通し番号、ファイルの種類、文書上における位置、メモ表示の範囲（大きさ）、およびメモの実体ファイル名が記載されている。
【００９６】
なお図９の通し番号００４は実体ファイルではなく他の文書へのリンクであり、ファイル名としてその文書の場所が記述されている。なおメモの実体ファイルは汎用のファイルフォーマットを使用してもよいし、独自のものを使用してもよい。
【００９７】
ここで、一つのメモを１または複数種類のメディアではなく、一種類のメディアのみから構成するようにすると、インデックスファイルを用いる必要はなくなる。この場合、メモ情報テーブルには直接メモファイルの実体ファイルの位置を記述し、メモ情報１３２のテーブルにメモの種類、文書上の位置、範囲を追加する。または、「メモ」のための一つの特殊なファイル形式を採用し、このファイル内に各種類の情報を含ませるようにしてもよい。
【００９８】
図１０を参照して、文書−メモ対応情報１３４は、登録ＩＤと、文書ＩＤと、メモＩＤとからなる組が複数個テーブル形式で記述されている。登録ＩＤは文書またはメモまたは文書とメモとの組合わせが本実施の形態の電子メモ処理装置に最初に登録された時にその組合わせに対して付けられる識別番号であり、システム内での管理に用いられる。文書ＩＤは登録されている文書の識別番号であり、図７に示す文書ＩＤと同じものである。メモＩＤは登録されているメモの識別番号であり、図８に示すメモＩＤと一対一で対応している。
【００９９】
以下、この第１の実施の形態の電子メモ処理装置の動作についてフローチャートを用いて詳細に説明する。図１１に第１の実施の形態にかかる電子メモ処理装置５０の全体的な動作フローを示す。
【０１００】
図１１を参照して、まず最初にステップ１４０では、位置関係算出部１００においてスキャナ６２からの文書５２の位置情報、シースルー表示装置６８、タブレット６６の位置を取得し、これらの位置情報に基づいて電子メモ処理装置５０に文書５２がセットされたか否かを判断する。文書５２がセットされていると判断された場合には同じく位置関係算出部１００において、ステップ１４２で電子メモ処理装置５０と文書５２との位置関係を算出する。この方法は種々あるが、たとえば文書５２の所定位置に所定のマーカを付しておき、これをスキャナ６２で読取ってその位置から文書５２との位置関係を判断してもよい。文書５２の位置を調べるためにカメラを用いてもよい。この場合、カメラで撮影された文書５２の像から画像認識を行いその結果を元にしてステップ１４０および１４２の処理を行ってもよい。
【０１０１】
もしもステップ１４０で文書５２がセットされていないと判断された場合にはステップ１４０を繰返す。
【０１０２】
ステップ１４２の処理の後、文書識別部１１６において、セットされた文書５２を識別する処理が行われる（ステップ１４４）。この場合、文書５２の右上には予め文書ＩＤをバーコード化して付与し、スキャナ６２によってこれを読取って文書識別部１１６が文書ＩＤを識別する。ただし、文書に付与しておく情報は文書ＩＤに限定されるわけではなく、これに加えて、またはこれに代えて、文書の名前、文書の所在位置、文書の登録ＩＤ（図１０を参照）などを用いてもよい。
【０１０３】
なお、文書を識別する方法としてはこのように予め文書に必要な情報をバーコード化して付与しておく方法以外にも種々考えられる。たとえば文字認識技術と検索エンジンとを用いて文書を識別してもよい。この場合、まずハンディスキャナ等で文書を走査して文書をイメージとして取込み、文字認識技術を用いて文書の内容を認識する。次に、このようにして認識された文書の内容からキーワードを抽出して、コンピュータの検索エンジンを用いて当該文書を特定する。この場合、読取られた文書がもともと何らかの形で電子的に作成され当該電子メモ処理装置がアクセス可能な場所に保存されていることが前提である。コンピュータシステムの検索エンジンに代えて、インターネット上の文書を検索するインターネットロボットを用いて文書を特定してもよい。
【０１０４】
ステップ１４４で文書の識別が行なえなかった場合には識別不可として次の処理に進む。
【０１０５】
次のステップ１４６では、文書識別部１１６において、文書情報１３０と文書−メモ対応情報１３４とを参照して、ステップ１４４で識別された文書が登録済みか否かを判別する。文書が未登録または識別不可であれば制御はステップ１５４に進み、登録済みであれば制御はステップ１４８に進む。
【０１０６】
ステップ１４８では、ステップ１４６での登録済み判定を受けて、文書識別部１１６において、まず文書−メモ対応情報１３４に保存されている文書−メモ対応情報テーブルの中から、識別された文書に対応する登録レコードを読込む。そして、文書情報１３０に保存されている文書情報テーブルから登録レコードに含まれる文書ＩＤを有する文書レコードを読込む。同じく、メモ情報１３２に保存されているメモ情報テーブルから登録レコードに含まれるメモＩＤを有するメモレコードを読込む。
【０１０７】
一方ステップ１５４では、ステップ１４６での未登録または識別不可の判定を受け、文書登録部１１８において、セットされた文書の新規登録を行う。新規登録処理では、登録ＩＤと、文書ＩＤとを新たに設定して新規レコードとして文書−メモ対応情報１３４に追加する。このときメモＩＤは「ｎｏｎｅ（なし）」とする。
【０１０８】
また、文書情報１３０にも新規レコードを追加する。この追加のとき、場合に応じて３通りの追加方法がある。一つ目は、ステップ１４４で、検索エンジンやインターネットロボットを用いて文書の所在位置が特定できている場合である。この場合は文書に新規に付けられた文書ＩＤ、検索結果から得られた所在位置、文書種類、作成者、作成日、更新日を含む新規のレコードを文書情報１３０に追加する。二つ目は、識別不能であるがコンピュータネットワークでアクセス可能な文書であり、ユーザがその所在を知っている場合である。この場合はユーザにファイルの所在位置を明示的に指定させ、文書に新規に付けられた文書ＩＤ、指定された所在位置、文書種類、作成者、作成日、更新日を含む新規のレコードを文書情報１３０に追加する。三つ目は以上の二つの場合以外の場合である。文書が手書きであるときもこの場合に含まれる。この場合には、スキャナを用いて文書を走査して装置に取込んで文書ストレージ１１２に取込む。そして同時に文書に新規に付けられた文書ＩＤと、新規保存された位置と、文書種類と、作成者と、作成日と、更新日とを生成しそうした情報を含む新規のレコードを文書情報１３０に追加する。ここで、文書ストレージ１１２に保存する文書は、走査したイメージのままでもよいし、文字認識技術を用いてテキストデータに変換したものでもよい。
【０１０９】
なお文書登録部１１８は文書作成アプリケーション１２０を用いて作成された文書を新規に登録する機能も有する。この機能は、文書作成アプリケーション１２０へのプラグインモジュールとして実現でき、文書作成アプリケーション１２０で当該プラグインモジュールを実行することで作成中の文書が文書情報１３０に登録されるようにできる。
【０１１０】
再び図１１を参照して、ステップ１５０では、文書／メモ読込部１０６において、ステップ１４８で文書情報１３０から読み込まれた文書レコードおよびメモ情報１３２から読み込まれたメモレコードを参照して、文書ストレージ１１２からは文書の実体を、メモストレージ１１０からは必要なメモのインデックスファイルとメモの実体とをそれぞれ読み込む。ここで、文書の実体にはレイアウト情報も含まれており、文書／メモ読込部１０６で文書作成アプリケーションソフトウェア特有のレイアウト情報を解析する。また、メモの実体は電子メモ表示部１０２が表示を必要とする場合にのみ読込んでもよい。これは装置内の一時記憶装置の容量が少ない場合に効果を発揮する。
【０１１１】
ステップ１５２は、電子メモ表示／付加管理部１０４、電子メモ表示部１０２、電子メモ付加部１０８において、メモの表示／付加の処理をユーザとのインタラクションに基づいて行うメモ表示／付加ステップである。以下、メモ表示／付加ステップ１５２での動作を図１２から図１４のフローチャートを用いて許細に説明する。
【０１１２】
図１２は、図１１におけるメモ表示／付加ステップ１５２の動作概要を示すフローチャートであり、主に電子メモ表示／付加管理部１０４における動作フローである。
【０１１３】
まず、ステップ１６０では、位置関係算出部に対して、表示装置、入力装置と文書との現在の位置関係を問い合わせ、ステップ１６２で文書の位置を判定する。ここで、文書が表示装置の表示ェリアから外れたらメモ表示／付加ステップを終了し、エリア内であればステップ１６４に進む。
【０１１４】
ステップ１６４では、ステップ１６０で得られた位置関係を元に表示座標系を設定する。これは紙である文書と表示装置に表示される仮想的な電子メモ表示シートと電子メモ付加シートとの位置関係を保つための処理である。文書の表示の位置がずれると、この処理により、そのずれ分だけ表示シート上の表示もずれ、文書と表示物との位置に関する一貫性が保たれる。
【０１１５】
次にステップ１６６では、ユーザによるタブレット６６を用いた入力操作の有無を判別し、ここで、入力操作があれば制御はステップ１６８に進み、なければ制御はステップ１６０に戻る。
【０１１６】
ステップ１６８は、ステップ１６６での入力操作がモード選択であるかどうかを判定する。モードにはメモ表示モードとメモ付加モードとがあり、入力操作がモード選択入力であればステップ１７０に進んでユーザによって選択されたモードに変更し、ステップ１６０に戻る。またモード選択入力でなければステップ１７２に進む。モード選択入力は、図１から図６のシステム構成においてハードウェアの切替スイッチを取り付けても実現してもよいし、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を用いて表示装置に表示されるモード選択ボタンにより実現してもよい。ＧＵＩを用いる場合、表示装覆に表示されるＧＵＩの部品が文書と重なり合って見え、あたかも紙文書上にボタンが付いているかのように見えるようにしてもよい。
【０１１７】
ステップ１７２では、現在セットされているモードを判別し、メモ表示モードであれば、電子メモ表示ステップ１７６に進み、メモ付加モードであれば電子メモ付加ステップ１７４に進む。
【０１１８】
図１３は電子メモ表示ステップ１７６を許細に説明するフローチャートである。電子メモ表示ステップ１７６は電子メモ表示部１０２で実行される。
【０１１９】
まずステップ１８０では、図１２のステップ１６６でユーザにより入力された入力操作が表示メモ選択の入力であるか否かを判別する。ここで、入力操作が表示メモ選択入力でなければ、ステップ１８４に進む。一方入力操作が表示メモ選択入力であればステップ１８２で、表示対象メモの追加または削除を行ってからステップ１８４に進む。表示メモ選択入力は、ＧＵＩを用いて文書に付加されているすべてのメモのボタンを用意して選択する方法や、メモが存在していると思われる位置をユーザが入力装置を用いて選択する方法がある。後者の選択方法は、図７に記載のメモのインデックスファイルに記述されている文書上の位置ならびに範囲を参照して行われる。また、デフォルトの表示対象メモを用意しておき、初期表示してもよい。
【０１２０】
ステップ１８４は、選択されている個々の表示対象メモに対して、以下のステップを実行するための繰返し処理のためのステップであり、一連の繰返し処理が終了すると、電子メモ表示ステップから抜け、図１２のステップ１６０に戻る。
【０１２１】
ステップ１８６は、表示対象になっているメモの横成要素ごとに以下のステップを繰返すステップであり、一連の繰返し処理が終了するとステップ１８４に戻る。
【０１２２】
ステップ１８８では図９に記載のメモのインデックスファイルに記述されているメモの種類を参照してメモの種類を判定する。そして、メモの種類がグラフィックスならグラフィックス表示ステップ１９０、イメージならイメージ表示ステップ１９２、動画像なら動画像再生ステップ１９４、テキストならテキスト表示ステップ１９６、音声なら音声再生ステップ１９８、他文書へのリンクなら他文書表示ステップ２００に進む。
【０１２３】
ステップ１９０〜ステップ２００の各ステップは、それぞれメモの実体解析を行い、表示装置に表示／再生可能な形に変換する。そして、仮想的な電子メモ表示シートにメモを描く。ここで、メモの実体ファイルが汎用フォーマットであれば、それら専用のアプリケーションを起動して表示／再生してもよい。ユーザは、電子メモ表示シートが表示されている表示装置を通して文書を見ているので、文書と表示されたメモが重なり合って見え、あたかも文書上に直接メモが存在するかのように感じられる。
【０１２４】
図１４は電子メモ付加ステップ１７４を詳細に説明するフローチャートである。電子メモ付加ステップ１７４は電子メモ付加部１０８で実行される。
【０１２５】
まずステップ２１０で、図１２のステップ１６６でユーザにより入力された入力操作を判別する。ここで、入力操作がメモ作成入力であればステップ２２０に進み、メモ保存入力であればステップ２３２に進み、また、付加メモ種類選択入力であればステップ２３４に進んで付加メモ種類の変更を行う。付加メモ種類選択入力、メモ保存入力は、ＧＵＩを用いて文書に付加されているすべてのメモのボタンを用意して選択する方法で行われる。また、メモ作成入力はそれ以外の入力操作をもってメモ作成入力とする。
【０１２６】
ステップ２２０で付加するメモ種類を判定し、メモ種類がグラフィックスならグラフィックス編集ステップ２２２、イメージならイメージ編集ステップ２２４、動画像なら動画像編集ステップ２２６、テキストならテキスト編集ステップ２２８、音声なら音声編集ステップ２３０、他文書へのリンクなら他文書リンキングステップ２３２へ進む。
【０１２７】
ステップ２２２からステップ２３２までの各ステップは、それぞれのメモ種類すなわちそれぞれのメディアの編集をする。メモの編集は表示装置に表示された仮想的なメモ付加シートに対して行われるので、ユーザは表示装置を通して見ている文書の上に直接描く様式でメモ付加を行う。つまり、文書の上に線、矢印、そして文字等をあたかも直接書いているように編集することができる。ここで、それぞれのメディアについて独自のエディタを用意してもよいが、メモの実体が汎用フォーマットであれば、それら専用の編集アプリケーションを起動してもよい。また、作成中のメモと以前に作成されたメモとの間に関連を持たせるようにしてもよい。この方法としては、ユーザが明示的に関連付けを行う仕組みを設ける方法、メモ位置関係による関連付け、新規メモ編集中に表示されていたメモとの自動関連付け等の方法を用いる。
【０１２８】
ステップ２２２からステップ２３２では、図１２のステップ１６６で入力された入力操作に対する処理が終わると図１２のステップ１６０に戻る。
【０１２９】
ステップ２３２では、編集されていたメモの新規保存、つまり登録を行う。編集されていたメモに新規にメモＩＤを付与し、文書−メモ対応情報１３４の文書−メモ対応情報テーブルおよびメモ情報１３２のメモ情報テーブルに対応するレコードを追加する。さらに図７に示すような新規のインデックスファイルを生成し、このインデックスファイルとメモの実体をメモストレージ１１０に保存する。
【０１３０】
このようにして、紙媒体の文書と、その文書に関連する電子的なメモとをコンピュータ上で関連付け、文書の上にメモを表示させたり、文書の上に重ねてメモを手書き操作することで電子的なメモをコンピュータに入力したりすることができる。
【０１３１】
以上から明らかなように、第１の実施の形態によれば、紙というメディアの利便性を利用して、電子的なメモ書き、メモ参照が可能となり、文書とメモの統一的な管理が容易に行える。
【０１３２】
［第２の実施の形態］
図１５に、本願発明の第２の実施の形態にかかる電子メモ処理装置２５０の概略を示す。図１５を参照して、この電子メモ処理装置２５０は、ユーザが装着した場合に、その視界にメモを表示する眼鏡型シースルー表示装置２５６、ユーザが入力操作を行うペン２６２と紙文書５２がセットされるタブレット２６０から構成される入力装置２５２、および本発明にしたがって電子メモ処理装置２５０を制御する制御装置２５４を含む。なお図１５では制御装置２５４、眼鏡型シースルー表示装置２５６、入力装置２５２を分割して図示しているが、本発明の構成はこれには限定されない。たとえば制御装置２５４の全部または−部を、眼鏡型シースルー表示装置２５６または入力装置２５２またはその双方に分割して内蔵してもよい。
【０１３３】
図１５の構成において、文書５２をタブレットの上に置き、眼鏡型シースルー表示装置２５６を通して文書５２を見ることで、眼鏡型シースルー表示装置２５６によって表示される表示物と紙文書とを重ね合わせて見ることができる。また、入力装置２５２により紙文書の任意位置をポインティングでき、電子的なメモ書き等の操作ができる。
【０１３４】
図１６にこの第２の実施の形態にかかる電子メモ処理装置２５０の機能ブロック図を示す。図１６を参照してこの電子メモ処理装置２５０が図６に示す第１の実施の形態の電子メモ処理装置５０と異なるのは、図６のスキャナ６２に代えて、眼鏡型シースルー表示装置２５６とタブレット２６０または文書５２との空間的な位置関係を示す情報を得るための磁気センサ２６４を含むこと、図６のシースルー表示装置６８に代えて眼鏡型シースルー表示装置２５６を含むこと、および図６のタブレット６６に代えて入力装置２５２を含むこととである。またこの電子メモ処理装置２５０では、文書５２上の識別情報を認識するために、カメラを用いてもよい。
【０１３５】
この電子メモ処理装置２５０は、文書５２の位置情報を得るために磁気センサ２６４からの信号を用いること、およびメモを文書５２に重ねて表示するために眼鏡型シースルー表示装置２５６を用いることを除き、第１の実施の形態のものと同様の動作をする。したがってここではその詳細については繰返さないが、この第２の実施の形態の電子メモ処理装置２５０によっても第１の実施の形態と同様に紙文書と、その文書に対して付加される電子的なメモとを統一的に管理することができる。
【０１３６】
［第３の実施の形態］
図１７に本願発明の第３の実施の形態にかかるシステムの概略構成を示す。このシステムは、通常のコンピュータシステム２７０で電子メモ処理装置を実現した例であり、かつ文書として紙媒体に印字されたものでなく、電子的に保存されている文書２９０を表示装置上に表示しこの文書２９０にさらに電子的なメモを付加するという機能を有する。
【０１３７】
図１７を参照して、このコンピュータシステム２７０は、文書２９０および図示しないメモが表示されるモニタ装置２７４と、ユーザが入力操作を行うための入力装置２７６と、本発明にしたがってシステムを制御するコンピュータ本体２７２とを含む。図１７に示す例では、入力装置２７６は、キーボード２７８と、マウス２８０と、タブレット２８２と、ペン２８４とを含む。もちろん入力装置２７６としてこれ以外のポインティングデバイスを用いてもよい。
【０１３８】
図１７に示す第３の実施の形態では、文書２９０はコンピュータ・アプリケーション・プログラム等によってモニタ装置２７４に表示され、電子的に付加されたメモは当該文書上にこのシステム自体の機能として半透明形式で文書と重ね合わせて表示される。また、ユーザは、入力装置２７６を用いて文書２９０上の任意位置をポインティングすることで、電子的なメモ書き等の操作ができる。
【０１３９】
図１７に示す第３の実施の形態のシステムの機能的な構成は、文書がモニタ装置２７４により表示される点を除き第１の実施の形態または第２の実施の形態として説明したものと同様であるので、ここではその詳細は繰返さない。
【０１４０】
以上の第１の実施の形態〜第３の実施の形態のいずれについても、システム単体で構成した例を示した。しかしいずれの実施の形態を採用するにしても、ネットワークで複数のシステムがつながれているのが望ましい。ネットワーク接続することで、対象となる文書数が飛躍的に増加すると共に、システムの携帯性により出先でのシステム利用が可能となり利便性が増す。
【０１４１】
［第４の実施の形態］
次に、コンピュータの操作に不慣れなユーザであっても、文書に対して電子的なメモを容易に付加させたり表示させたりすることができることを主目的とした電子メモ処理装置について説明する。
【０１４２】
図１８にこの第４の実施の形態にかかる電子メモ処理装置である携帯型コンピュータ３００の概略の外観を示す。図１８を参照して、この携帯型コンピュータ３００は、本体３０２と、本体３０２の上面に設けられた表示一体型入力装置３０４と、表示一体型入力装置３０４に対して手書きでユーザが入力を行うためのペン３０６とを含む。そしてこの携帯型コンピュータ３００においては、表示一体型入力装置３０４上に文書ファイルイメージ３０８を表示し、この文書に対するメモをペン３０６で付加できるようにし、かつ文書に付加されているメモは文書ファイルイメージ３０８と重ねて表示一体型入力装置３０４上に表示するようにしてある。この装置の特徴は特に、文書を作成するアプリケーションとは別に、システム自体がどのような文書に対しても上述したメモを付加したりメモを表示したりする機能を実現している点にある。
【０１４３】
そのためにこの携帯型コンピュータ３００では、以下の方式をとっている。図１９を参照して、このシステムにおいては、アプリケーションプログラムで作成した文書について、そのアプリケーションプログラムが文書ファイルイメージ３０８を作成するよう制御する。そして、文書ファイルイメージ３０８とは別に手書きメモ３１０のイメージをシステムとして保存、検索できるようにし、イメージデータ合成３２０によって文書ファイルイメージ３０８にこの手書きメモ３１０のイメージを重ね合わせて合成イメージ３２２を表示する。
【０１４４】
イメージデータ合成３２０では、文書ファイルイメージ３０８のピクセルと手書きメモ３１０のイメージのピクセルとをイメージの左上から順にスキャンして読み取り、ピクセルの排他的論理和を算出し出力する。こうすることにより、文書ファイルイメージ３０８と手書きメモ３１０のイメージとが合成できる。
【０１４５】
以下こうした方式を実現するための装置の構成および方法について説明する。図２０を参照して、第４の実施の形態の携帯型コンピュータ３００は、電子メモ処理装置３３０と、二次記憶装置３３２と、各種ソフトウェア３３４とを含む。
【０１４６】
二次記憶装置３３２は、文書ファイル３４０と、ペン軌跡データの付加された文書ファイル３４２とを格納する。ペン軌跡データの付加された文書ファイル３４２は、文書ファイル３４０と同種の文書ファイルデータ３５２とペン軌跡データ３５０とを含む。
【０１４７】
各種ソフトウェア３３４は、外部アプリケーションプログラムであり、ワープロソフト、プレゼンテーションソフト、表計算ソフト、メールソフトなどである。本実施の形態の電子メモ処理装置で使用するアプリケーションプログラムは外部から操作可能である必要がある。外部からアプケーションプログラムを操作する手段としてはＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）関数であっても良いし、メッセージ通信であってもよいし、イベントの発生であっても良い。
【０１４８】
電子メモ処理装置３３０は、ユーザがシステムに指示を入力するための入力装置３６０と、ユーザが手書データを入力するためのペン入力部３６２と、文書ファイルイメージとペン軌跡データを表示する表示部３６４と、拡張子アプリケーション対応表３９６を参照して文書ファイルに対応するアプリケーションを選択する外部アプリケーション選択部３７８と、電子メモ処理装置３３０全体の制御をするためのシステム制御部３７４と、通信装置３６６と、外部アプリケーションプログラムを制御して文書ファイルの文書ファイルイメージ３９４を生成させるための文書ファイルイメージ化部３７６と、ペン軌跡イメージ３９２と文書ファイルイメージ３９４とを重ね合せたイメージを生成し、表示部３６４に出力するイメージデータ合成部３７２と、アプリケーションプログラムが生成した文書ファイルイメージ３９４およびユーザが入力装置により入力したペン軌跡データ３９０などを記憶するための主記憶装置３６８と、ユーザがペン入力部３６２から入力した手書きのストロークデータを主記憶装置３６８内の領域にビットマップ形式( ピクセルの集まり) で出力する軌跡データイメージ展開部３７０と、文書ファイルデータ３５２にペン軌跡データ３５０を付加するペン軌跡データ付加出力部３８０とを含む。
【０１４９】
拡張子アプリケーション対応表３９６は、図２１に示されるように、ファイルの拡張子４００ごとに、対応するアプリケーション名４０２と、そのアプリケーションへのファイルパス４０４とをテーブル形式で記録した表である。
【０１５０】
入力装置３６０はキーボードでも良いし、マウスでも良い。また入力装置３６０はペン入力部３６２と兼用であっても良い。
【０１５１】
ペン入力部３６２は手書きによる軌跡データを入力できれば良いので、たとえばトラックボールやマウスでも良い。しかし、ペン入力機能を持った入出力一体型タブレットを使用してペン入力部３６２と表示部３６４とを実現すると操作性および携帯性が高くなり都合が良い。
【０１５２】
表示部３６４はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ) からなるモニタでも良いし、液晶ディスプレイでも良い。しかし、前述のようにペン入力機能を持った入出力一体型タブレットの表示機能を表示部３６４として利用すると操作性および携帯性が高くなり都合が良い。
【０１５３】
外部アプリケーション選択部３７８によるアプリケーションプログラムの選択は、処理対象のファイル名の拡張子をキーとして拡張子アプリケーション対応表３９６を検索して、当該拡張子の対応アプケーションを探すことにより行なえる。外部アプリケーションを選択する方法としては、これ以外にもたとえば、文書ファイルの先頭部分を調べ、そのデータのパターンから文書ファイルの種類を判定しアプリケーションを選ぶ方法も考えられる。
【０１５４】
図２２を参照して、文書ファイルイメージ化部３７６の動作を説明する。文書ファイルイメージ化部３７６は外部アプリケーション選択部３７８により選択された外部アプリケーションプログラム４１０を起動する（４１２）。次に処理対象の文書ファイルのファイルパスと文書ファイルのイメージを描画する文書ファイル描画バッファのアドレスとをパラメータとして、文書ファイルのイメージを文書ファイル描画バッファに出力するように、起動された外部アプリケーションプログラム４１０に対して指示（４１４）を出す。文書ファイル描画バッファは主記憶装置３６８内に文書ファイルイメージ化部３７６が確保する領域である。
【０１５５】
図２３のフローチャートを参照しながら、文書ファイルイメージ化部３７６の処理を説明する。まず外部アプリケーション選択部３７８により選択されたアプリケーションプログラムが存在するか否かを判定する（４２０）。もし存在しなければシステム制御部に処理が失敗した旨を通知し（４３４）終了する。もし、アプリケーションプログラムが存在するならば、次に処理対象の文書ファイルが存在するかどうかを判定する（４２２）。もし、当該文書ファイルが存在しないならば、システム制御部に処理が失敗したことを通知し（４３４）、終了する。次に文書ファイルイメージを描画するためのバッファを主記憶装置３６８に確保する（４２４）。もしこの領域を確保できなかった場合は、システム制御装置に処理が失敗した旨を通知し（４３４）終了する。バッファが確保できた場合は、アプリケーションプログラムに文書ファイルのパスとバッファへのアドレスをパラメータとして指定して、当該アプリケーションプログラムに文書ファイルイメージの生成を指示する（４２８）。アプリケーションプログラムへの指示を伝える方法は、前述のとおりＡＰＩ関数の呼び出してもよいし、イベントの発生でも良い。もし、アプリケーションプログラムが文書ファイルイメージの生成に失敗したならば（４３０）、システム制御装置に処理が失敗した旨を通知し（４３４）終了する。 文書ファイルイメージの生成に成功したならばシステム制御部に処理が成功したことを通知して終了する（４３２）。アプケーションプログラムと文書ファイルイメージ化部３７６との間のやりとりはＡＰＩ関数の呼び出しであっても良いし、またメッセージの送受信でもよい。どのような方法を採用するのが最も良いかは、使用されるＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）の種類によって異なる。
【０１５６】
本実施例では、ペン入力部３６２によって入力されるペン軌跡データはストロークのデータであり、したがってこれを画面に表示するために軌跡データイメージ展開部３７０が必要である。しかし、ペン入力部から入力されるペン軌跡データがビットマップ形式のイメージデータである場合は、軌跡データイメージ展開部３７０は不要である。
【０１５７】
イメージデータ合成部３７２はペン軌跡イメージ３９２と文書ファイルイメージ３９４とを重ね合せたイメージを生成し、表示部３６４に出力する。この様子は、図１９を参照して既に説明した。
【０１５８】
図２４を参照して、イメージデータ合成部３７２で実行されるイメージ合成処理を説明する。まず、ペン軌跡イメージが存在するかどうかを判定する（４５０）。もしペン軌跡イメージが存在しなければ文書ファイルイメージをそのまま表示部に出力して（４５２）終了する。ユーザがペン軌跡データを入力する前は、ペン軌跡イメージは存在しないので最初の一回は必ずこの手順を通ることになる。
【０１５９】
次にペン軌跡データが存在する場合の処理について同図を用いて説明する。既に文書ファイルイメージの全てのピクセルを処理し終っていれば終了する（４５４）。既にペン軌跡イメージの全てのピクセルを処理し終っている場合にも終了する（４５６）。なおこの場合、ペン軌跡イメージと文書ファイルイメージとは同じ数のピクセルを含んでいることが前提である。したがって場合によっててはステップ４５４と４５６とのどちらか一方のみの判断でよい場合もある。
【０１６０】
ステップ４５４および４５６の双方でいずれも「ＮＯ」の判断がされた場合には、文書ファイルイメージのピクセル一つを読み込む（４５８）。続いてペン軌跡イメージのピクセル一つを読み込む（４６０）。そしてこうして読込まれた文書ファイルイメージのピクセルとペン軌跡イメージのピクセルとの排他的論理和を算出する（４６２）。算出した排他的論理和を表示部３６４に出力する（４６４）。この手順を文書ファイルイメージとペン軌跡イメージの左上から右下までスキャンして行なう（ステップ４５４または４５６の判断結果が「ＹＥＳ」となるまで行う）ことで画面の合成ができる。
【０１６１】
図２５はピクセルデータの排他的論理和の計算例である。図２５には、文書ファイルのイメージのピクセルビット表現４７０と、ペン軌跡イメージのピクセルのビット表現４７２とを示す。ここで1 ピクセルはいずれも8 ビットの深さを持つものとする。この二つのピクセルデータの排他的論理和をとると、文書ファイルイメージと手書きメモイメージとを重ね合わせた合成後のビット表現４７４が生成できる。排他的論理和を用いると、一方がすべて「１」でかつ他方が全て「０」の場合を除き、合成後のデータは合成前のデータのいずれとも異なり、合成前と合成後とを区別できる。なお合成にこのように排他的論理和を用いるのは一例に過ぎず、他の論理演算を文書ファイルイメージの各ピクセルとペン軌跡イメージのピクセルとの間で行ってもよい。また、さらにその他の演算を行って特殊な表現を得るようにしてもよい。
【０１６２】
図２０に示すペン軌跡データ付加出力部３８０はペン軌跡データと文書ファイルとを連結してペン軌跡データの付加された文書ファイル３４２として出力する。連結後のペン軌跡データの付加された文書ファイル３４２のフォーマットを図２６に示す。ただし図２６に示すのは単なる一例であって、その他にも様々なフォーマットが考えられる。
【０１６３】
図２６を参照して、ペン軌跡データの付加された文書ファイル３４２は、文書ファイルデータへのオフセット４８０と、文書ファイルデータのサイズ４８２と、文書ファイルのファイル名４８４と、ペン軌跡データのオフセット４８６と、ペン軌跡データのサイズ４８８と、ペン軌跡データ３５０と、文書ファイルデータ３５２とを含む。
【０１６４】
文書ファイルデータへのオフセット４８０は、文書ファイルデータ３５２がペン軌跡データの付加された文書ファイル３４２の先頭から数えて何バイト目から始まるかを示す。文書ファイルデータのサイズ４８２は、文書ファイルデータ３５２の長さがが何バイトであるかを示す。文書ファイルのファイル名４８４は、もとの文書ファイルの文書ファイル名を示す。ペン軌跡データのオフセット４８６はペン軌跡データ３５０へのオフセットであり、ペン軌跡データ３５０がペン軌跡データの付加された文書ファイル３４２の先頭から数えて何バイト目から始まるかを示す。ペン軌跡データのサイズ４８８はペン軌跡データ３５０の長さが何バイトであるかを示す。文書ファイルデータ３５２は、図２０の文書ファイル３４０の内容が格納される。このフォーマットでペン軌跡データの付加された文書ファイル３４２を出力することにより、後でこのファイルから文書ファイルデータのみを抜き出すことも、ペン軌跡データのみを抜き出すことも容易に可能である。
【０１６５】
以下、図２７を参照して、電子メモ処理装置３３０を含む携帯型コンピュータ３００の全体的な動作説明を行なう。まず、ユーザは入力装置３６０を用いて文書ファイル名を指定して文書ファイルを表示するようシステム制御部３７４に指示する（５００）。システム制御部３７４は外部アプリケーション選択部３７８にこのファイル名を渡す（５０２）。外部アプリケーション選択部３７８は、このファイル名の拡張子をキーとして拡張子アプリケーション対応表３９６を検索し、この文書ファイルを処理すべき外部アプリケーションプログラムを選び出す。外部アプリケーション選択部３７８は、システム制御部３７４に当該外部アプリケーションプログラム名を通知する（５０４）。
【０１６６】
これに応答してシステム制御部３７４は、文書ファイルイメージ化部３７６に外部アプリケーションプログラム名と文書ファイル名とをパラメータとして渡し当該文書ファイルをイメージ化するように指示する（５０６）。文書ファイルイメージ化部３７６は、外部アプリケーション選択部３７８によって選択された外部アプリケーションプログラムを起動し、この外部アプリケーションプログラムに対して文書ファイルを指定して文書ファイルのイメージ描画を指示する。この外部アプリケーションプログラムは指定された文書ファイル３４０を読み込みイメージにして文書ファイルイメージ３９４として主記憶装置３６８に出力する（５０８）。
【０１６７】
次にシステム制御部３７４は、イメージデータ合成部３７２に対して文書ファイルイメージ３９４を表示部３６４に出力するよう指示する（５１０）。以上までの処理により文書ファイルイメージ３９４が表示部３６４に表示される。このときの表示部３６４には、図１９の文書ファイルイメージ３０８が表示されている。
【０１６８】
次にユーザは、ペン入力部３６２を使用して文書ファイルに付加したいペン軌跡データを入力する（５１２）。このペン軌跡データ３９０は主記憶装置３６８に一旦保持され、軌跡データイメージ展開部３７０によりペン軌跡イメージ３９２に展開される（５１４）。
【０１６９】
システム制御部３７４はイメージデータ合成部３７２に文書ファイルイメージ３９４と軌跡データイメージ展開部３７０により生成されたペン軌跡イメージ３９２とを合成して出力するように指示する。これを受けてイメージデータ合成部３７２は文書ファイルイメージ３９４とペン軌跡イメージ３９２とを合成して表示部３６４に出力する（５１６）。これにより図１９の合成イメージ３２２の表示が得られる。
【０１７０】
ここで、ユーザが終了を指示しているか否かが判定される（５１８）。ユーザが終了を指示しなかった場合は、制御はステップ５１２に戻りペン軌跡データの入力を継続する。もし、ユーザが終了を指示した場合は、ステップ５２０に移る。
【０１７１】
ステップ５２０では、ユーザが入力した手書データを付加して文書ファイルを登録するようユーザが指示したか否かが判定される。そうした指示がされている場合には、ペン軌跡データ付加出力部３８０はペン軌跡データ３９０を文書ファイルに付加してペン軌跡データの付加された文書ファイル３４２として二次記憶装置３３２に登録し（５２２）終了処理（５２４）に進み終了する。もし、ユーザがペン軌跡データを付加した文書ファイルを登録するよう指示しなかった場合は登録処理をせずただちに終了処理（５２４）の後、終了する。終了処理では主記憶装置３６８上に確保された文書ファイルイメージ３９４、ペン軌跡データ３９０、ペン軌跡イメージ３９２の領域の解放などが行われる。
【０１７２】
こうして、この第４の実施の形態の携帯型コンピュータ３００では、電子メモ処理装置３３０の機能によって、外部アプリケーションソフトが作成した文書ファイルに、ユーザが手書きで作成したメモを付加することができる。外部アプリケーションに要求される機能は、文書ファイルから文書ファイルイメージを作成する機能だけであり、メモを付加する機能は不要である。また文書ファイルイメージを作成する機能は、前述のようにたとえばプラグインの形で、アプリケーション自体とは別に作成し実装できる。したがってこの携帯型コンピュータ３００によって、複数個のアプリケーションに対して共通に手書きメモを付加する機能を実現することができる。この場合特に、メモ自体は手書きでペン入力するため、たとえばキーボードの入力が苦手な人でも比較的容易に行なえる。また、既に文書ファイルイメージが表示されている上から、あたかも紙の上に書くようにして電子メモを付加できるので、従来の校正の仕方に慣れている人でも違和感なく操作することができる。
【０１７３】
［第５の実施の形態］
次に本願発明の第５の実施の形態にかかる電子メモ処理装置について説明する。図２８は、第５の実施の形態の文書ファイルへの電子メモ処理装置５３０の機能的構成を示すブロック図である。図２０との違いは、図２０のペン軌跡データ付加出力部３８０がペン軌跡データ分離出力部５４０に置き変っていることと図２０のペン入力部３６２が不要であるため省略されていることとである。その他の点では、図２８に示す各部で図２０に示す各部と同一のものには同一の参照符号を付してある。それらの名称および機能も同一であるので、ここではそれらについての詳しい説明は繰返さない。
【０１７４】
ペン軌跡データ分離出力部５４０は、ペン軌跡データの付加された文書ファイル３４２を読み込みペン軌跡データ３９０と文書ファイルイメージ３９４とに分離して出力するためのものである。既に説明したようにペン軌跡データの付加された文書ファイル３４２は図２６に示すフォーマットをしている。ペン軌跡データ分離出力部５４０は、文書ファイルデータへのオフセット４８０と文書ファイルデータのサイズ４８２との情報を使って文書ファイルデータ３５２を抜き出し、文書ファイルのファイル名４８４で二次記憶装置に出力する。またペン軌跡データ分離出力部５４０は、ペン軌跡データのオフセット４８６とペン軌跡データのサイズ４８８との情報を使用してペン軌跡データ３５０を抜き出し出力する。
以下、ペン軌跡データの付加された文書ファイル３４２を表示する手順を図２９のフローチャートを参照しながら説明する。なおここでは、図２７と同様の処理ステップには図２７において使用したのと同じ番号を付してある。
【０１７５】
まずユーザが図２８の入力装置３６０を用いてペン軌跡データの付加された文書ファイル３４２の表示を指示するものとする。システム制御部３７４はこれを受けてペン軌跡データ分離出力部５４０に指示してペン軌跡データの付加された文書ファイル３４２から文書ファイルとペン軌跡データ３９０とを分離して出力させる。ペン軌跡データ分離出力部５４０はさらに文書ファイルのファイル名４８４（図２６）をシステム制御部３７４に渡す（５５２）。
【０１７６】
システム制御部３７４は文書ファイルのファイル名４８４を図２８の外部アプリケーション選択部３７８に渡し、この文書ファイルを処理すべき外部アプリケーションを選択させる（５５４）。システム制御部３７４は選択された外部アプリケーションプログラムにこの文書ファイルをイメージ化するよう指示する（５０６）。外部アプリケーションプログラムは文書ファイルイメージ３９４を生成し出力する（５０８）。図２８の軌跡データイメージ展開部３７０がペン軌跡データ３９０を展開しペン軌跡イメージ３９２を出力する（５１４）。イメージデータ合成部３７２が文書ファイルイメージ３９４とペン軌跡イメージ３９２を合成して図２８の表示部３６４に出力する（５８６）。
【０１７７】
以上が、第５の実施の形態にかかる電子メモ処理装置の構成および動作である。第４の実施の形態の電子メモ処理装置と第５の実施の形態の電子メモ処理装置はそれぞれ単独で実施することも可能であるが、両者を組合せて一つの装置として実施するとさらに効果的である。
【０１７８】
［第６の実施の形態］
次に本願発明の第６の実施の形態にかかる電子メモ処理装置について説明する。図３０はこの電子メモ処理装置５７０の構成を示すブロック図である。図２０との違いは、ユーザがペン入力部３６２を使用して入力する図形を認識するための図形認識部５８０と、図形認識部５８０によって認識された図形が所定のオペレータ図形であるときに、そのオペレータに対応する処理を実行するためのオペレータ実行部５８２とが追加されている点である。その他の点ではこの電子メモ処理装置５７０は図２０に示すものと共通である。同一の部品には同一の参照符号を付し、それらの名称および機能も同一であるからここではそれらについての詳細な説明は繰返さない。
【０１７９】
ここで、「オペレータ」とは、文書ファイルへの操作を指示するためにユーザがペン入力部３６２を使用して描画する図形のことをいう。この場合の「図形」には文字も含む。文書ファイルへの操作とは例えば文章の中の一行の削除、ある単語の下への下線の付加、などの操作である。
【０１８０】
各オペレータは、オペレータ図形と、オペレータ名と、所定の機能とを持つ。図３１にオペレータを３つ含んだオペレータ表５８８の例を示す。例えば、図３１の１行目は、オペレータ５９０のオペレータ図形が×印であり、そのオペレータ名が「削除」であり、その機能が「描画された×印の下の位置に表示されている語を削除すること」であることを示している。２行目及び３行目はそれぞれ、オペレータ５９２とオペレータ５９４とについて、そのオペレータ図形と、オペレータ名と、機能とを示している。
【０１８１】
図３０〜図３２、さらに図３３のフローチャートを参照してこの電子メモ処理装置の動作について説明する。図３０の図形認識部５８０は図３１のオペレータ表５８８を内蔵している。そして図形認識部５８０は、ユーザがペン入力部３６２を用いて入力したペン軌跡をオペレータ表５８８のオペレータ図形データと比較検索し（６１０）、ペン軌跡がオペレータ図形データと十分類似している場合（６１２においてＹＥＳ）は、当該ペン軌跡をオペレータであると判定する。そして図形認識部５８０は、当該オペレータ名とオペレータ図形の座標位置とをオペレータ実行部５８２に渡す（６１４）。
【０１８２】
オペレータ実行部５８２は、その内部に図３２に示すオペレータ名メッセージ表６００を持つ。このオペレータ名メッセージ表６００はオペレータ名とアプリケーションに送信すべきメッセージとの対応関係を表にしたものである。たとえば１行目６０２は、「削除」オペレータと、これに対応する、外部アプリケーションへのメッセージ「WM＿USER＿DELETE＿WORD」とを対にして記載している。他の行６０４、６０６も同様である。 オペレータ実行部５８２は、受け取ったオペレータ名をオペレータ名メッセージ表６００内で検索して（６１６）、当該オペレータ名に該当するメッセージを選択し（６１８）、図形認識部５８０から渡された座標位置をパラメータとして該外部アプリケーションに送信する（６２０）。送信すべき外部アプリケーションは第４の実施の形態または第５の実施の形態と同様、外部アプリケーション選択部３７８により選択される。外部アプリケーションプログラム５８４はこのメッセージを受け取りメッセージに対応した処理を行なう（６２２）。
【０１８３】
ステップ６１２で適合するオペレータがないと判定された場合、およびステップ６１８でオペレータ名メッセージ表６００内に対応するメッセージが存在しないと判定された場合には、上述した文書ファイルへの操作は行われず、入力された図形はメモとして処理される。
【０１８４】
以上の手順により、文書ファイルの語の削除や下線引きなどの文書ファイルへの操作がモードの切替などの煩雑な操作なしになされる。またこのとき、第４の実施の形態または第５の実施の形態と同様に、文書に手書きでメモを付すことができ、しかもメモを付加するのと同様の手書きによるペン入力で文書ファイルへの操作が行なえる。そのため、キーボードの操作に不慣れなユーザであっても、紙文書に対して行うのと同様の容易さで電子的な文書にメモを付し、また電子的な文書への操作を行うことができる。
【０１８５】
［第７の実施の形態］
次に本願発明の第７の実施の形態の電子メモ処理装置について説明する。図３４は第７の実施の形態の電子メモ処理装置の構成を示す機能ブロック図である。図３４に示される装置は基本的に図２０の構成と同じであるが、図２０に示される各部に加えてさらに、文書ファイルに加えられた変更に応じてペン軌跡の表示位置を調整するためのペン軌跡位置調整部６４２が追加されている点が異なる。図３４において、図２０に示される部品と同一の部品には同一の参照符号を付してある。それらの機能および名称も同一である。したがってここではそれらについての詳しい説明は繰返さない。
【０１８６】
以下、この電子メモ処理装置６４０の動作の特徴について、さらに図３６のフローチャートも参照して説明する。文書ファイル３４０のデータに外部アプリケーションプログラム５８４により変更が加えられる（６６０）と、通常はその文書ファイル３４０により表される文書を表示または印刷すると変更箇所以後に、各文字のずれが生ずる。外部アプリケーションプログラム５８４はそのずれについて計算し（６６２）、レイアウトのずれ情報をシステム制御部３７４に通知する（６６４）。外部アプリケーションプログラム５８４には、このような機能がプラグインとして実装されているものとする。
【０１８７】
システム制御部３７４は、外部アプリケーションプログラム５８４に対して、変更された後の文書ファイルのイメージを再出力するよう指示する（６６６）。これに応じて外部アプリケーションプログラム５８４は文書ファイルイメージ３９４を展開し出力する（６６８）。またシステム制御部３７４は、外部アプリケーションプログラム５８４から与えられたレイアウトのずれ情報に従い、ペン軌跡位置調整部６４２に対してペン軌跡データの位置を調整するように指示し、ペン軌跡位置調整部６４２がこれに応答してレイアウトのずれに合わせてペン軌跡データの位置を調整する（６７０）。
【０１８８】
さらにシステム制御部３７４は軌跡データイメージ展開部３７０に対して、位置調整されたペン軌跡データをイメージに展開するよう指示し、軌跡データイメージ展開部３７０がこれに応答して位置調整されたペン軌跡データをイメージに展開する。
【０１８９】
さらにシステム制御部３７４はイメージデータ合成部３７２に対して、ペン軌跡位置調整部６４２により位置が調整され軌跡データイメージ展開部３７０により展開されたペン軌跡イメージ３９２と、外部アプリケーションプログラム５８４により出力された、変更が加えられた文書の文書ファイルイメージ３９４とを合成して表示部３６４に出力するように指示する。イメージデータ合成部３７２はこれに応答してペン軌跡イメージ３９２と文書ファイルイメージ３９４とを合成して表示部３６４に出力する（６８０）。
【０１９０】
以上のようにして文書ファイルに変更を加えることにより文書ファイル内の各文字の位置がずれても、ユーザの入力したペン軌跡もそれに対応して移動するためペン軌跡と文書ファイルの表示にずれが発生しない。 この様子を図３５を用いて説明する。
【０１９１】
図３５を参照して、元になる文書ファイルのイメージとペン軌跡データのイメージが合成された合成イメージ６９０が表示されているとする。 ここで文書の2 行目を削除したため、図３５の文書修正時の合成イメージ６９２のように、3 行目以降がラインピッチの幅だけ上にずれたとする。その結果文書ファイルのイメージとペン軌跡イメージの表示にずれが発生する（ただし本実施の形態では、このようにずれた表示は行われず、ずれが生じるとただちに次にようにずれに応じた補正が行われる）。
【０１９２】
このとき外部アプリケーションプログラム５８４はシステム制御部３７４に対して、このずれの情報を通知する。この情報にはイメージの上から何ドットめから下が何ドットだけ上にずれたかの情報が含まれる。この情報に従いペン軌跡位置調整部６４２がペン軌跡データの位置を再調整することにより図３５の調整後の合成イメージ６９４によって示されるように、再び、文書ファイルのイメージの適切な位置にペン軌跡データのイメージが描画されることになる。
【０１９３】
もちろん、修正は削除のみに限らず、挿入、移動、他箇所からのコピーなども含む。挿入などの場合には修正によりレイアウトは下側にずれるが、その場合にも電子メモの表示位置の修正は削除の場合と同様である。
【０１９４】
こうして、ある文書に対して電子メモを追加したあとに、当該文書を修正し、そのレイアウトに変更があったときにも電子メモは文書上の適切な位置に表示される。
【０１９５】
［第８の実施の形態］
次に本願発明の第８の実施の形態にかかる電子メモ処理装置について説明する。この電子メモ処理装置の基本的な構成は第４の実施の形態の電子メモ処理装置と同じである。しかし、この第８の実施の形態にかかる電子メモ処理装置は、第４の実施の形態電子メモ処理装置の構成に加えて、さらに、電子メモを作成した装置の現在のユーザ名をペン軌跡データの付加された文書ファイル３４２に追加するためのユーザ名取得部を有する。
【０１９６】
通常のコンピュータのＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）には、当該コンピュータを使用しているユーザを特定するユーザ名をプログラムから取得するためのコマンドまたはＡＰＩ関数を用意している。プログラムからそうしたコマンドまたはＡＰＩ関数をコールすることにより、本装置を使用しているユーザ名が取得できる。このようなOSが提供する機能を利用することによりユーザ名の取得が可能である。
【０１９７】
このようにして取得したユーザ名を図３７のようなフォーマットでユーザ名を含むペン軌跡データの付加された文書ファイル７００として出力することによりこの第８の実施の形態の電子メモ処理装置は実施できる。図３７を参照して、ユーザ名を含むペン軌跡データの付加された文書ファイル７００は、文書ファイルデータへのオフセット４８０、文書ファイルデータのサイズ４８２、文書ファイルのファイル名４８４、および文書ファイルデータ３５２に加えて、複数個（図３７に示す例では３個）のペン軌跡データブロックを含む。第１のペン軌跡データブロックは、第１のペン軌跡データのオフセット７１０と、第１のペン軌跡データのサイズ７１２と、第１のペン軌跡データのユーザ名７１４と、第１のペン軌跡データ７１６とを含む。第１のペン軌跡データのユーザ名７１４は、前述のようにして獲得された第1 のペン軌跡データのユーザ名であり、第1 のペン軌跡データの入力者を示す。第１のペン軌跡データのオフセット７１０、第１のペン軌跡データのサイズ７１２、第１のペン軌跡データ７１６はそれぞれ、図２６に示すペン軌跡データのオフセット４８６、ペン軌跡データのサイズ４８８およびペン軌跡データ３５０にそれぞれ相当する。
【０１９８】
同様にして第２のペン軌跡データブロックは第２のペン軌跡データのオフセット７３０、第２のペン軌跡データのサイズ７３２、第２のペン軌跡データのユーザ名７３４、第２のペン軌跡データ７３６を含む。第２のペン軌跡データのユーザ名７３４は前述のようにして獲得された第2 のペン軌跡データのユーザ名であり、第２のペン軌跡データ７３６の入力者を示す。
【０１９９】
第３のペン軌跡データブロックも同様に、第３のペン軌跡データのオフセット７５０と、第３のペン軌跡データのサイズ７５２と、第３のペン軌跡データのユーザ名７５４と、第３のペン軌跡データ７５６とを含む。第３のペン軌跡データのユーザ名７５４は前述のようにして獲得された第3 のペン軌跡データのユーザ名であり、第3 のペン軌跡データの入力者を示す。
【０２００】
図３７が示すように複数の異なるペン軌跡データの入力者がそれぞれ自分のユーザ名を付加してペン軌跡データを入力するような実施の仕方が有効である。このようにすることにより、ある文書について複数の人が校正処理をしたり、コメントの記入をしたりしたときに、そうした電子的なメモの入力者が区別でき、それらメモの検討およびコンピュータ文書への反映等の処理を的確に行うことができる。
【０２０１】
［第９の実施の形態］
次に本願発明の第９の実施の形態にかかる電子メモ処理装置について説明する。この電子メモ処理装置の基本的な構成は第４の実施の形態の電子メモ処理装置と同じである。しかし、この第９の実施の形態にかかる電子メモ処理装置は、第４の実施の形態の電子メモ処理装置の構成に加えて、さらに、電子メモを作成した日時を取得してファイルに付加するための日時取得部を有する点を特徴とする。
【０２０２】
日時取得部は現在の日時を取得する。通常のコンピュータのＯＳには、現在時刻をプログラムから取得するためのコマンドまたはＡＰＩ関数が用意されている。プログラムからそうしたコマンドまたはＡＰＩ関数をコールすることにより、現在時刻が取得できる。
【０２０３】
このようにして獲得した日時を図３８に示されるフォーマットで出力することにより第９の実施の形態の電子メモ処理装置は実施できる。図３８に示される作成日時を含むペン軌跡データの付加された文書ファイル８００が図３７に示されるユーザ名を含むペン軌跡データの付加された文書ファイル７００と異なるのは、第１のペン軌跡データのユーザ名７１４、第２のペン軌跡データのユーザ名７３４および第３のペン軌跡データのユーザ名７５４にかえてそれぞれ、第１のペン軌跡データの日時７１８、第２のペン軌跡データの日時７３８、第３のペン軌跡データの日時７５８を含む点である。他の点では作成日時を含むペン軌跡データの付加された文書ファイル８００はユーザ名を含むペン軌跡データの付加された文書ファイル７００と同様である。
【０２０４】
このように電子メモ（ペン軌跡データ）を作成または修正した日をファイル中に持たせることにより、メモが作成された時期的な前後関係が判断できて便利である。
【０２０５】
［第１０の実施の形態］
次に本願発明の第１０の実施の形態の電子メモ処理装置について説明する。この電子メモ処理装置の基本的な構成は第４の実施の形態の電子メモ処理装置と同じである。しかし、この第１０の実施の形態にかかる電子メモ処理装置は、第４の実施の形態の電子メモ処理装置の構成に加えて、さらに、電子メモを作成した位置に関する情報（位置情報）を取得してファイルに付加するための位置情報取得部を有する点を特徴とする。
【０２０６】
位置情報取得部は現在の位置を取得する。たとえばＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）によって、所在地の地球座標を取得する装置がある。こうした装置の中には、通常のコンピュータから使用することが可能なものがある。プログラムからそうした装置を使用することにより、電子メモが付加された所在地に関する情報（たとえば緯度と経度）が取得できる。
【０２０７】
または、ＧＰＳなどの手段を用いずに、ユーザに現在の場所を入力させてもよい。この場合、例えば、ユーザが、「本社の会議室」などと入力すれば、それをそのまま位置情報として出力する。このようにして獲得した位置情報を図３９に示すようなフォーマットで出力することにより第１０の実施の形態の電子メモ処理装置は実施できる。
【０２０８】
図３９に示す位置情報を含むペン軌跡データの付加された文書ファイル８１０は、図３７に示す、ユーザ名を含むペン軌跡データの付加された文書ファイル７００のフォーマットと同様である。相違は、図３７の第１のペン軌跡データのユーザ名７１４、第２のペン軌跡データのユーザ名７３４および第３のペン軌跡データのユーザ名７５４に代えて、第１のペン軌跡データの位置情報７２０、第２のペン軌跡データの位置情報７４０、第３のペン軌跡データの位置情報７６０をそれぞれ含むことである。第１のペン軌跡データの位置情報７２０は前述のようにして獲得された第1 のペン軌跡データの位置情報であり、第1 のペン軌跡データが入力された場所を示す。第２のペン軌跡データの位置情報７４０は前述のようにして獲得された第2 のペン軌跡データの位置情報であり、第2 のペン軌跡データの入力された場所を示す。第３のペン軌跡データの位置情報７６０は前述のようにして獲得された第3 のペン軌跡データの位置情報であり、第3 のペン軌跡データの入力された場所を示す。
【０２０９】
こうして、電子メモ（ペン軌跡データ）が作成または修正された位置に関する位置情報を含むペン軌跡データの付加された文書ファイル８１０を使用することにより、ネットワークを通じて遠隔の地にいる者の間で文書データを転送して文書の校正処理を行ったりしたときにも、どの場所でその校正処理が行われたかを容易に知ることができる。また、移動しながら種々の場所でメモの作成をしたときにもその場所を確認することができる。
【０２１０】
［第１１の実施の形態］
次に本願発明の第１１の実施の形態にかかる電子メモ処理装置について説明する。この電子メモ処理装置の基本的な構成は第４の実施の形態の電子メモ処理装置と同じである。しかし、この第１１の実施の形態にかかる電子メモ処理装置は、第４の実施の形態の電子メモ処理装置の構成に加えて、さらに、ペン軌跡データの識別子をペン軌跡データの付加された文書ファイル３４２に追加するための識別子取得部を有する。
【０２１１】
処理もほぼ図２７のフローチャートと同様で良いが、図２７のペン軌跡データ付き文書ファイルを登録するステップ５２２で、ユーザにペン軌跡データに付加する識別子を問い合せ、その識別子をペン軌跡データに属性として付加し、その属性付きのペン軌跡データを文書ファイルに付加して登録するという違いがある。
【０２１２】
登録する際のフォーマットを図４０に示す。図４０を参照して、この識別子を含むペン軌跡データの付加された文書ファイル８２０が図３７のユーザ名を含むペン軌跡データの付加された文書ファイル７００と異なるのは、図３７の第１のペン軌跡データのユーザ名７１４、第２のペン軌跡データのユーザ名７３４および第３のペン軌跡データのユーザ名７５４に代えて、第１のペン軌跡データの識別子７２２、第２のペン軌跡データの識別子７４２および第３のペン軌跡データの識別子７６２をそれぞれ含むことである。
【０２１３】
このようにすることで、電子的なメモを入力する際に識別子をつけておけば、後刻その電子的なメモを検討するときに、それらメモを識別子により区別できる。したがって、適切な識別子をつけることにより各メモを分類したり、目的にしたがって選択したりすることが可能になり、文書とメモとを統一的に管理することが容易になる。
【０２１４】
［第１２の実施の形態］
次に本願発明の第１２の実施の形態にかかる電子メモ処理装置について説明する。この第１２の実施の形態の電子メモ処理装置の構成は図２８に示される第５の実施の形態のものと同様である。処理も図２９のフローとほぼ同様であるが、図２９のペン軌跡データのイメージ展開のステップ５１４での処理を次のように変更する。
【０２１５】
図２８を参照して、軌跡データイメージ展開部３７０はペン軌跡データブロックを一つ読み出すごとに、その属性によって異なる色でイメージとして描画する。したがって属性の異なるペン軌跡データは区別して表示される。他の方法、例えば、線の太さ、線種、または濃さなどの違いにより、属性の違いを示すやりかたも考えられる。
【０２１６】
このように属性によって異なる色、線の太さや濃さなどの相違によって属性の違いが示されるので、ユーザはペン軌跡データの意味の相違を容易に認識できる。
【０２１７】
［第１３の実施の形態］
次に本願発明の第１３の実施の形態にかかる電子メモ処理装置について説明する。第１３の実施の形態にかかる電子メモ処理装置の構成自体は、図２８に示した第５の実施の形態の電子メモ処理装置と同じでよいが、一部の処理が異なる。
【０２１８】
すなわち、まず、ユーザにどの属性を持つペン軌跡データを描画するかの問い合せを図２８の表示部３６４を使って行なう。そしてユーザに、どの属性を持つペン軌跡データを描画するかをペン入力部３６２を用いて指定させる。軌跡データイメージ展開部３７０は、こうしてユーザにより指定された属性を持つペン軌跡データブロックだけをイメージとして描画する。こうした構成により、所定の属性を持つペン軌跡データのみを表示できるので、属性によってペン軌跡データ（電子メモ）を容易に区別することができる。
【０２１９】
以上から明らかなように、本発明により、ペンで文書に添削しているかのような簡単な操作で紙文書または文書ファイルにコメント等の情報を添付できる。しかも、添付されたコメントと元の紙文書または文書ファイルとが関連付けられて、または互いに一体となって保存されるので、手書データを添付したファイルを電子メール等に添付して送ることも容易である。そのため遠隔地にいるメンバーにコメントを求め、かつそうしたコメントを互いに明確に区別して検討するることも容易にできる。
【０２２０】
特に、複数のユーザからのコメントを文書ファイルとともに一つのファイルで保持するようにすると、文書ファイルと複数のコメントとを対比検討でき、しかも、それぞれのコメントを独立に検討することができるので効果が大きい。
【０２２１】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【図１】図１は、本願発明の第１の実施の形態にかかる電子メモ処理装置の概略図である。
【図２】図２は、本願発明の第１の実施の形態にかかる電子メモ処理装置の概略断面図である。
【図３】図３は、本願発明の第１の実施の形態の電子メモ処理装置の動作の概略を示す図である。
【図４】図４は、本願発明の第１の実施の形態の電子メモ処理装置の動作の概略を示す平面図である。
【図５】図５は、本願発明の第１の実施の形態および他の実施の形態の電子メモ処理装置を実現するための装置のハードウェアの概略を示すブロック図である。
【図６】図６は、本願発明の第１の実施の形態にかかる電子メモ処理装置の機能ブロック図である。
【図７】図７は、文書情報の構成を示す図である。
【図８】図８は、メモ情報の構成を示す図である。
【図９】図９は、第１の実施の形態の電子メモ処理装置におけるメモストレージのインデックスファイルの構成を示す図である。
【図１０】図１０は、文書−メモ対応情報の構成を示す図である。
【図１１】図１１は、第１の実施の形態の電子メモ処理装置の動作の概略フローチャートである。
【図１２】図１２は、第１の実施の形態の電子メモ処理装置の動作における電子メモ付加ステップと電子メモ表示ステップとを説明するためのフローチャートである。
【図１３】図１３は、第１の実施の形態の電子メモ処理装置の動作における電子メモ表示ステップを説明するためのフローチャートである。
【図１４】図１４は、第１の実施の形態の電子メモ処理装置における電子メモ付加ステップを説明するためのフローチャートである。
【図１５】図１５は、本願発明の第２の実施の形態にかかる電子メモ処理装置の概略を示す図である。
【図１６】図１６は、第２の実施の形態にかかる電子メモ処理装置の概略機能ブロック図である。
【図１７】図１７は、第３の実施の形態にかかる電子メモ処理装置の概略を示す図である。
【図１８】図１８は、本願発明の第４の実施の形態にかかる電子メモ処理装置の外観を示す平面図である。
【図１９】図１９は、第４の実施の形態の電子メモ処理装置の文書ファイルイメージとペン軌跡イメージのイメージ合成を示す図である。
【図２０】図２０は、本発明の第４の実施の形態にかかる電子メモ処理装置の構成を示す機能ブロック図である。
【図２１】図２１は、拡張子アプリケーション対応表である。
【図２２】図２２は、文書ファイルイメージ化部による外部アプリケーションの操作を示す図である。
【図２３】図２３は、文書ファイルイメージ化部の処理を示すフローチャートである。
【図２４】図２４はイメージの合成の処理を示すフローチャートである。
【図２５】図２５は、排他的論理和によるピクセルの合成処理をビット表現であらわした図である。
【図２６】図２６は、ペン軌跡データ付き文書ファイルのフォーマットの例である。
【図２７】図２７は、電子メモ処理装置の動作を示すフローチャートである。
【図２８】図２８は、本発明の第５の実施の形態の電子メモ処理装置の実施例の構成を示す機能ブロック図である。
【図２９】図２９は、本発明の第５の実施の形態の電子メモ処理装置の動作を示すフローチャートである。
【図３０】図３０は、本発明の第６の実施の形態にかかる電子メモ処理装置の実施例の構成を示すブロック図である
【図３１】図３１は、第６の実施の形態にかかる電子メモ処理装置において使用されるオペレータ表を示す図である。
【図３２】図３２は、オペレータ名とメッセージとの対応を示すオペレータ名／メッセージ表を示す図である。
【図３３】本発明の第６の実施の形態の電子メモ処理装置の動作を示すフローチャートである。
【図３４】図３４は、第７の実施の形態にかかる電子メモ処理装置の実施例の構成を示す機能ブロック図である。
【図３５】図３５は、ペン軌跡データの表示位置を再調整する様子を示した図である。
【図３６】図３６は、第７の実施の形態の電子メモ処理装置の動作を示すフローチャートである。
【図３７】図３７は、本願発明の第８の実施の形態の電子メモ処理装置におけるペン軌跡データ付き 文書ファイルのフォーマットを示す図であるである。
【図３８】図３８は、本願発明の第９の実施の形態の電子メモ処理装置にかかるペン軌跡データ付き 文書ファイルのフォーマットを示す図である。
【図３９】図３９は、本願発明の第１０の実施の形態の電子メモ処理装置にかかるペン軌跡データ付き 文書ファイルのフォーマットを示す図である。
【図４０】図４０は、本願発明の第１１の実施の形態の電子メモ処理装置にかかるペン軌跡データ付き 文書ファイルのフォーマットを示す図である。
【符号の説明】
５０，２５０，２７０，３３０，５３０，５７０ 電子メモ処理装置
６０，２８４，３０６ ペン
６２ スキャナ
６４ 入出力一体型表示装置
６６，２８２ タブレット
６８ シースルー表示装置
９０，３３２ 二次記憶装置
１００ 位置関係算出部
１０２ 電子メモ表示部
１０４ 電子メモ表示／付加管理部
１０６ 文書／メモ読込部
１０８ 電子メモ付加部
１１０ メモストレージ
１１２ 文書ストレージ
１１４ 文書情報ストレージ
１１６ 文書識別部
１１８ 文書登録部
２５２，２７６，３６０ 入力装置
２５６ 眼鏡型シースルー表示装置
２６４ 磁気センサ
３００ 携帯型コンピュータ
３０４ 表示一体型入力装置
３６２ ペン入力部
３６４ 表示部
３７０ 軌跡データイメージ展開部
３７２ イメージデータ合成部
３７４ システム制御部
３７６ 文書ファイルイメージ化部
３８０ ペン軌跡データ付加出力部
５４０ ペン軌跡データ分離出力部
５８０ 図形認識部
５８２ オペレータ実行部
６４２ ペン軌跡位置調整部

Claims (9)

1. その下に配置された文書を見ることが可能なシースルー入出力部と、
   前記シースルー入出力部の下に配置された対象となる任意の文書を識別するための文書識別手段と、
   前記シースルー入出力部にユーザが入力する、前記文書への電子メモを電子的に取得するための電子メモ取得手段と、
   前記電子メモ取得手段により取得された電子メモを、前記識別手段の識別結果と関連付けて記憶手段に保存するための電子メモ保存手段と、
   前記文書識別手段により識別された文書が予め登録された文書であるときは、前記文書の前記識別結果と関連付けられた前記電子メモを前記記憶手段から検索するための電子メモ検索手段と、
   ユーザが前記電子メモを入力する場合には、前記シースルー入出力部においては前記電子メモのみを入力位置に表示し、前記電子メモ検索手段により検索された電子メモを前記シースルー入出力部に表示する場合には、前記電子メモのみを、前記シースルー入出力部を通して前記対象となる文書と重なるように位置合わせを行い前記シースルー入出力部において表示する表示手段とを含む、電子メモ処理装置。
2. 前記シースルー入出力部は、前記電子メモを入力する機能と、前記電子メモを表示する機能とを有し、
   前記表示する機能は、ユーザにより装着されると、前記対象となる文書と前記電子メモとが重ねあわされるように前記電子メモのみを表示する、透明な表示部分を有する眼鏡型表示手段である、請求項１に記載の電子メモ処理装置。
3. 対象となる文書は紙媒体の文書であり、
   前記文書識別手段は、
   対象となる文書を画像として取込む撮像手段と、
   前記撮像手段により取込まれた画像に基づいて、前記文書の内容を認識するための画像認識手段と、
   前記画像認識手段により認識された文書の内容に基づいて対象となる文書を識別するための手段とを含む、請求項１または２に記載の電子メモ処理装置。
4. 前記対象となる文書は、電子的に作成された後に紙媒体に印字された文書であり、
   前記画像認識手段により認識された文書の内容に基づいて識別された文書に対応する、電子的に作成された文書を文書記憶手段を検索して取出すための手段をさらに含む、請求項３に記載の電子メモ処理装置。
5. コンピュータが実行する電子メモ処理方法であって、
   その下に配置された文書を見ることが可能なシースルー入出力部の下に配置された対象となる任意の文書を識別するステップと、
   前記シースルー入出力部にユーザが入力する、前記文書への電子メモを電子的に取得するステップと、
   前記電子メモを取得するステップにより取得された電子メモを、前記識別するステップによる識別結果と関連付けて記憶手段に保存するステップと、
   前記文書を識別するステップにより識別された文書が予め登録された文書であるときは、前記文書の前記識別結果と関連付けられた前記電子メモを前記記憶手段から検索するステップと、
   ユーザが前記電子メモを入力する場合には、前記シースルー入出力部においては前記電子メモのみを入力位置に表示し、前記検索するステップにより検索された電子メモを前記シースルー入出力部に表示する場合には、前記電子メモのみを、前記シースルー入出力部を通して前記対象となる文書と重なるように位置合わせを行い前記シースルー入出力部において表示するステップとを含む、電子メモ処理方法。
6. 前記シースルー入出力部は、前記電子メモを入力する機能と、前記電子メモを表示する機能とを有し、前記電子メモは当該電子メモを入力する際の手書きデー タの軌跡から生成され、
   前記表示する機能は、ユーザにより装着されると、前記対象となる文書と前記手書きデータの軌跡とが重ねあわされるように前記電子メモのみを表示する、透明な表示部分を有する眼鏡型表示装置に前記電子メモを表示する機能である、請求項５に記載の電子メモ処理方法。
7. 対象となる文書は紙媒体の文書であり、
   前記文書を識別するステップは、
   対象となる文書を画像として取込むステップと、
   前記画像として取込むステップにより取込まれた画像に基づいて、前記文書の内容を認識するステップと、
   前記画像を認識するステップにより認識された文書の内容に基づいて対象となる文書を識別するステップとを含む、請求項５または６に記載の電子メモ処理方法。
8. 前記対象となる文書は、電子的に作成された後に紙媒体に印字された文書であり、
   前記画像を認識するステップにより認識された文書の内容に基づいて識別された文書に対応する、電子的に作成された文書を文書記憶手段を検索して取出すステップをさらに含む、請求項７に記載の電子メモ処理方法。
9. 請求項５〜８のいずれかに記載の電子メモ処理方法を実現するための電子メモ処理プログラムを記録した、コンピュータ読取り可能な記録媒体。

Images