JP5306528B1 - 電子機器および手書き文書処理方法 - Google Patents

Abstract

【課題】手書き入力された跡を消す場合に、紙に筆記された跡を消しゴムで消す時の操作感を実現すること。
【解決手段】実施形態によれば、電子機器は、入力モードの場合、手書きにより入力される第１の軌跡を、背景と同じ第１の色とは異なる第２の色によって表示し、消去モードの場合、手書きにより入力される第２の軌跡を、前記第１の色によって表示する表示処理手段と、前記第１の軌跡に対応する第１ストロークデータと、前記第２の軌跡に対応する第２ストロークデータとを記憶する記憶手段とを具備する。前記表示処理手段は、前記第１の軌跡の方が前記第２の軌跡よりも後に入力される場合には、前記第１の軌跡と前記第２の軌跡とが交差する領域を、前記第２の色とし、前記第１の軌跡の方が前記第２の軌跡よりも先に入力される場合には、前記第１の軌跡と前記第２の軌跡とが交差する領域を、前記第１の色とする。
【選択図】 図４

Description

本発明の実施形態は、手書き文書の処理に関する。

近年、タブレット、ＰＤＡ、スマートフォンといった種々の電子機器が開発されている。この種の電子機器の多くは、ユーザによる入力操作を容易にするために、タッチスクリーンディスプレイを備えている。

ユーザは、タッチスクリーンディスプレイ上に表示されるメニューまたはオブジェクトを指などでタッチすることにより、これらメニューまたはオブジェクトに関連づけられた機能の実行を携帯型電子機器に指示することができる。

特開平１１−１４３６２８号公報

ペンや指でタッチスクリーンディスプレイ上に文字を書いて、タッチスクリーンディスプレイに手書き文字を表示させることが可能である。手書き文字が表示された文字を消したい場合があるが、紙に筆記された文字を消す場合の操作感が異なり、ユーザが文字を消す場合に違和感を覚えることがある。

本発明の一形態は、手書き入力された跡を消す場合に、紙に筆記された跡を消しゴムで消す時の操作感を実現することが可能な電子機器および手書き文書処理方法を提供することを目的とする。

実施形態によれば、電子機器は、表示処理手段と、記録手段とを具備する。表示処理手段は、入力モードの場合、手書きにより入力される軌跡を、背景と同じ第１の色とは異なる第２の色によって表示し、消去モードの場合、手書きにより入力される軌跡を、前記第１の色によって表示する。記録手段は、入力モードの場合に手書きにより入力される第１軌跡に対応する第１ストロークデータと、前記第１軌跡の入力の後に入力され消去モードの場合に手書きにより入力される第２軌跡に対応する第２ストロークデータと、前記第２軌跡の入力の後に入力され入力モードの場合に手書きにより入力される第３軌跡に対応する第３ストロークデータとを、軌跡の入力順を識別可能に記録可能である。取得手段は、前記第１ストロークデータと前記第２ストロークデータと前記第３ストロークデータとを用いて、前記第１軌跡又は前記第３軌跡の少なくとも一部に対応する文字の文字コードを取得する。前記第１軌跡と前記２軌跡とが少なくとも一部重複し、かつ前記第２軌跡と前記第３軌跡とが少なくとも一部重複する場合に、前記第３軌跡に対応する文字の文字コード、または前記第３軌跡と前記第１軌跡の少なくとも一部とに対応する文字の文字コードの少なくとも一方を取得可能である。

実施形態に係る電子機器の外観を示す斜視図。 実施形態の電子機器と外部装置との連携動作を示す図。 実施形態の電子機器のシステム構成を示すブロック図。 デジタルノートブックアプリケーションプログラムの機能構成を示すブロック図。 デジタルノートブックアプリケーションプログラムによって実行される手書きページ作成処理の手順を示すフローチャート。 デジタルノートブックアプリケーションプログラムがＬＣＤに表示する画面を示す図。 図６に示す状態から、消しゴムボタンを押下操作し、“Ｅ”を消した状態を示した図。 手書き文字“Ａ”のストロークを示す図。 手書き文字“Ａ”のストロークのデータを示す図。 手書き文字“Ｅ”および消しゴムのストロークを示す図。 手書き文字“Ｅ”および消しゴムのストロークのデータを示す図。 図１０の状態で文字認識処理をおこなった場合の結果データを示す図。 図１０に示す状態から手書き文字“Ｅ”および消しゴムの軌跡上に手書き文字“Ｆ”を入力した状態を示す図。 新たに入力された手書き文字“Ｆ”のストロークデータを示す図。 図１３の状態で文字認識処理をおこなった場合の結果データを示す図。 文字を認識する手順を示すフローチャート。

以下、実施の形態について図面を参照して説明する。
図１は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えば、ペンまたは指によって手書き入力可能なペン・ベースの携帯型電子機器である。この電子機器は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、ＰＤＡ等として実現され得る。以下では、この電子機器がタブレットコンピュータ１０として実現されている場合を想定する。タブレットコンピュータ１０は、タブレットまたはストレートコンピュータとも称される携帯型電子機器であり、図１に示すように、本体１１とタッチスクリーンディスプレイ１７とを備える。タッチスクリーンディスプレイ１７は、本体１１の上面に重ね合わせるように取り付けられている。

本体１１は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ１７には、フラットパネルディスプレイと、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するように構成されたセンサとが組み込まれている。フラットパネルディスプレイは、例えば、液晶表示装置（ＬＣＤ）であってもよい。センサとしては、例えば、静電容量方式のタッチパネル、電磁誘導方式のデジタイザなどを使用することができる。以下では、デジタイザとタッチパネルの２種類のセンサの双方がタッチスクリーンディスプレイ１７に組み込まれている場合を想定する。

デジタイザおよびタッチパネルタッチの各々は、フラットパネルディスプレイの画面を覆うように設けられる。このタッチスクリーンディスプレイ１７は、指を使用した画面に対するタッチ操作のみならず、ペン１００を使用した画面に対するタッチ操作も検出することができる。ペン１００は例えば電磁誘導ペンであってもよい。ユーザは、外部オブジェクト（ペン１００又は指）を使用してタッチスクリーンディスプレイ１７上で手書き入力操作を行うことができる。手書き入力操作中においては、画面上の外部オブジェクト（ペン１００又は指）の動きの軌跡、つまり手書き入力操作によって手書きされるストロークの軌跡（筆跡）がリアルタイムに描画され、これによって各ストロークの軌跡が画面上に表示される。外部オブジェクトが画面に接触されている間の外部オブジェクトの動きの軌跡が１ストロークに相当する。手書きされた文字または図形などに対応する多数のストロークの集合、つまり多数の軌跡（筆跡）の集合が手書き文書を構成する。

本実施形態では、この手書き文書は、イメージデータではなく、各ストロークの軌跡の座標列とストローク間の順序関係を示す時系列情報として記憶媒体に保存される。この時系列情報は、概して、複数のストロークにそれぞれ対応する時系列のストロークデータの集合を意味する。各ストロークデータは、ある一つのストロークに対応し、このストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）を含む。これらストロークデータの並びの順序は、ストロークそれぞれが手書きされた順序つまり筆順に相当する。

タブレットコンピュータ１０は、記憶媒体から既存の任意の時系列情報を読み出し、この時系列情報に対応する手書き文書、つまりこの時系列情報によって示される複数のストロークそれぞれに対応する軌跡を画面上に表示することができる。さらに、タブレットコンピュータ１０は編集機能を有している。この編集機能は、「消しゴム」ツール、範囲指定ツール、および他の各種ツール等を用いたユーザによる編集操作に応じて、表示中の手書き文書内の任意のストロークまたは任意の手書き文字等を削除または移動することができる。さらに、この編集機能は、幾つかの手書き操作の履歴を取り消す機能も含んでいる。

本実施形態では、時系列情報（手書き文書）は、１つまたは複数のページとして管理されうる。この場合、時系列情報（手書き文書）を１つの画面に収まる面積単位で区切ることによって、１つの画面に収まる時系列情報のまとまりを１つのページとして記録してもよい。あるいは、ページのサイズを可変できるようにしてもよい。この場合、ページのサイズは１つの画面のサイズよりも大きい面積に広げることができるので、画面のサイズよりも大きな面積の手書き文書を一つのページとして扱うことができる。１つのページ全体をディスプレイに同時に表示できない場合は、そのページを縮小するようにしてもよいし、縦横スクロールによってページ内の表示対象部分を移動するようにしてもよい。

図２は、タブレットコンピュータ１０と外部装置との連携動作の例を示している。タブレットコンピュータ１０は、パーソナルコンピュータ１やクラウドと連携することができる。すなわち、タブレットコンピュータ１０は、無線ＬＡＮなどの無線通信デバイスを備えており、パーソナルコンピュータ１との無線通信を実行することができる。さらに、タブレットコンピュータ１０は、インターネット上のサーバ２との通信を実行することもできる。サーバ２はオンラインストレージサービス、他の各種クラウドコンピューティングサービスを実行するサーバであってもよい。

パーソナルコンピュータ１はハードディスクドライブ（ＨＤＤ）のようなストレージデバイスを備えている。タブレットコンピュータ１０は、時系列情報（手書き文書）をネットワーク越しにパーソナルコンピュータ１に送信して、パーソナルコンピュータ１のＨＤＤに記録することができる（アップロード）。タブレットコンピュータ１０とパーソナルコンピュータ１との間のセキュアな通信を確保するために、通信開始時には、パーソナルコンピュータ１がタブレットコンピュータ１０を認証するようにしてもよい。この場合、タブレットコンピュータ１０の画面上にユーザに対してＩＤまたはパスワードの入力を促すダイアログを表示してもよいし、タブレットコンピュータ１０のＩＤなどを自動的にタブレットコンピュータ１０からパーソナルコンピュータ１に送信してもよい。

これにより、タブレットコンピュータ１０内のストレージの容量が少ない場合でも、タブレットコンピュータ１０が多数の時系列情報（手書き文書）あるいは大容量の時系列情報（手書き文書）を扱うことが可能となる。

さらに、タブレットコンピュータ１０は、パーソナルコンピュータ１のＨＤＤに記録されている任意の１以上の時系列情報を読み出し（ダウンロード）、その読み出した時系列情報によって示されるストロークそれぞれの軌跡をタブレットコンピュータ１０のディスプレイ１７の画面に表示することができる。この場合、複数の時系列情報（手書き文書）それぞれのページを縮小することによって得られるサムネイルの一覧をディスプレイ１７の画面上に表示してもよいし、これらサムネイルから選ばれた１ページをディスプレイ１７の画面上に通常サイズで表示してもよい。

さらに、タブレットコンピュータ１０が通信する先はパーソナルコンピュータ１ではなく、上述したように、ストレージサービスなどを提供するクラウド上のサーバ２であってよい。タブレットコンピュータ１０は、時系列情報（手書き文書）をネットワーク越しにサーバ２に送信して、サーバ２のストレージデバイス２Ａに記録することができる（アップロード）。さらに、タブレットコンピュータ１０は、サーバ２のストレージデバイス２Ａに記録されている任意の時系列情報を読み出して（ダウンロード）、その時系列情報によって示されるストロークそれぞれの軌跡をタブレットコンピュータ１０のディスプレイ１７の画面に表示することができる。

このように、本実施形態では、時系列情報が格納される記憶媒体は、タブレットコンピュータ１０内のストレージデバイス、パーソナルコンピュータ１内のストレージデバイス、サーバ２のストレージデバイスのいずれであってもよい。

図３は、タブレットコンピュータ１０のシステム構成を示す図である。
タブレットコンピュータ１０は、図３に示されるように、ＣＰＵ１０１、システムコントローラ１０２、主メモリ１０３、グラフィクスコントローラ１０５、ＢＩＯＳ−ＲＯＭ１０５、不揮発性メモリ１０６、無線通信デバイス１０７、エンベデッドコントローラ（ＥＣ）１０８等を備える。

ＣＰＵ１０１は、タブレットコンピュータ１０内の各種モジュールの動作を制御するプロセッサである。ＣＰＵ１０１は、ストレージデバイスである不揮発性メモリ１０６から主メモリ１０３にロードされる各種ソフトウェアを実行する。これらソフトウェアには、オペレーティングシステム（ＯＳ）２０１、および各種アプリケーションプログラムが含まれている。アプリケーションプログラムには、デジタルノートブックアプリケーションプログラム２０２が含まれている。このデジタルノートブックアプリケーションプログラム２０２は、上述の手書き文書を作成および表示する機能、手書き文書を編集する機能、および文字・図表認識機能等を有している。

また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０５に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。

システムコントローラ１０２は、ＣＰＵ１０１のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ１０２は、ＰＣＩ ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０４との通信を実行する機能も有している。

グラフィクスコントローラ１０４は、本タブレットコンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７Ａを制御する表示コントローラである。このグラフィクスコントローラ１０４によって生成される表示信号はＬＣＤ１７Ａに送られる。ＬＣＤ１７Ａは、表示信号に基づいて画面イメージを表示する。このＬＣＤ１７Ａ上にはタッチパネル１７Ｂおよびデジタイザ１７Ｃが配置されている。タッチパネル１７Ｂは、ＬＣＤ１７Ａの画面上で入力を行うための静電容量式のポインティングデバイスである。指が接触される画面上の接触位置および接触位置の動き等はタッチパネル１７Ｂによって検出される。デジタイザ１７ＣはＬＣＤ１７Ａの画面上で入力を行うための電磁誘導式のポインティングデバイスである。ペン１００が接触される画面上の接触位置および接触位置の動き等はデジタイザ１７Ｃによって検出される。

無線通信デバイス１０７は、無線ＬＡＮまたは３Ｇ移動通信などの無線通信を実行するように構成されたデバイスである。ＥＣ１０８は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。ＥＣ１０８は、ユーザによるパワーボタンの操作に応じて本タブレットコンピュータ１０を電源オンまたは電源オフする機能を有している。

次に、図４を参照して、デジタルノートブックアプリケーションプログラム２０２の機能構成について説明する。

デジタルノートブックアプリケーションプログラム２０２は、ペン軌跡表示処理部３０１、時系列情報生成部３０２、ページ保存処理部３０４、ページ取得処理部３０５、手書き文書表示処理部３０６、および処理部３０８等を備える。

デジタルノートブックアプリケーションプログラム２０２は、タッチスクリーンディスプレイ１７を用いて入力されるストロークデータを使用することによって、手書き文書の作成、表示、編集等を行う。タッチスクリーンディスプレイ１７は、「タッチ」、「移動（スライド）」、「リリース」等のイベントの発生を検出するように構成されている。「タッチ」は、画面上に外部オブジェクトが接触したことを示すイベントである。「移動（スライド）」は、画面上に外部オブジェクトが接触されている間に接触位置が移動されたことを示すイベントである。「リリース」は、画面から外部オブジェクトが離されたことを示すイベントである。

ペン軌跡表示処理部３０１および時系列情報生成部３０２は、タッチスクリーンディスプレイ１７によって発生される「タッチ」または「移動（スライド）」のイベントを受信し、これによって手書き入力操作を検出する。「タッチ」イベントには、接触位置の座標が含まれている。「移動（スライド）」イベントにも、移動先の接触位置の座標が含まれている。したがって、ペン軌跡表示処理部３０１および時系列情報生成部３０２は、タッチスクリーンディスプレイ１７から、接触位置の動きの軌跡に対応する座標列を受信することができる。

ペン軌跡表示処理部３０１は、タッチスクリーンディスプレイ１７から座標列を受信し、この座標列に基づいて、ペン１００等を使用した手書き入力操作によって手書きされる各ストロークの軌跡をタッチスクリーンディスプレイ１７内のＬＣＤ１７Ａの画面上に表示する。このペン軌跡表示処理部３０１により、画面にペン１００が接触している間のペン１００の軌跡、つまり各ストロークの軌跡がＬＣＤ１７Ａの画面上に描かれる。

時系列情報生成部３０２は、タッチスクリーンディスプレイ１７から出力される上述の座標列を受信し、この座標列に基づいて、時系列情報を生成する。この場合、時系列情報、つまりストロークの各点に対応する座標およびタイムスタンプ情報は作業メモリ３２０に一時保存してもよい。

ページ保存処理部３０４は、生成された時系列情報を手書き文書（手書きページ）として記憶媒体３２１に保存する。記憶媒体３２１は、上述したように、タブレットコンピュータ１０内のストレージデバイスや、ネットワークやＵＳＢ等を介したストレージデバイスのいずれであってもよい。

ページ取得処理部３０５は、記憶媒体３２１から既に格納されている任意の時系列情報を読み出す。読み出された時系列情報は手書き文書表示処理部３０６に送られる。手書き文書表示処理部３０６は、時系列情報を解析し、この解析結果に基づいて、時系列情報によって示される各ストロークの軌跡を画面上に手書きページとして表示する。

処理部３０８は、処理対象の時系列情報に対して様々な処理、例えば、筆跡検索処理等を実行することができる。この処理部３０８は、認識処理部３１１を含む。

認識処理部３１１は、表示中の時系列情報（手書きページ）に手書きされた文字列または図形に対して手書き文字認識、手書き図形認識、手書き表認識などの認識処理を実行する。認識処理部３１１は、一定時間毎やページ切り替え操作をトリガとして認識処理を行う。

認識処理部３１１は、認識処理対象の時系列情報によって示される複数のストロークデータをグループ化処理することによって得られる複数のブロック（手書きブロック）の各々を文字認識して、これら複数のブロック内の手書き文字それぞれを文字コードに変換する。グループ化処理では、互いに近傍に位置し且つ連続的に手書きされたストロークにそれぞれ対応するストロークデータ同士が同一ブロックに分類されるように、認識処理対象の時系列情報によって示される複数のストロークデータがグループ化される。

次に、図５のフローチャートを参照して、デジタルノートブックアプリケーションプログラム２０２によって実行される手書きページ作成処理の手順について説明する。

ユーザがペン１００を使用して手書き入力操作を行うと（ステップＳ１１）、「タッチ」や「移動」のイベントが発生される。これらイベントに基づいて、デジタルノートブックアプリケーションプログラム２０２は、ペン１００の動きの軌跡を検出する（ステップＳ１２）。ペン１００の動きの軌跡が検出されたならば（ステップＳ１２のＹＥＳ）、デジタルノートブックアプリケーションプログラム２０２は、検出されたペン１００の動きの軌跡をディスプレイに表示する（ステップＳ１３）。さらに、デジタルノートブックアプリケーションプログラム２０２は、検出されたペン１００の動きの軌跡に対応する座標列に基づいて上述の時系列情報を生成し、その時系列情報を作業メモリ３２０に一時保存する（ステップＳ１４）。

図６は、デジタルノートブックアプリケーションプログラム２０２がＬＣＤ１７Ａに表示する画面である。
画面４００は、手書き文字の入力および表示が行われる表示エリア４０１を有する。表示エリア４０１には、“Ａ”、“Ｂ”、“Ｃ”、“Ｄ”、および“Ｅ”の５文字が表示されている。

表示エリア４０１の下に、新規ページボタン４１１、前ページ移動ボタン４１２、後ページ移動ボタン４１３、ページ位置４１４、消しゴムボタン４１５等のＧＵＩ（Graphic User Interface）等が表示されている。

新規ページボタン４４１は、新たなページを追加するために設けられている。前ページ移動ボタン４１２、および後ページ移動ボタン４１３は、表示エリア４０１に表示されるページを切り替えるために設けられている。切り替える際に、編集中だったページの軌跡データは自動的に保存される。ページ位置４１４は、表示エリア４０１に表示されているページを表示するために設けられている。消しゴムボタン４１５は、入力モードから消去モードに切り替え、ペン１００や指を消しゴムとして使用するために設けられている。

図７は、消しゴムボタン４１５を押下操作し、“Ｅ”を消した状態を示した図である。図７に示すように、消しゴムモード時には、消しゴムボタン４１５の代わりに鉛筆ボタン４１６が表示されている。鉛筆ボタン４１６は、消去モードから入力モードに切り替え、ペン１００や指を鉛筆として使用するために設けられている。なお、図７では、消しゴムによって消去された領域が破線が表示されているが実際には表示されない。

入力モードとは、ユーザが手書きによって任意の軌跡を入力可能なモードである。入力モードで手書き入力される軌跡は背景色とは異なる色で表示される。消去モードとは、ユーザが、既に入力された任意の軌跡の少なくとも一部を削除可能なモードである。消去モードで手書き入力される軌跡は背景色と同じ色で表示される。入力モードと消去モードの切り替えは、消しゴムボタン４１５、鉛筆ボタン４１６に限られず、任意の方法が取りうる。

消去モード時、ペン軌跡表示処理部３０１は、ペン１００または指の軌跡を、背景画像の色と同一な色でＬＣＤ１７Ａに描画する。なお、認識処理部３１１は、ユーザが消した文字を認識処理後に出力対象から除外する。

図８は、手書き文字“Ａ”のストロークを示す図である。図８に示すように、手書き文字“Ａ”は、ストローク６０１とストローク６０２とから構成されている。
図９は、手書き文字“Ａ”のストロークのデータの一例を示す図である。図９に示すように、ストロークのデータは、ページ内のストロークの順番を示す番号、ペンの種類が鉛筆または消しゴムのいずれかであることを示すペン種、ペンダウンの時刻を示す時刻情報、ペンダウンからペンアップまで一定時間毎にサンプリングした座標を示す点情報を有する。ストロークのデータは、上記に限られず、手書き入力される軌跡を表示可能であって、各軌跡が入力されたモードが入力モードか、消去モードかが判別可能な形式であればどのような形式であっても良い。ストロークのデータは、上記に加え、各軌跡が手書き入力された順序を識別可能であっても良い。

図１０は、手書き文字“Ｅ”および消しゴムのストロークを示す図である。図１０に示すように、手書き文字“Ｅ”は、ストローク６０８とストローク６０９とストローク６１０とから構成されている。消しゴムは、ストローク６１１によって構成されている。
図１１は、手書き文字“Ｅ”および消しゴムのストロークのデータを示す図である。図１１に示すように、ストロークのデータは、ページ内のストロークの順番を示す番号、ペンの種類が鉛筆または消しゴムのいずれかであることを示すペン種、ペンダウンの時刻を示す時刻情報、ペンダウンからペンアップまで一定時間毎にサンプリングした座標を示す点情報を有する。ストロークのデータが、ページ内のストロークの順番を示す番号を有することで、各軌跡が手書き入力された順序が識別可能となる。ストロークのデータが、ペンダウンの時刻を示す時刻情報を有することで、鉛筆または消しゴムにかかる各軌跡が入力された時刻が識別可能となり、ユーザが一連に行った作業、ユーザの意図の把握を精度良く行うことができる。

図１１に示すように、消しゴム情報をペンの一種として定義し、消しゴム自体もストロークとして記録されている。

図１２に、図１０の状態で文字認識処理をおこなった場合の結果データを示す。認識処理部３１１は、ユーザからは消したと認識している“Ｅ”についても一度は認識処理を行い、文字としての外接矩形を取得する。認識処理部３１１は、消しゴムの軌跡については文字認識はしないが外接矩形を算出する。認識処理部３１１は、消しゴム矩形よりも時間的に過去で且つ外接矩形領域と重なるブロックに対応する文字は、最終的な文字認識結果の出力から除外する。

図１３は、図１０に示す状態から手書き文字“Ｅ”および消しゴムの軌跡上に手書き文字“Ｆ”を入力した状態を示す図である。
図１３に示すように、消しゴムの軌跡上に新しい手書き文字が入力された場合、認識処理部３１１は、新たに入力された手書き文字に対して文字認識を行う。そして、文字認識された文字コードは、最終的な文字認識結果に含まれる。図１３に示すように、手書き文字“Ｅ”の方が消しゴムの軌跡よりも先に入力される場合には、手書き文字“Ｅ”と消しゴムの軌跡とが交差する領域が、黒によって表示されている。手書き文字“Ｆ”の方が消しゴムの軌跡よりも後に入力される場合には、手書き文字“Ｆ”と消しゴムの軌跡とが交差する領域が、背景色によって表示されている。

図１４は、新たに入力された手書き文字“Ｆ”のストロークデータを示す図である。

図１５は、図１３の状態で文字認識処理をおこなった場合の認識結果データを示す。認識処理部３１１は、新たに手書き入力された “Ｆ”についても認識処理を行い、文字としての外接矩形を取得する。認識処理部３１１は、消しゴム矩形よりも時間的に未来で且つ矩形領域に入る文字は、最終的な文字認識結果の出力に含ませる。

図１６は、文字を認識する手順を示すフローチャートである。
認識処理部３１１は、ｎの値を１、ｍの値を１にする（ステップＢ２１）。認識処理部３１１は、ｍ番目のストロークデータのペン種が消しゴムであるかを判定する（ステップＢ２２）。ｍ番目のストロークデータのペン種が消しゴムであると判定した場合（ステップＢ２２のＮｏ）、認識処理部３１１は、ｍの値をｍ＋１にする（ステップＢ２３）。認識処理部３１１は、ｍ番目のストロークデータが最後のストロークデータで有るかを判定する（ステップＢ２４）。最後のストロークデータではないと判定した場合（ステップＢ２４のＮｏ）、認識処理部３１１は、ステップＢ２２からの処理を順次実行する。

最後のストロークデータであると判定した場合、認識処理部３１１は、ｎ番目のストロークデータからｍ番目のストロークデータを用いてグループ化処理を行う（ステップＢ２５）。そして、認識処理部３１１は、グループ化処理によって得られる複数のブロック各々を文字認識して、これら複数のブロック内の手書き文字それぞれを文字コードに変換する（ステップＢ２６）。

ステップＢ２２において、ｍ番目のストロークデータのペン種が消しゴムであると判定した場合（ステップＢ２２のＹｅｓ）、認識処理部３１１は、ｎ番目のストロークデータからｍ−１番目のストロークデータを用いてグループ化処理を行う（ステップＢ２７）。そして、認識処理部３１１は、グループ化処理によって得られる複数のブロック各々を文字認識して、これら複数のブロック内の手書き文字それぞれを文字コードに変換する（ステップＢ２８）。

認識処理部３１１は、全ての認識結果から、ｍ番目のストロークデータの入力前に入力され、ｍ番目のストロークデータの外接矩形領域と重なるブロックに対応する文字を削除する（ステップＢ２９）。認識処理部３１１は、ｎの値をｎ＋１にし、ｍの値をｍ＋１にする（ステップＢ３０）。ｍ番目のストロークデータが最後のストロークデータで有るかを判定する（ステップＢ３１）。最後のストロークデータではないと判定した場合（ステップＢ３１のＮｏ）、認識処理部３１１は、ステップＢ２２からの処理を順次実行する。最後のストロークデータではあると判定した場合（ステップＢ３２のＮｏ）、認識処理部３１１は、処理を終了する。

なお、上述の筆跡検索処理および認識処理（文字認識処理、図形認識処理、表認識処理）は、タブレットコンピュータ１０と連携して動作する、パーソナルコンピュータ１またはインターネット上のサーバ２によって実行してもよい。また、上述の選択処理も、パーソナルコンピュータ１またはサーバ２によって実行してもよい。

タブレットコンピュータ１０は、入力モードの場合、手書きにより入力される第１の軌跡を、背景と同じ色（第１の色）と異なる第２の色によって表示し、消去モードの場合、手書きにより入力される第２の軌跡を、第１の色によって表示できる。タブレットコンピュータ１０は、第１の軌跡に対応する第１ストロークデータと、第２の軌跡に対応する第２ストロークデータとを記憶する際に、第１の軌跡と第２の軌跡の入力時の入力モード、消去モードを識別可能とし、また、第１の軌跡と第２の軌跡の入力順序を識別可能に記憶できる。このようにすることで、タブレットコンピュータ１０は、第１ストロークデータと第２ストロークデータとを読み出した後、第１の軌跡の方が第２の軌跡よりも後に入力される場合には第１の軌跡と第２の軌跡とが交差する領域を第２の色とし、第１の軌跡の方が第２の軌跡よりも先に入力される場合には、第１の軌跡と第２の軌跡とが交差する領域を第１の色として表示可能となる。手書き入力された跡を消す場合に、紙に筆記された跡を消しゴムで消す時の操作感を実現することが可能である。

本実施形態によれば、認識処理後、その文字が持つ外接矩形に消しゴムストロークが接触した場合に認識結果を消すため、消し忘れの点などの構成ストロークが誤認識することを防げる。また、ストローク自体を削除しないため、消しゴムの使用感を維持することが可能になる。

上記実施形態では、タブレットコンピュータ１０は、表示装置としてタッチスクリーンを有していたが、タッチスクリーンを有していなくても良い。例えば、タブレットコンピュータ１０は、コンピュータに画面上の接触位置を検出する機能を有しない外部表示装置を接続すると共に、デジタイザ等のペンタブレットを接続する形態であっても良い。タブレットコンピュータ１０は、手書き入力に係るストロークデータを、サーバから取得する形態であっても良い。

本実施形態の手書き文書に対する各種処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムをタッチスクリーンディスプレイを備えた通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…タブレットコンピュータ（電子機器）、１７…タッチスクリーンディスプレイ、１７Ａ…ＬＣＤ、１７Ｂ…タッチパネル、１７Ｃ…デジタイザ、１００…ペン、１０１…ＣＰＵ、２０１…オペレーティングシステム、２０２…デジタルノートブックアプリケーションプログラム、３０１…ペン軌跡表示処理部、３０２…時系列情報生成部、３０４…ページ保存処理部、３０５…ページ取得処理部、３０６…手書き文書表示処理部、３０８…処理部、３１１…認識処理部。

Claims (5)

1. 入力モードの場合、手書きにより入力される軌跡を、背景と同じ第１の色とは異なる第２の色によって表示し、消去モードの場合、手書きにより入力される軌跡を、前記第１の色によって表示する表示処理手段と、
   入力モードの場合に手書きにより入力される第１軌跡に対応する第１ストロークデータと、前記第１軌跡の入力の後に入力され消去モードの場合に手書きにより入力される第２軌跡に対応する第２ストロークデータと、前記第２軌跡の入力の後に入力され入力モードの場合に手書きにより入力される第３軌跡に対応する第３ストロークデータとを、軌跡の入力順を識別可能に記録可能な記録手段と、
   前記第１ストロークデータと前記第２ストロークデータと前記第３ストロークデータとを用いて、前記第１軌跡又は前記第３軌跡の少なくとも一部に対応する文字の文字コードを取得する取得手段と
   を具備し、
   前記第１軌跡と前記２軌跡とが少なくとも一部重複し、かつ前記第２軌跡と前記第３軌跡とが少なくとも一部重複する場合に、前記第３軌跡に対応する文字の文字コード、または前記第３軌跡と前記第１軌跡の少なくとも一部とに対応する文字の文字コードの少なくとも一方を取得可能である
   電子機器。
2. 前記表示処理手段は、前記第１ストロークデータと前記第２ストロークデータと前記第３ストロークデータとに基づいて軌跡を表示する場合、前記第１軌跡と前記第２軌跡と前記第３軌跡との入力順に応じて、前記第１軌跡と前記第２軌跡とが交差する領域を、前記第１の色により表示し、前記第１軌跡と前記第２軌跡と前記第３軌跡とが交差する領域を、前記第２の色により表示する請求項１に記載の電子機器。
3. 入力モードの場合、手書きにより入力される軌跡を、背景と同じ第１の色とは異なる第２の色によって表示し、
   消去モードの場合、手書きにより入力される軌跡を、前記第１の色によって表示し、
   入力モードの場合に手書きにより入力される第１軌跡に対応する第１ストロークデータと、前記第１軌跡の入力の後に入力され消去モードの場合に手書きにより入力される第２軌跡に対応する第２ストロークデータと、前記第２軌跡の入力の後に入力され入力モードの場合に手書きにより入力される第３軌跡に対応する第３ストロークデータとを、軌跡の入力順を識別可能に記録し
   前記第１ストロークデータと前記第２ストロークデータと前記第３ストロークデータとを用いて、前記第１軌跡又は前記第３軌跡の少なくとも一部に対応する文字の文字コードを取得するものであって、
   前記第１軌跡と前記２軌跡とが少なくとも一部重複し、かつ前記第２軌跡と前記第３軌跡とが少なくとも一部重複する場合に、前記第３軌跡に対応する文字の文字コード、または前記第３軌跡と前記第１軌跡の少なくとも一部とに対応する文字の文字コードの少なくとも一方を取得可能である
   手書き文書処理方法。
4. コンピュータに、
   入力モードの場合、手書きにより入力される軌跡を、背景と同じ第１の色とは異なる第２の色によって表示する手順と、
   消去モードの場合、手書きにより入力される軌跡を、前記第１の色によって表示する手順と、
   入力モードの場合に手書きにより入力される第１軌跡に対応する第１ストロークデータと、前記第１軌跡の入力の後に入力され消去モードの場合に手書きにより入力される第２軌跡に対応する第２ストロークデータと、前記第２軌跡の入力の後に入力され入力モードの場合に手書きにより入力される第３軌跡に対応する第３ストロークデータとを、軌跡の入力順を識別可能に記録する手順と、
   前記第１ストロークデータと前記第２ストロークデータと前記第３ストロークデータとを用いて、前記第１軌跡又は前記第３軌跡の少なくとも一部に対応する文字の文字コードを取得する手順と
   を実行させるものであって、
   前記第１軌跡と前記２軌跡とが少なくとも一部重複し、かつ前記第２軌跡と前記第３軌跡とが少なくとも一部重複する場合に、前記第３軌跡に対応する文字の文字コード、または前記第３軌跡と前記第１軌跡の少なくとも一部とに対応する文字の文字コードの少なくとも一方を取得可能である
   プログラム。
5. 前記第１ストロークデータと前記第２ストロークデータと前記第３ストロークデータとに基づいて軌跡を表示する場合、前記第１軌跡と前記第２軌跡と前記第３軌跡との入力順に応じて、前記第１軌跡と前記第２軌跡とが交差する領域を、前記第１の色により表示し、前記第１軌跡と前記第２軌跡と前記第３軌跡とが交差する領域を、前記第２の色により表示する手順を前記コンピュータに実行させるための請求項４に記載のプログラム。

Images