Nothing Special   »   [go: up one dir, main page]

JP4314502B2 - 情報処理装置及び情報処理方法 - Google Patents

情報処理装置及び情報処理方法 Download PDF

Info

Publication number
JP4314502B2
JP4314502B2 JP15059799A JP15059799A JP4314502B2 JP 4314502 B2 JP4314502 B2 JP 4314502B2 JP 15059799 A JP15059799 A JP 15059799A JP 15059799 A JP15059799 A JP 15059799A JP 4314502 B2 JP4314502 B2 JP 4314502B2
Authority
JP
Japan
Prior art keywords
character string
application
unit
extraction
cpu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP15059799A
Other languages
English (en)
Other versions
JP2000339401A (ja
Inventor
雅宏 藤原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP15059799A priority Critical patent/JP4314502B2/ja
Priority to US09/569,251 priority patent/US7428569B1/en
Publication of JP2000339401A publication Critical patent/JP2000339401A/ja
Application granted granted Critical
Publication of JP4314502B2 publication Critical patent/JP4314502B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Character Discrimination (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は情報処理装置及び情報処理方法に関し、例えばパーソナルコンピュータに適用して好適なものである。
【0002】
【従来の技術】
従来、パーソナルコンピュータ(以下、これをコンピュータ装置と呼ぶ)は内部のハードディスクに格納された例えばウィンドウズ98(商標)等のOS(Operating System)に基づいてシステム全体を管理しており、当該OSを介してアプリケーションソフトウェア(以下、これをアプリケーションと呼ぶ)を起動させることにより所望の処理を実行するようになされている。
【0003】
このようなコンピュータ装置のOSにおいては、ユーザの使い勝手の向上のために種々様々なユーザインターフェースが開発されており、例えば所定の情報やプログラムが格納されているファイルの拡張子(.COMや.DOC等)に対して当該ファイルを参照するために必要なアプリケーションを関連付けることにより、ファイルを単位としたデータ及びアプリケーション間の連携や、データのアプリケーションへの埋め込みが実現されている。
【0004】
また最近では、文字列抽出システム (特願平09-305351)と呼ばれるプログラムを一部に含んだアプリケーションが提案されており、当該アプリケーションを用いた場合にはファイル内のテキストデータのうち所望の文字列(例えば英単語)が画面上のカーソルによって指定されると、前後のスペースやピリオド等の終端文字で挟まれた部分を指定された英単語として抽出し、辞書アプリケーションによってその英単語の意味を検索してカーソル近傍に表示することが行われている。
【0005】
【発明が解決しようとする課題】
ところでかかる構成のコンピュータ装置においては、ファイルを単位としたデータ及びアプリケーション間の連携を行うことはできるが、ファイルを構成しているテキストデータのうち指定された文字列が表す情報の種類(例えば住所、電話番号又は電子メールアドレス等)を判別することができず、このため情報の種類毎にそれぞれ関連したアプリケ−ションと文字列の情報とを連携させることは困難であった。
【0006】
例えば図18に示すように、アプリケーション画面上の文字列「Phone:03-5448-○△△×」にカーソルが重ねられたときに、マウスを右クリックしても通常のポップアップメニューPM1が表示されるだけであり、文字列の種類である電話番号に関連したアプリケーションと文字列の情報とを連携させるには、煩雑な操作を行わなければならなかった。
【0007】
すなわちコンピュータ装置においては、カーソルが重ねられた部分を電話番号としてではなく単なる文字列として認識するだけであり、この文字列の情報である電話番号を他のアプリケーションで利用する場合、OSのコピー機能を用いて電話番号のデータを一旦クリップボードに保存した後、電話番号を利用するアプリケーションを起動させて該当する箇所に電話番号のデータを貼り付けるカットアンドペースト操作を実行しなければならず、操作が煩雑で面倒であるという問題があった。
【0008】
また文字列抽出システムを一部に含んだアプリケーションを搭載したコンピュータ装置においては、ファイルを構成しているテキストデータのうち英単語を文字列として抽出し、当該抽出した文字列に対して予め関連付けられた辞書アプリケーションを連携させて英単語の意味を検索することはできるが、文字列が表す情報の種類を判別することはできなかった。このためコンピュータ装置では、文字列が例えば住所又は電話番号あるいは電子メールアドレス等であったときに、それぞれに関連したアプリケーション(例えば住所に対応する地図上の場所を表示するためのアプリケーション、電話をかけるためのアプリケーション、電子メールを送信するためのアプリケーション)と文字列の情報とを連携させることは困難であった。
【0009】
本発明は以上の点を考慮してなされたもので、ユーザによる簡単な操作だけで文字列を解析して所望の処理を実行し得る一段と操作性に優れた情報処理装置及び情報処理方法を提案しようとするものである。
【0010】
【課題を解決するための手段】
かかる課題を解決するため本発明において情報処理装置は、複数のアプリケーションを記憶する記憶手段と、画像を撮像する撮像手段によって得られた画像データを取得する取得手段と、画像データから文字列及び上記文字列に対応するアプリケーションを特定するための特定情報を抽出する抽出手段と、当該抽出手段によって抽出された文字列を画像データと共に所定の表示手段に表示する表示制御手段と、記憶手段を参照し、表示手段に表示されている文字列の中から選択された文字列に対応する特定情報に基づいてアプリケーションを起動させ、抽出手段により抽出された文字列についてアプリケーションによる所定の処理を実行させるアプリケーション処理手段とを設けるようにする。
これにより、撮像手段によって撮像された画像から文字列及び当該文字列に対応したアプリケーションを特定するための特定情報を抽出し、この文字列を表示することにより画像から何の文字列が抽出されたのかをユーザに対して目視確認させたうえで、任意の文字列がユーザによって選択されたとき、その特定情報に対応したアプリケーションを起動させて文字列に対する所定の処理を実行させることができるので、ユーザに対して画像を撮像させ、抽出された文字列を選択させるだけの簡易な操作により、画像から文字列を選択して当該文字列に対する所定のアプリケーション処理を行わせるまでの一連の処理を自動的に実行することができる。
【0011】
また本発明において情報処理方法は、画像を撮像する撮像手段によって得られた画像データを取得手段によって取得する取得ステップと、画像データから文字列及び文字列に対応するアプリケーションを特定するための特定情報を抽出手段によって抽出する抽出ステップと、抽出手段によって抽出された文字列を表示制御手段によって画像データと共に所定の表示手段に表示する表示制御ステップと、アプリケーション処理手段によって、記憶手段を参照し、表示手段に表示されている文字列の中から選択された文字列に対応する特定情報に基づいてアプリケーションを起動させ、抽出手段により抽出された文字列についてアプリケーションによる所定の処理を実行させるアプリケーション処理ステップとを有するようにする。
これにより、撮像手段によって撮像された画像から文字列及び当該文字列に対応したアプリケーションを特定するための特定情報を抽出し、この文字列を表示することにより画像から何の文字列が抽出されたのかをユーザに対して目視確認させたうえで、任意の文字列がユーザによって選択されたとき、その特定情報に対応したアプリケーションを起動させて文字列に対する所定の処理を実行させることができるので、ユーザに対して画像を撮像させ、抽出された文字列を選択させるだけの簡易な操作により、画像から文字列を選択して当該文字列に対する所定のアプリケーション処理を行わせるまでの一連の処理を自動的に実行することができる。
【0013】
【発明の実施の形態】
以下図面について、本発明の一実施の形態を詳述する。
【0014】
(1)コンピュータ装置の外観構成
図1において、1は全体として本発明の情報処理装置を構成する携帯型パーソナルコンピュータ装置(以下、これをコンピュータ装置と呼ぶ)を示し、この場合B5サイズ以下の持ち運び易いノート型パーソナルコンピュータである。
【0015】
このコンピュータ装置1は、本体2と当該本体2に対して開閉自在に取り付けられた表示部3とによって構成されている。本体2には、上面に各種文字や記号及び数字等を入力する複数の操作キー4、表示部3に表示されるカーソルを移動するときに操作するスティック式ポインティングデバイス5、内蔵スピーカ6、表示部3に設けられたCCD(Charge Coupled Device) カメラ23によって画像を撮像するときに操作するシャッタボタン7が設けられている。
【0016】
表示部3の正面には、LCD(Liquid Crystal Display)でなる液晶ディスプレイ21が設けられており、正面の中央上端部にCCDカメラ23を備えた撮像部22が表示部3に対して回動自在に取り付けられている。
【0017】
すなわち撮像部22は、表示部3の正面方向及び背面方向との間の180度の角度範囲内で回動して任意の位置に位置決めし得るようになされている。また撮像部22には、図2に示すようにCCDカメラ23のフォーカス調整を行う調整リング25が設けられており、CCDカメラ23によって撮像対象を撮像する際のピント調整を調整リング25の回転動作によって容易に実行している。
【0018】
また表示部3(図1)の正面には、撮像部22の左隣にマイクロフォン24が設けられており、当該マイクロフォン24を介して表示部3の背面側(図5)からも集音し得るようになされている。
【0019】
また表示部3における正面の中央下端部には、LED(Light Emitting Diode)でなる電源ランプPL、電池ランプBL、メッセージランプML及びその他の種々の用途に対応したランプが設けられている。
【0020】
さらに表示部3の正面上端部には、マイクロフォン24の左隣にツメ13が設けられると共に、当該ツメ13と対応する本体2の所定位置に孔部8が設けられており、表示部3を本体2に閉塞した状態でツメ13が孔部8に嵌合されてロックするようになされている。
【0021】
本体2の正面には、図2に示すようにスライドレバー9が設けられており、当該スライドレバー9を正面に沿って矢印方向にスライドすることにより、孔部8に嵌合されたツメ13のロックを解除して表示部3を本体2に対して展開し得るようになされている。
【0022】
また本体2の正面には、1回のボタン操作で電源オンから所定のアプリケーションソフトウェア(以下、これを単にアプリケーションと呼ぶ)を立ち上げて予め設定しておいた一連の動作を自動的に実行するためのプログラマブルパワーキー(PPKキー)10が左端部に設けられると共に、右端部に複数の吸気孔11が設けられている。
【0023】
本体2の左側面には、図3に示すようにスライド式の電源スイッチ40、4ピン対応のIEEE(Institute of Electrical and Electronics Engineers) 1394端子41、USB(Universal Serial Bus)端子42、マイクロフォン用入力端子43、ヘッドフォン端子44及びIrDA(Infrared Data Association) 準拠の赤外線ポート45が設けられている。
【0024】
本体2の右側面には、図4に示すように排気孔12が設けられており、当該排気孔12の右隣にはPCMCIA(Personal Computer Memory Card International Association) カード(以下、これをPCカードと呼ぶ)を挿入するためのPCカードスロット13が設けられている。
【0025】
また本体2の下面には、図5に示すように増設メモリを取り付けるための開口部25を被覆する蓋26が取り付けられると共に、当該蓋26のロック用ツメを外すためのピン挿入用孔48が設けられている。
【0026】
(2)コンピュータ装置の回路構成
図6に示すように本体2においては、起動シーケンス制御部83のPCI(Peripheral Component Interconnect) バス51に、CPU(Central Processing Unit) 52、PC(Personal Computer) カードスロット13、RAM(Random Access Memory)54、表示部3の液晶ディスプレイ21に表示する画像を生成するためのグラフィックス処理回路55及び他のコンピュータ装置や外部機器と接続してディジタルデータを取り込むためのIEEE1394端子41に直結されたIEEEインターフェース56が接続されている。
【0027】
CPU52は、本体2における各種機能を統括的に制御するコントローラであり、RAM54にロードされた各種プログラムやアプリケーションを実行することにより各種機能を実行し得るようになされている。
【0028】
PCIバス51は、ISA(Industrial Standard Architecture)バス59に接続されており、当該ISAバス59にはハードディスクドライブ60、I/O(In/Out)コントローラ61、キーボードコントローラ62、ポインティングデバイスコントローラ63、サウンドチップ64、LCDコントローラ65、モデム66及びUSBインターフェース67が接続されている。
【0029】
ここでキーボードコントローラ62は、操作キー4(図1)の押下に応じた制御信号の入力をコントロールし、ポインティングデバイスコントローラ63はスティック式ポインティングデバイス5(図1)による制御信号の入力をコントロールする。
【0030】
またサウンドチップ64は、マイクロフォン24(図1)からの音声入力を取り込み又は内蔵スピーカ6(図1)に対して音声信号を供給し、モデム66は公衆電話回線90、インターネットサービスプロバイダ(以下、これをプロバイダと呼ぶ)91を介してインターネット92やメールボックス93Aを有したメールサーバ93に接続する。なおUSBインターフェース67は、USB端子42に接続されており、USBマウスやフロッピーディスクドライブ等の周辺機器を接続するようになされている。
【0031】
ハードディスクドライブ60には、CCDカメラ23を介して静止画像を取り込むためのキャプチャーソフトウェア60A、地図検索を行うためのディジタル地図ソフトウェア60B及びWindows98(商標) でなるOS(Operating System)60Cや各種アプリケーションソフトウェア(図示せず)が格納されており、必要に応じてCPU52によって読み出されてRAM54にロードされる。
【0032】
I/Oコントローラ61は、I/Oインターフェース69、CPU70、EEPROM(Electrically Erasable and Programmable Read Only Memory) でなるROM(Read Only Memory)71及びRAM72が相互に接続されて構成されており、RTC(Real-Time Clock) 81によって現在時刻が常時供給されている。
【0033】
I/Oコントローラ61のROM71には、BIOS(Basic Input/Output Sustem) 73、ウェイクアッププログラム74、キー入力監視プログラム75及びLED制御プログラム76が格納されると共に、RAM72にはキー入力ステイタスレジスタ77、設定時刻レジスタ78、LED制御レジスタ79及びキー対応アプリケーションレジスタ80が設けられている。
【0034】
RAM72に格納されているキー入力ステイタスレジスタ77は、操作キーフラグを格納し得るようになされており、CPU70はキー入力監視プログラム75に基づいてワンタッチ操作用のPPKキー10(図2)が押下されたか否かを監視し、当該PPKキー10が押下されるとキー入力ステイタスレジスタ77に操作キーフラグを格納する。
【0035】
また設定時刻レジスタ78は、ユーザが予め任意に設定した開始時刻等の時間情報を格納し得るようになされており、CPU70はウェイクアッププログラム74に基づいてRTC81から与えられる現在時刻が任意に設定した開始時刻になったか否かを検出し、開始時刻になると所定の処理を実行する。
【0036】
さらにキー対応アプリケーションレジスタ80は、PPKキー10や予め設定された操作キー4の組み合わせに対応して、PPKキー10や複数の組み合わせでなる操作キー4と起動すべきアプリケーションとの対応関係を記憶しており、CPU70はPPKキー10や予め設定された組み合わせの操作キー4が押下されたときに、対応するアプリケーションを立ち上げるための制御データをISAバス59及びPCIバス51を順次介してCPU52に送出し、当該CPU52によって制御データに応じたアプリケーションを立ち上げる。
【0037】
またLED制御レジスタ79は、キー対応アプリケーションレジスタ80に記憶したアプリケーションが立ち上げられて動作が終了すると終了フラグを格納し、CPU70はLED制御プログラム76に基づいてLED制御レジスタ79に終了フラグが格納されていることを検出すると、メッセージランプMLを点灯する。
【0038】
なおLED制御レジスタ79は、電源スイッチ40が押下されると電源フラグを格納し、バッテリから供給される電源電圧で本体2が動作するときには電池フラグを格納する。従ってCPU70は、LED制御プログラム76に基づいて電源フラグ又は電池フラグが格納されていることを検出すると、電源ランプPL及び電池ランプBLを点灯する。
【0039】
ここでI/Oコントローラ61には、バックアップ用のバッテリ82が接続されていることにより、本体2の電源スイッチ40がオフで図示しない電源から電力の供給がなされていない状態でもRAM72のキー入力ステイタスレジスタ77、設定時刻レジスタ78、LED制御レジスタ79及びキー対応アプリケーションレジスタ80の各データを保持するようになされている。
【0040】
またI/Oコントローラ61に接続された反転スイッチ88は、撮像部22(図1)が表示部3の液晶ディスプレイ21の反対側を撮像する方向に180度回転されたときオンされ、その状態をCPU70に通知する。またPPKキー10も、反転スイッチ88が押下されたときと同様に、その状態をCPU70に通知する。
【0041】
さらに半押しスイッチ86は、本体2の上面に設けられたシャッタボタン7が半押し状態にされたときオンしてその状態をI/Oコントローラ61のCPU70に通知し、全押しスイッチ87はシャッタボタン7が全押し状態にされたときオンしてその状態をI/Oコントローラ61のCPU70に通知するようになされている。
【0042】
すなわちI/Oコントローラ61のCPU70は、ハードディスクドライブ60のキャプチャーソフトウェア60Aを立ち上げた状態で、ユーザによってシャッタボタン7が半押し状態にされると静止画像モードに入り、CCDカメラ23を制御して静止画像のフリーズを実行し、全押し状態にされるとフリーズされた静止画像データを取り込み、データ処理部85に送出する。
【0043】
これに対してI/Oコントローラ61のCPU70は、キャプチャーソフトウェア60Aを立ち上げない状態で動画像モードに入ると、最大60秒程度までの動画像を取り込み、データ処理部85に送出する。
【0044】
またI/Oコントローラ61は、PCIバス51に接続されているグラフィックス処理回路55を制御するようになされており、CCDカメラ23によって取り込まれた静止画又は動画でなる画像データをデータ処理部85によって所定のデータ処理を施した後にグラフィックス処理回路55に入力する。
【0045】
グラフィックス処理回路55は、供給された画像データを内蔵のVRAM(Video Random Access Memory)55Aに格納して適宜読み出した後LCDコントローラ65に送出し、必要に応じてハードディスクドライブ60に格納する。
【0046】
LCDコントローラ65は、表示部3のバックライト84を制御して液晶ディスプレイ21の後方から照明すると共に、グラフィックス処理回路55から供給された画像データを液晶ディスプレイ21に出力して表示させるようになされている。
【0047】
一方、CPU52はハードディスクドライブ60から読み出したディジタル地図ソフトウェア60BをRAM54上に立ち上げた場合、当該ディジタル地図ソフトウェア60Bによる地図データをグラフィックス処理回路55に送出する。
【0048】
このときグラフィックス処理回路55は、供給された地図データに基づいて液晶ディスプレイ21に表示する地図画像データを生成してVRAM55Aに格納し、適宜読み出してLCDコントローラ65に送出する。
【0049】
これによりLCDコントローラ65は、グラフィックス処理回路55から供給された地図画像データに基づいて表示部3の液晶ディスプレイ21に地図画像を表示させるようになされている。
【0050】
またPCIバス51に接続されているPCカードスロット13は、オプション機能を追加するときにPCカード(図示せず)を介して適宜装着され、当該PCカードを介してCPU52とデータを授受するようになされている。例えばPCカードスロット13にPCMCIA型のGPS(Global Positioning System) カード57が装着された場合、当該GPSカード57に接続されるGPSアンテナ58によりGPS衛星からの電波を受信して現在位置データを得るようになされている。
【0051】
これによりGPSカード57は、GPSアンテナ58を介して受信した現在位置データ(緯度データ、経度データ及び高度データ)をPCIバス51を介してCPU52へ送出する。
【0052】
この場合CPU52は、現在位置データをグラフィックス処理回路55に送出し、当該グラフィックス処理回路55により現在位置データに基づく現在位置を示す矢印アイコンを生成した後、LCDコントローラ65を介して液晶ディスプレイ21の地図画像に矢印アイコンを重ねた状態で表示するようになされている。
【0053】
かくして液晶ディスプレイ21は、GPSカード57によって検出した位置データを基に矢印アイコンを地図画像上で移動させながら表示し得るようになされている。
【0054】
(3)本発明におけるOS上で動作するアプリケーションプログラムの構成
ここでハードディスクドライブ60のハードディスクに格納され、起動時にRAM54へロードされるOSは、各種システム機能を呼び出すためのシステム関数群からなる図示しないAPI(Application Program Interface) を備えており、CPU52によりAPIを介してOS上でアプリケーションプログラム(以下、これを単にアプリケーションと記述する)を起動することにより、液晶ディスプレイ21にアプリケーション画面を表示する。
【0055】
また、OS上で動作する各種アプリケーションによって後述する文字列解析連携システムが構成されており、当該文字列解析連携システムでは各種アプリケーションがデータを授受して連携動作することによって文字列解析連携機能を有するようになされている。
【0056】
従ってCPU52が文字列解析連携システムにおける各種アプリケーションに従って処理を行うことにより、ユーザが注目する文字列を抽出し、当該抽出した文字列が表す情報の種類(例えば、抽出した文字列が住所、電話番号、郵便番号又は緯度経度を表すマップコード等のいずれであるか)を判別すると共に、当該判別した文字列の情報そのもの(住所、電話番号、郵便番号又はマップコード)を求め、これを文字列の種類に関連したアプリケーションに供給して連携させるようになされている。次に、この文字列解析連携システムの構成について説明する。
【0057】
図7に示すように、文字列解析連携システム100において文字列読取部104、文字列取込部101、文字列解析部102、解析結果表示部103、ディスパッチ部105及び連携処理部106は、OS上で各々並列に動作する各種アプリケーションによって構成されている。
【0058】
すなわち、ここでは各アプリケーション毎のモジュールを便宜上、文字列読取部104、文字列取込部101〜解析結果表示部103及びディスパッチ部105、連携処理部106にそれぞれ分けて説明しており、各モジュール毎の処理についてはCPU52が行っている。
【0059】
ここで文字列読取部104においては、画像中の文字列をテキストデータとして読み取るサイバークリップ(商標)301と呼ばれるアプリケーションに従ってCPU52が文字列読取処理を実行する。
【0060】
また文字列取込部101〜解析結果表示部103及びディスパッチ部105においては、文字列の解析及び供給処理を行うアドレスキャッチャ(商標)302と呼ばれるアプリケーションに従って、CPU52が文字列の解析及び供給処理を実行する。
【0061】
さらに連携処理部106においては、供給された文字列データD2に該当する地図上の地点を検索して表示するナビンユー(商標)302と呼ばれるアプリケーション(ディジタル地図ソフトウェア60B)に従ってCPU52が地点検索処理を実行する。
【0062】
実際上、文字列読取部104においては、CCDカメラ23によって撮像された画像中の文字列を読み取る。
【0063】
そして文字列取込部101においては、読み取られた文字列を監視しており、当該文字列にカーソルが合わせられて指定されると、これを文字列D1として取り込み、文字列解析部102に送出する。ここで文字列読取部104による文字列の具体的な読取方法及び文字列取込部101による文字列の具体的な取込方法については後述する。
【0064】
文字列解析部102は、例えば住所データベース、電話番号データベース、郵便番号データベース及びマップコードデータベースや、これ以外の種々のデータベースを含む解析用データベース102Aと接続されており、文字列取込部101から供給された文字列D1と解析用データベース102Aから読み出したデータとを比較参照する。
【0065】
これにより文字列解析部102は、供給された文字列D1が表す情報の種類(住所、電話番号、郵便番号又はマップコード)を判別し、当該種類に対応した種類IDを生成した後、文字列D1が表す情報そのものである文字列データD2(住所、電話番号、郵便番号又はマップコードのデータそのもの)を取り出し、種類IDと文字列データD2とを解析結果表示部103に送出する。
【0066】
解析結果表示部103は、文字列解析部102から供給された種類ID及び文字列データD2に基づいて情報の種類と文字列データD2とを含む所定の解析結果画面(後述する)を生成して液晶ディスプレイ21に表示することにより、ユーザに対して文字列D1が表す情報の種類を認識させ得るようになされている。
【0067】
そして解析結果表示部103は、解析結果画面の中に表示されている検索実行ボタン(後述する)がユーザによってクリックされたとき、保持している種類ID及び文字列データD2をディスパッチ部105に送出する。
【0068】
ディスパッチ部105は、解析結果表示部103から供給された種類IDに関連したディジタル地図ソフトウェア60B(ナビンユー303)をハードディスクドライブ60により読み出してRAM54上で立ち上げた後、文字列データD2をディジタル地図ソフトウェア60Bに供給するようになされている。
【0069】
連携処理部106は、ディスパッチ部105によって起動されたディジタル地図ソフトウェア60Bに文字列データD2が供給されたので、ディジタル地図ソフトウェア60Bと文字列データD2とを連携させる。
【0070】
これにより連携処理部106は、ディジタル地図ソフトウェア60B(ナビンユー303)に従って解析結果の文字列データD2(住所、電話番号、郵便番号又はマップコードのデータ)に該当する地図上の地点を検索し、当該検索した地点を含む地図画面を生成して液晶ディスプレイ21に表示するようになされている。
【0071】
(3−1)CCDカメラで撮影された画像中の文字列の解析処理及びアプリケーションとの連携処理
実際上図8に示すようにコンピュータ装置1では、表示部3の撮像部22(図1)を液晶ディスプレイ21の背面方向に向け、ユーザの手に保持された例えば名刺110と撮像部22のCCDカメラ23(図示せず)とが対向した状態でシャッタボタン7が押下されると名刺110を撮像する。なお、ここでは名刺110を用いているが、書籍や葉書等の文字が記入されたものであれば何でも構わない。
【0072】
このときコンピュータ装置1は、CCDカメラ23によって撮像される名刺110の画像をデータ処理部85(図6)、グラフィックス処理回路55及びLCDコントローラ65を介して液晶ディスプレイ21のアプリケーション画面中に図9に示すようなクリップ画面410として表示する。
【0073】
このクリップ画面410には、CCDカメラ23で撮像中の名刺110を映したファインダ形状のファインダ表示領域411、CCDカメラ23を介して読み取った文字列D1を新しい順に上から登録して表示する読取履歴欄412、読取モードの切換を行うオートモードボタン413、マニュアルモードボタン414が設けられている。
【0074】
クリップ画面410において、ユーザはオートモードボタン413によってオートモードを選択し、ファインダ表示領域411のほぼ中央の認識枠411Aの中に読み取りを希望する文字列(「03-5448-○△△×」)をセットすると共に、調整リング25(図2)を介してフォーカス調整を行う。
【0075】
このとき情報種類対応システム100の文字列読取部104は、認識枠411Aの中にセットされた画像中の文字列(「03-5448-○△△×」)を例えばOCR(Optical Character Reader)装置によって認識して読み取り、これを文字列D1として読取履歴欄412に登録して表示する。
【0076】
また文字列読取部104は、読み取った文字列D1(「03-5448-○△△×」)を読取履歴欄412の最上段に登録して表示する。さらに文字列読取部104は、クリップ画面410の外にカーソル409が位置していた場合、当該カーソル409を文字列D1上に自動的に移動して合わせるようになされている。この場合、カーソル409は文字列D1の先頭(左端)の文字である「0」の左隣に移動され、この状態で文字列D1に重ねられたものとして認識される。
【0077】
また図9のクリップ画面410において、さらに別の文字列D1が読み取られて読取履歴欄412の最上段に追加された場合、カーソル409の位置は移動せず、直前に読み取られた文字列D1(「03-5448-○△△×」)が最上段から1段下がって表示され、最新の別の文字列D1上にカーソル409が位置することになる。すなわちカーソル409は、結果的に直前に読み取られた文字列D1(「03-5448-○△△×」)に対して相対的に移動したことになる。
【0078】
因みにクリップ画面410においては、マニュアルモードボタン414によってマニュアルモードを選択することが可能であり、この場合ファインダ表示領域411のほぼ中央の認識枠411Aをドラッグすることにより認識枠411Aの大きさを変更したり、認識枠411Aの位置を変更することができる。
【0079】
ユーザは、認識枠411Aの中に文字列D1をセットしてフォーカス調整を行い、この状態でロックボタン415をクリックすることで認識すべき文字列D1を固定させ、次にクリップボタン416をクリックすることにより、文字列D1を読み取らせて読取履歴欄412の最上段に登録して表示させることができる。
【0080】
なお、クリップ画面410の読取履歴欄412に表示された文字列D1を消去する場合には、消去したい文字列D1にカーソルを合わせてデリートボタン418をクリックすればよく、文字列D1をコピーして使用する場合には、コピーしたい文字列D1にカーソルを合わせてコピーボタン417をクリックすればよい。
【0081】
ところでクリップ画面410では、読取履歴欄412の最上段に表示された文字列D1にカーソル409が重ねられて所定時間(例えば1秒間)以上経過すると、文字列解析連携システム100は文字列取込部101によってカーソル409が重ねられている文字列D1を全て取り込み、これを文字列解析部102に送出する。なお文字列解析連携システム100では、文字列D1にカーソル409が重ねられて1秒間以上経過したときに文字列D1を取り込むが、経過時間については1秒間に限るものではなく、設定次第で変更し得る。
【0082】
ここでOSは、文字列にカーソル409が重ねられると、当該重ねられた部分の文字列D1がカーソル409で見えなくなることを防ぐために再表示を行うが、この再表示を行うときにアプリケーションからAPIに再度供給される文字列D1を文字列取込部101によって取り込むようになされている。
【0083】
文字列解析部102は、文字列取込部101から供給された文字列D1(「03-5448-○△△×」)と解析用データベース102Aから読み出したデータのフォーマットとを比較参照することにより、文字列D1が表す情報の種類(この場合の文字列D1の種類は電話番号である)を判別して種類IDを生成した後、電話番号に該当する部分の文字列データD2(すなわち「03-5448-○△△×」)を抽出し、種類ID及び文字列データD2(「03-5448-○△△×」)を解析結果表示部103に送出する。
【0084】
解析結果表示部103は、図10に示すように種類IDに対応した情報の種類と文字列データD2とを含む所定の解析結果画面420を生成し、これを読取履歴欄412の文字列D1近傍に表示する。
【0085】
ここで解析結果画面420では、認識結果表示欄421に解析結果「電話番号 03-5448- ○△△×」が表示されており、これによりカーソルが重ねられた文字列D1が表す情報の種類が「電話番号」であり、その電話番号自体が「 03-5448- ○△△×」であることをユーザに認識させる。
【0086】
また解析結果画面420では、認識結果表示欄421に表示した解析結果に対する認識レベルを示した認識レベルバー422が表示されており、この認識レベルバー422が右側に振れるほど解析結果の確からしさが高いことを示し、ユーザに対して一目で解析結果の確からしさを認識させ得るようになされている。
【0087】
さらに解析結果画面420では、認識レベルバー422の上段に検索実行ボタン423が表示されており、当該検索実行ボタン423がユーザによってクリック操作されると、解析結果表示部103は検索実行ボタン423のクリック操作をトリガとして、保持していた種類ID及び文字列データD2をディスパッチ部105(図7)に送出する。
【0088】
ディスパッチ部105は、種類IDに対応したアプリケーションがハードディスクドライブ60のハードディスクに格納されている場合、該当するアプリケーションであるディジタル地図ソフトウェア60B(ナビンユー303)をRAM54上で立ち上げると共に、当該ディジタル地図ソフトウェア60Bに対して文字列データD2を供給する。
【0089】
連携処理部106は、立ち上げられたディジタル地図ソフトウェア60B(ナビンユー303)と文字列データD2とを連携させ、ディジタル地図ソフトウェア60B(ナビンユー303)に従って文字列データD2(「03-5448-○△△×」)に該当する地図上の地点を検索し、図11に示すように検索した地点を含む領域の地図画面430を生成して液晶ディスプレイ21に表示する。
【0090】
この地図画面430では、文字列D1の解析結果である「03-5448 」の局番代表が存在する地図上の地点を表示すると共に、解析結果画面420を重ねて表示している。但し連携処理部106は、文字列データD2(「03-5448-○△△×」)とディジタル地図ソフトウェア60Bの地点データベースとを照合して完全に合致する建物や施設が存在していれば、その地点をカーソルがクロスする箇所に表示する。
【0091】
なお、図10に示した解析結果画面420の検索実行ボタン423がユーザによってクリック操作されるまでは、ディスパッチ部105は種類IDに対応したディジタル地図ソフトウェア60B(ナビンユー303)を立ち上げて文字列データD2を供給することはない。
【0092】
従って、ユーザは文字列D1の解析結果に対してディジタル地図ソフトウェア60Bと連携させる意思があるときに解析結果画面420の検索実行ボタン423をクリックすればよく、ディジタル地図ソフトウェア60Bと連携させる意思がないときには検索実行ボタン423をクリックすることなく、次の文字列D1の解析処理へ移行すれば良い。
【0093】
次に、上述のCCDカメラ23によって撮影した名刺110の画像から文字列D1を認識して読み取るまでの文字列読取処理手順について説明する。この場合CPU52は、文字列読取部104におけるサイバークリップ301のアプリケーションに従って図12に示すフローチャートの文字列読取処理を実行する。
【0094】
CPU52は、まずルーチンRT1の開始ステップから入ってステップSP1に移る。ステップSP1においてのCPU52は文字列読取部104の処理に入ると、ユーザのシャッタボタン7の操作によりCCDカメラ23で名刺110が撮影されると、次のステップSP2へ移る。
【0095】
ステップSP2においてCPU52は、OCR装置を用いてファインダ表示領域411の認識枠411Aの中にセットされた文字列D1の読取処理を実行し、次のステップSP3に移る。
【0096】
ステップSP3においてCPU52は、ステップSP2における文字列D1の読取処理が成功したか否かを判定する。ここで否定結果が得られると、このことはフォーカスが合っていないか、又は認識枠411Aの中に正確にセットされなかったことにより文字列D1を読み取れなかったことを表しており、このときCPU52はステップSP1に戻って上述の処理を繰り返す。
【0097】
これに対してステップSP3において肯定結果が得られると、このことは名刺110を撮影した画像の中から認識枠411Aにセットされた文字列D1の読み取りに成功したことを示しており、このときCPU52は次のステップSP4に移る。
【0098】
ステップSP4においてCPU52は、読み取った文字列D1をクリップ画面410における読取履歴欄412の最上段に登録して表示し、次のステップSP5に移る。
【0099】
ステップSP5においてCPU52は、読取履歴欄412の最上段に登録した文字列D1上にカーソル409を移動し、次のステップSP6に移って文字列読取処理手順を終了する。
【0100】
続いて、上述のルーチンRT1の文字列読取処理手順(図12)によって読み取られた文字列D1を取り込んで解析するまでの文字列解析処理手順について説明する。この場合CPU52は、文字列取込部101〜解析結果表示部103におけるアドレスキャッチャ302のアプリケーションに従って図13に示すフローチャートの文字列解析処理を実行する。
【0101】
CPU52は、まずルーチンRT2の開始ステップから入ってステップSP11に移る。ステップSP11においてCPU52は文字列取込部101における処理に入ると、クリップ画面410の読取履歴欄412に表示された新たな文字列D1にカーソル409が重ねられた状態で所定時間以上経過したか否かを判定する。
【0102】
ここで否定結果が得られると、このことは文字列D1にカーソル409られた状態で所定時間以上経過することなくカーソル409が既に移動されたことを表しており、このときCPU52はステップSP11に戻る。
【0103】
これに対してステップSP11において肯定結果が得られると、このことは読取履歴欄412の文字列D1にカーソル409が重ねられた状態で所定時間以上経過したこと、すなわちカーソル409が重ねられた文字列D1を解析する意思がユーザにあることを表しており、このときCPU52は次のステップSP12に移る。
【0104】
ステップSP12においてCPU52は、カーソル409が重ねられた文字列D1を取り込み次のステップSP13に移る。
【0105】
ステップSP13においてCPU52は文字列解析部102の処理に入ると、取り込んだ文字列D1を解析データベース102Aのデータと比較参照することにより、文字列D1が表す情報の種類を表す種類IDの判別、及び文字列データD2の抽出処理を実行し、次のステップSP14に移る。
【0106】
ステップSP14においてCPU52は、文字列D1が表す情報の種類を判別し得たか否かを判定する。ここで否定結果が得られると、このことは解析データベース102Aのデータと比較参照した結果、文字列D1が住所、電話番号、郵便番号及びマップコードのいずれでもなく、文字列D1が表す情報の種類を判別し得なかったことを表しており、このときCPU52はステップSP17に移って文字列解析処理を終了する。
【0107】
これに対してステップSP14において肯定結果が得られると、このことは文字列D1が表す情報の種類を「電話番号」であると判別し得たことを表しており、このときCPU52は解析結果表示部103の処理に入って次のステップSP15に移る。
【0108】
ステップSP15においてCPU52は、文字列D1の種類ID及び文字列データD2を保持し、次のステップSP16に移る。
【0109】
ステップSP16においてCPU52は、文字列D1の種類ID及び文字列データD2を基に解析結果画面420を生成し、これをクリップ画面410の文字列D1近傍に表示し(図10)、次のステップSP17に移って文字列解析処理手順を終了する。
【0110】
引き続き、上述のルーチンRT2の文字列解析処理手順(図13)によって得られた文字列データD2を、当該文字列データD2を用いて地点検索を行うディジタル地図ソフトウェア60B(ナビンユー303)に受け渡す解析結果供給処理手順について説明する。この場合CPU52は、解析結果表示部103及びディスパッチ部105におけるアドレスキャッチャ302のアプリケーションに従って図14に示すフローチャートの解析結果供給処理を実行する。
【0111】
CPU52は、まずルーチンRT3の開始ステップから入ってステップSP21に移る。ステップSP21においてCPU52は解析結果表示部103における処理に入ると、解析結果画面420の検索実行ボタン423(図10)がクリックされたか否かを判定する。
【0112】
ここで否定結果が得られると、このことは解析結果画面420の検索実行ボタン423がクリックされず、文字列データD2を用いた検索処理を実行する意思がユーザにないことを示しており、このときCPU52は、ステップSP26に移って解析結果供給処理を終了する。
【0113】
これに対してステップSP21において肯定結果が得られると、このことは解析結果画面420の検索実行ボタン423がユーザによってクリックされたので、文字列データD2を用いた検索処理を実行する意思がユーザにあることを示しており、このときCPU52は次のステップSP22に移る。
【0114】
ステップSP22においてCPU52は、解析結果表示部103が保持している種類ID及び文字列データD2をディスパッチ部105(図7)へ供給し、次のステップSP23に移る。
【0115】
ステップSP23においてCPU52はディスパッチ部105における処理に入ると、種類IDに対応するアプリケーションであるディジタル地図ソフトウェア60B(ナビンユー303)をハードディスクドライブ60によって起動し、次のステップSP24に移る。
【0116】
ステップSP24においてCPU52は、種類IDに対応するアプリケーションであるディジタル地図ソフトウェア60B(ナビンユー303)を起動し得たか否かを判定する。ここで否定結果が得られると、このことは種類IDに対応するディジタル地図ソフトウェア60B(ナビンユー303)が存在せずに起動し得なかったことを表しており、このときCPU52はステップSP26に移って解析結果供給処理を終了する。
【0117】
これに対してステップSP24において肯定結果が得られると、このことは種類IDに対応するディジタル地図ソフトウェア60B(ナビンユー303)を起動し得たことを表しており、このときCPU52は次のステップSP25に移る。
【0118】
ステップSP25においてCPU52は、ステップSP24で起動したディジタル地図ソフトウェア60B(ナビンユー303)に対して文字列データD2(03-5448-○△△×)を供給し、次のステップSP26に移って解析結果供給処理手順を終了する。
【0119】
最後に、上述のルーチンRT3の解析結果供給処理手順(図14)のステップSP25によって供給された文字列データD2の電話番号に該当する地図上の地点をディジタル地図ソフトウェア60B(ナビンユー303)に従って検索し、その検索結果に対応した地図画面430を表示するまでのアプリケーション連携処理手順について説明する。この場合CPU52は、連携処理部106におけるナビンユー303のアプリケーションに従って図15に示すフローチャートのアプリケーション連携処理を実行する。
【0120】
CPU52は、まずルーチンRT4の開始ステップから入ってステップSP31に移る。ステップSP31においてCPU52は連携処理部106における処理に入ると、種類IDに対応するアプリケーションのディジタル地図ソフトウェア60Bに対して文字列データD2が供給されたか否かを判定する。ここで否定結果が得られると、このことは文字列データD2が供給されなかったことを表しており、このときCPU52はステップSP39に移ってアプリケーション連携処理を終了する。
【0121】
これに対してステップSP31において肯定結果が得られると、このことはディジタル地図ソフトウェア60Bに対して文字列データD2が供給されたことを表しており、このときCPU52は次のステップSP32〜ステップSP35のいずれかに移る。
【0122】
この場合CPU52は電話番号の文字列データD2(「03-5448-○△△×」)が供給されたことを認識しているのでステップSP33に移る。因みにCPU52は、郵便番号の文字列データD2が供給された場合にはステップSP32に移り、住所の文字列データD2が供給された場合にはステップSP34に移り、マップコードの文字列データD2が供給された場合にはステップSP35に移る。
【0123】
ステップSP33においてCPU52は、ハードディスクドライブ60により電話番号−緯度経度テーブルから文字列データD2の電話番号に該当する緯度経度を検索して取得し、次のステップSP36に移る。
【0124】
ステップSP36においてCPU52は、文字列データD2の電話番号(「03-5448-○△△×」)に該当する緯度経度を取得できたか否かを判定する。ここで否定結果が得られると、このことは文字列データD2に該当する緯度経度が電話番号−緯度経度テーブルに登録されていないために取得し得なかったことを表しており、このときCPU52はステップSP39に移ってアプリケーション連携処理を終了する。
【0125】
これに対してステップSP36において肯定結果が得られると、このことは文字列データD2に該当する緯度経度を取得し得たことを表しており、このときCPU52は次のステップSP37に移る。
【0126】
ステップSP37においてCPU52は、ディジタル地図ソフトウェア60B(ナビンユー303)に従って文字列データD2(電話番号)に該当する緯度経度を中心とした地図上の地点を検索し、当該地点を含む領域の地図画面430を生成し、次のステップSP38に移る。
【0127】
ステップSP38においてCPU52は、地図画面430を液晶ディスプレイ21に表示し、次のステップSP39に移ってアプリケーション連携処理手順を終了する。
【0128】
(3−2)アプリケーション画面上でカーソルが重ねられた文字列の解析処理及びアプリケーションとの連携処理
またコンピュータ装置1では、液晶ディスプレイ21のアプリケーション画面上でユーザのマウス操作によってカーソルが文字列に重ねられて所定時間(例えば1秒間)以上経過すると、文字列取込部101(図7)によってカーソルが重ねられている部分の前後数文字分に相当する文字列D1を取り込み、文字列解析部102に送出する。
【0129】
例えば図16に示すように、アプリケーション画面に表示された「Phone:03-5448-○△△×」の文字列上にカーソル449が重ねられると、文字列取込部101はカーソル449が重ねられている部分の前後数文字分に相当する文字列D1「Phone:03-5448-○△△×」を取り込み、これを文字列解析部102に送出する。ここで、文字列取込部101が取り込むべき文字列D1における前後数文字分の範囲は予め設定されているが、任意に設定変更可能である。
【0130】
文字列解析部102は、文字列取込部101から供給された文字列D1(「Phone:03-5448-○△△×」)と解析用データベース102Aから読み出したデータのフォーマットとを比較参照することにより、文字列D1が表す情報の種類(この場合の文字列D1の種類は電話番号である)を判別して種類IDを生成した後、電話番号に該当する部分の文字列データD2(すなわち「03-5448-○△△×」)を抽出し、種類ID及び文字列データD2(「03-5448-○△△×」)を解析結果表示部103に送出する。
【0131】
解析結果表示部103は、種類IDに対応した情報の種類と文字列データD2とを含む所定の解析結果画面450を生成し、これをカーソル449で指定された文字列D1の近傍に表示する。
【0132】
ここで解析結果画面450では、図10に示した解析結果画面420と同様に認識結果表示欄451に解析結果「電話番号 03-5448- ○△△×」が表示されており、これによりカーソル449が重ねられた部分の文字列D1が表す情報の種類が「電話番号」であり、その電話番号自体が「 03-5448- ○△△×」であることをユーザに認識させる。
【0133】
また解析結果画面450では、解析結果画面420と同様に認識結果表示欄451に解析結果に対する認識レベルを示した認識レベルバー452が表示されており、この認識レベルバー452が右側に振れるほど解析結果の確からしさが高いことを示し、ユーザに対して一目で解析結果の確からしさを認識させ得るようになされている。
【0134】
さらに解析結果画面450では、解析結果画面420と同様に認識レベルバー452の上段に検索実行ボタン453が表示されており、当該検索実行ボタン453がユーザによってクリック操作されると、解析結果表示部103は、検索実行ボタン453のクリック操作をトリガとして、保持していた種類ID及び文字列データD2をディスパッチ部105に送出する。
【0135】
ディスパッチ部105は、種類IDに対応したアプリケーションがハードディスクドライブ60のハードディスクに格納されている場合、該当するアプリケーションのディジタル地図ソフトウェア60B(ナビンユー303)を立ち上げ、文字列データD2(「03-5448-○△△×」)をディジタル地図ソフトウェア60Bに供給する。
【0136】
これにより連携処理部106は、ディジタル地図ソフトウェア60B(ナビンユー303)に従って文字列データD2(「03-5448-○△△×」)に該当する地図上の地点を検索し、検索した地点を含む領域の地図画面430(図11)として液晶ディスプレイ21に表示する。
【0137】
次に、アプリケーション画面上でカーソル449が重ねられたテキスト文書の文字列D1を取り込み、当該文字列D1を解析する取込及び解析処理手順を説明する。この場合CPU52は、文字列取込部101〜解析結果表示部103におけるアドレスキャッチャ302のアプリケーションに従って図17に示すフローチャートの取込及び解析処理を実行する。
【0138】
CPU52は、まずルーチンRT5の開始ステップから入ってステップSP41に移る。ステップSP41においてCPU52は文字列取込部101における処理に入ると、アプリケーション画面に表示されているテキスト文書の文字列にカーソル449が重ねられたか否かを判定する。
【0139】
ここで否定結果が得られると、このことは文字列にカーソル449が重ねられていないことを表しており、このときCPU52は、ステップSP41に戻って文字列にカーソル449が重ねられるまで待ち受ける。
【0140】
これに対してステップSP41において肯定結果が得られると、このことは文字列にカーソル449が重ねられていることを表しており、このときCPU52は、次のステップSP42に移る。
【0141】
ステップSP42においてCPU52は文字列解析部102における処理に入ると、文字列にカーソル449が重ねられた状態で所定時間以上が経過したか否かを判定する。ここで否定結果が得られると、このことは文字列にカーソル449が重ねられた状態で所定時間以上経過することなくカーソル449が既に移動されたことを示しており、このときCPU52は、ステップSP41に戻って上述の処理を繰り返す。
【0142】
これに対してステップSP42において肯定結果が得られると、このことは文字列にカーソル449が重ねられた状態で所定時間以上経過したことを表しており、このときCPU52は次のステップSP43に移る。
【0143】
ステップSP43においてCPU52は、ルーチンRT2(図13)のステップSP12と同様に、カーソル449が重ねられた部分の文字列を取り込み、これを文字列D1として文字列解析部102に送出し、次のステップSP44に移る。
【0144】
ステップSP44においてCPU52は文字列解析部102における処理に入ると、ルーチンRT2のステップSP13と同様に、文字列D1が表す情報の種類IDを判別すると共に文字列データD2を抽出し、次のステップSP45に移る。
【0145】
ステップSP45においてCPU52は、ルーチンRT2のステップSP14と同様に、文字列D1が表す情報の種類を判別し得たか否かを判定する。ここで否定結果が得られると、このことは文字列D1が表す情報の種類を判別し得なかったことを表しており、このときCPU52はステップSP48に移って文字列の取込及び解析処理を終了する。
【0146】
これに対してステップSP45において肯定結果が得られると、このことは文字列D1が表す情報の種類を判別し得たことを表しており、このときCPU52は文字列D1の種類ID及び文字列データD2を解析結果表示部103に送出し、次のステップSP46に移る。
【0147】
ステップSP46においてCPU52は解析結果表示部103における処理に入ると、ルーチンRT2のステップSP15と同様に、文字列D1の種類ID及び文字列データD2を保持し、次のステップSP47に移る。
【0148】
ステップSP47においてCPU52は、ルーチンRT2のステップSP16と同様に、種類ID及び文字列データD2を基に解析結果画面420を生成し、これをクリップ画面410上の文字列D1近傍に表示し(図11)、次のステップSP48に移って文字列の取込及び解析処理手順を終了する。
【0149】
(4)本実施の形態における動作及び効果
以上の構成において、コンピュータ装置1のCPU52は、CCDカメラ23によって名刺110を撮影し、クリップ画面410(図9)におけるファインダ表示領域411の認識枠411Aの中にセットされた文字列D1に対してフォーカスが合わせられると、サイバークリップ301のアプリケーションに従って文字列D1を認識して読み取った後、読取履歴欄412に登録して表示すると共に、登録した文字列D1にカーソル409を移動して合わせる。
【0150】
そしてCPU52は、アドレスキャッチャ302のアプリケーションに従って読取履歴欄412の文字列D1にカーソル409が重ねられた状態で所定時間以上経過したか否かを監視しており、所定時間以上経過したことを検出すると文字列D1を取り込む。
【0151】
続いてCPU52は、取り込んだ文字列D1が表す情報の種類を判別すると共に文字列データD2を抽出した後、解析結果表示部103によって解析結果画面420を生成して液晶ディスプレイ21に表示する。
【0152】
このようにコンピュータ装置1は、液晶ディスプレイ21に解析結果画面420を表示することにより、CCDカメラ23によって撮影した名刺110の文字列D1の解析結果が「電話番号」であり、その番号が「03-5448-○△△×」であることをユーザに対して認識させると共に、認識レベルバー422によって解析結果の確からしさを一目で認識させ得る。
【0153】
続いてCPU52は、解析結果画面420の検索実行ボタン423がユーザによってクリックされると、アドレスキャッチャ302のアプリケーションに従って文字列D1の種類IDに対応したディジタル地図ソフトウェア60B(ナビンユー303)を起動し、当該ディジタル地図ソフトウェア60B(ナビンユー303)に文字列データD2を供給する。
【0154】
このときCPU52では、解析結果画面420の検索実行ボタン423がユーザによってクリックされるまでは、ディジタル地図ソフトウェア60B(ナビンユー303)に対して文字列データD2を供給して連携しないようになされており、これによりユーザが解析結果を確認した後に文字列データD2に応じた検索処理を実行する意思があるときのみ連携動作を実行させることができ、かくしてユーザの意思に反した処理の実行を防止している。
【0155】
そしてCPU52は、ディジタル地図ソフトウェア60B(ナビンユー303)と文字列データD2とを連携させると、ディジタル地図ソフトウェア60B(ナビンユー303)に従って文字列データD2に該当する緯度経度を取得し、当該緯度経度を中心とした地図上の地点を検索し、検索結果に対応する地図画面430を液晶ディスプレイ21に表示する。
【0156】
すなわちユーザは、CCDカメラ23によってクリップ画面410に映し出された文字列D1を認識枠411Aの中にセットしてフォーカス調整するだけで文字列D1の解析結果画面420を得て情報の種類を確認することができ、また解析結果画面420の検索実行ボタン423に対するクリック操作を行うだけで、文字列D2に該当する地図上の地点を含む地図画面430を確認することができる。
【0157】
同様にコンピュータ装置1は、液晶ディスプレイ21に表示されたアプリケーション画面の文字列にカーソル449が所定時間以上重ねられたとき、これを文字列D1として取り込んで解析することにより解析結果画面420を表示し、当該解析結果画面420の検索実行ボタン423がクリックされたときに、ディジタル地図ソフトウェア60Bと文字列データD2とを連携させて地点検索を実行することができる。
【0158】
すなわちユーザは、この場合もアプリケーション画面の解析したい文字列にカーソル449を合わせるマウス操作を行うだけで文字列D1の解析結果画面450(図16)を得て情報の種類を確認することができ、また解析結果画面450の検索実行ボタン453に対するクリック操作を行うだけで、文字列D2に該当する地図上の地点を地図画面430(図11)を介して確認することができる。
【0159】
以上の構成によれば、コンピュータ装置1はCCDカメラ23で撮影した名刺110の画像の中からユーザによって指定された文字列D1を読み取って解析し、液晶ディスプレイ21に解析結果画面420を表示することにより、当該解析結果画面420を介して文字列D1が表す情報の種類及び文字列データD2をユーザに対して認識させることができ、かくしてユーザは解析を希望する名刺110をCCDカメラ23で撮影させるだけの簡単な操作で文字列D1の解析結果を認識することができる。
【0160】
またコンピュータ装置1では、ユーザが解析結果画面420を確認して解析結果に納得した後に検索実行ボタン423をクリックすると、文字列D1が表す情報の種類に対応するディジタル地図ソフトウェア60B(ナビンユー303)を起動して文字列データD2を連携させ、文字列データD2に該当する地図上の地点を検索し、その地点の領域を含む地図画面430を液晶ディスプレイ21に表示することにより、ユーザは解析結果に納得すると共に地点検索を実行する意思があるときに検索実行ボタン423をクリックするだけの簡単な操作で検索結果を容易に得ることができる。
【0161】
(5)他の実施の形態
なお上述の実施の形態においては、撮像手段としてのCCDカメラ23で撮影された画像の認識枠411Aの中にセットされた文字列D1を文字列読取手段としてのCPU52及びサイバークリップ301のアプリケーションによりOCR装置を用いて読み取るようにした場合について述べたが、本発明はこれに限らず、OCR装置以外の他の種々の方法によってCCDカメラ23で撮影された画像中の文字列D1を読み取るようにしても良い。
【0162】
また上述の実施の形態においては、各種アプリケーションを連携動作させることにより機能するようになされた文字列解析連携システム100に従ってCPU52が文字列解析連携処理を実行するようにした場合について述べたが、本発明はこれに限らず、フロッピーディスク、CD−ROM(Compact Disc-Read Only Memory) 、DVD(Digital Video Disc)等のパッケージメディア、プログラムが一時的もしくは永続的に格納される半導体メモリや磁気ディスク、さらにローカルエリアネットワークやインターネット、ディジタル衛星放送等の有線又は無線通信媒体及びこれらの通信媒体を介して提供されるプログラムを転送もしくは受信するルータやモデム等の各種通信インターフェース等の提供媒体によって提供されるOSの一部として含まれる文字列解析連携システム100に従ってCPU52が文字列解析連携処理を実行するようにしても良い。
【0163】
さらに上述の実施の形態においては、文字列取込解析手段としてのCPU52及びアドレスキャッチャ302のアプリケーションによって文字列D1を取り込んで解析し、表示制御手段としてのCPU52及びアドレスキャッチャ302のアプリケーションによって表示手段としての液晶ディスプレイ21に解析結果画面420を表示することにより、文字列D1が表す情報の種類を電話番号であるとユーザに認識させ、連携手段としてのCPU52及びディジタル地図ソフトウェア(ナビンユー303)のアプリケーションによって文字列データD2の電話番号に該当する地点の検索を実行し、その検索結果に対応する地図画面430を表示するようにした場合について述べたが、本発明はこれに限らず、文字列D1が表す情報の種類を郵便番号、住所、緯度経度、当該緯度経度を表すマップコード、電子メールアドレス、URL(Uniform Resource Locator)、日時、金額の単位、又はkm、kg、cm、yard……等の汎用的な単位であると判別し、郵便番号が定義されている地図上の位置を検索して示す郵便番号位置検索アプリケーション、住所に対応する地図上の位置を検索して示す住所位置検索アプリケーション、緯度経度に対応する地図上の位置を検索して示す緯度経度検索アプリケーション、マップコードに対応する地図上の位置を検索して示すマップコード検索アプリケーション、電子メールアドレスに対して電子メールを送信する電子メール送信アプリケーション、URLに基づいてホームページを開くHTML(Hyper Text Markup Language)ブラウザ、日時に対応したカレンダや予定表を開くスケジューラアプリケーション、所定の金額を他の貨幣の単位に応じた金額に自動換算する貨幣換算アプリケーション、又は単位に応じた数値を用いて種々の計算を行う電子計算機アプリケーション、郵便番号、住所、緯度経度、マップコード、電子メールアドレス又はURLを基に個人情報を検索する個人情報検索アプリケーションと文字列データD2とをそれぞれ連携させて所定の処理を実行するようにしても良い。
【0164】
さらに上述の実施の形態においては、カメラ一体型のコンピュータ装置1におけるCCDカメラ23によって撮像した画像の中から文字列を読み取るようにした場合について述べたが、本発明はこれに限らず、ディジタルスチールカメラ等によって撮像された画像を外部からIEEE1394端子41を介して取り込み、その中から文字列を読み取るようにしても良い。
【0165】
【発明の効果】
上述のように本発明によれば、撮像手段によって撮像された画像から文字列及び当該文字列に対応したアプリケーションを特定するための特定情報を抽出し、この文字列を表示することにより画像から何の文字列が抽出されたのかをユーザに対して目視確認させたうえで、任意の文字列がユーザによって選択されたとき、その特定情報に対応したアプリケーションを起動させて文字列に対する所定の処理を実行させることができるので、ユーザに対して画像を撮像させ、抽出された文字列を選択させるだけの簡易な操作により、画像から文字列を選択して当該文字列に対する所定のアプリケーション処理を行わせるまでの一連の処理を自動的に実行することができ、かくしてユーザによる簡単な操作だけで文字列を解析して所望の処理を実行し得る一段と操作性の優れた情報処理装置を実現できる。
【0166】
また本発明によれば、撮像手段によって撮像された画像から文字列及び当該文字列に対応したアプリケーションを特定するための特定情報を抽出し、この文字列を表示することにより画像から何の文字列が抽出されたのかをユーザに対して目視確認させたうえで、任意の文字列がユーザによって選択されたとき、その特定情報に対応したアプリケーションを起動させて文字列に対する所定の処理を実行させることができるので、ユーザに対して画像を撮像させ、抽出された文字列を選択させるだけの簡易な操作により、画像から文字列を選択して当該文字列に対する所定のアプリケーション処理を行わせるまでの一連の処理を自動的に実行することができ、かくしてユーザによる簡単な操作だけで文字列を解析して所望の処理を実行し得る情報処理方法を実現できる。
【図面の簡単な説明】
【図1】コンピュータ装置の全体構成を示す略線的斜視図である。
【図2】本体の正面構成を示す略線図である。
【図3】本体に対して表示部を閉じた状態を示す略線図である。
【図4】本体に対して表示部を180度開いた状態を示す略線図である。
【図5】本体の下面構成を示す略線図である。
【図6】コンピュータ装置の回路構成を示すブロック図である。
【図7】本発明による文字列解析連携システムの構成を示すブロック図である。
【図8】CCDカメラによる名刺の撮影状態を示す略線図である。
【図9】クリップ画面を示す略線図である。
【図10】文字列の解析結果画面を示す略線図である。
【図11】検索結果の地図画面を示す略線図である。
【図12】CCDカメラで撮影された画像中の文字列を読み取る読取処理手順を示すフローチャートである。
【図13】文字列解析処理手順を示すフローチャートである。
【図14】解析結果供給処理手順を示すフローチャートである。
【図15】アプリケーション連携処理手順を示すフローチャートである。
【図16】カーソルで指定された文字列の解析結果画面を示す略線図である。
【図17】アプリケーション画面においてカーソルで指定された文字列の取込及び解析処理手順を示すフローチャートである。
【図18】従来の通常のポップアップメニューを示す略線図である。
【符号の説明】
1……コンピュータ装置、2……本体、3……表示部、21……液晶ディスプレイ、23……CCDカメラ、52……CPU、54……RAM、60……ハードディスク、100……文字列解析連携システム、101……文字列取込部、102……文字列解析部、103……解析結果表示部、104……文字列読取部、105……ディスパッチ部、110……名刺。

Claims (13)

  1. 複数のアプリケーションを記憶する記憶手段と、
    画像を撮像する撮像手段によって得られた画像データを取得する取得手段と、
    上記画像データから文字列及び上記文字列に対応するアプリケーションを特定するための特定情報を抽出する抽出手段と、
    上記抽出手段によって抽出された上記文字列を上記画像データと共に所定の表示手段に表示する表示制御手段と、
    上記記憶手段を参照し、上記表示手段に表示されている上記文字列の中から選択された文字列に対応する上記特定情報に基づいて上記アプリケーションを起動させ、上記抽出手段により抽出された上記文字列について上記アプリケーションによる所定の処理を実行させるアプリケーション処理手段と
    を具える情報処理装置。
  2. 上記抽出手段は、OCR(Optical Character Reader)手段を用いて上記画像中の上記文字列を認識して抽出する
    請求項1に記載の情報処理装置。
  3. 上記抽出手段は、抽出した上記文字列を上記表示手段の表示画面内の所定のリストに登録して表示すると共に、上記リストに表示した最新の上記文字列にカーソルを合わせることにより上記文字列を選択させる
    請求項1に記載の情報処理装置。
  4. 上記文字列は、電話番号である
    請求項1に記載の情報処理装置。
  5. 上記記憶手段は郵便番号に対応する位置情報を記憶し、
    上記抽出手段は上記文字列として郵便番号を抽出し、
    上記アプリケーション処理手段は、上記記憶手段を参照し、上記抽出手段により抽出された上記郵便番号に対応する上記位置情報に基づいて地図画面を生成する
    請求項1に記載の情報処理装置。
  6. 上記記憶手段は住所に対応する位置情報を記憶し、
    上記抽出手段は上記文字列として住所を抽出し、
    上記アプリケーション処理手段は、上記記憶手段を参照し、上記抽出手段により抽出された上記住所に対応する上記位置情報に基づいて地図画面を生成する
    請求項1に記載の情報処理装置。
  7. 上記記憶手段はマップコードに対応する位置情報を記憶し、
    上記抽出手段は上記文字列としてマップコードを抽出し、
    上記アプリケーション処理手段は、上記記憶手段を参照し、上記抽出手段により抽出された上記マップコード住所に対応する上記位置情報に基づいて地図画面を生成する
    請求項1に記載の情報処理装置。
  8. 上記抽出手段は上記文字列として緯度経度を抽出し、
    上記アプリケーション処理手段は、上記記憶手段を参照し、上記抽出手段により抽出された上記緯度経度に基づいて地図画面を生成する
    請求項1に記載の情報処理装置。
  9. 上記抽出手段は上記文字列として電子メールアドレスを抽出し、
    上記アプリケーション処理手段は、上記記憶手段を参照し、上記抽出手段により抽出された上記電子メールアドレスに対して電子メールを送信するための電子メールアプリケーションを上記記憶手段から読み出して起動する
    請求項1に記載の情報処理装置。
  10. 上記抽出手段は上記文字列としてURL(Uniform Resource Locator)を抽出し、
    上記アプリケーション処理手段は、上記記憶手段を参照し、上記抽出手段により抽出された上記URLに基づいてホームページを開くためのブラウザを上記記憶手段から読み出して起動する
    請求項1に記載の情報処理装置。
  11. 上記抽出手段は上記文字列として日時を抽出し、
    上記アプリケーション処理手段は、上記記憶手段を参照し、上記抽出手段により抽出された上記日時に基づいてスケジューラアプリケーションを上記記憶手段から読み出して起動する
    請求項1に記載の情報処理装置。
  12. 上記抽出手段は上記文字列として金額を抽出する
    請求項1に記載の情報処理装置。
  13. 画像を撮像する撮像手段によって得られた画像データを取得手段によって取得する取得ステップと、
    上記画像データから文字列及び上記文字列に対応するアプリケーションを特定するための特定情報を抽出手段によって抽出する抽出ステップと、
    上記抽出手段によって抽出された上記文字列を表示制御手段によって上記画像データと共に所定の表示手段に表示する表示制御ステップと、
    アプリケーション処理手段によって、上記記憶手段を参照し、上記表示手段に表示されている上記文字列の中から選択された文字列に対応する上記特定情報に基づいて上記アプリケーションを起動させ、上記抽出手段により抽出された上記文字列について上記アプリケーションによる所定の処理を実行させるアプリケーション処理ステップと
    を有する情報処理方法。
JP15059799A 1999-05-14 1999-05-28 情報処理装置及び情報処理方法 Expired - Lifetime JP4314502B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP15059799A JP4314502B2 (ja) 1999-05-28 1999-05-28 情報処理装置及び情報処理方法
US09/569,251 US7428569B1 (en) 1999-05-14 2000-05-11 Information processing apparatus, information processing method, and provision medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP15059799A JP4314502B2 (ja) 1999-05-28 1999-05-28 情報処理装置及び情報処理方法

Publications (2)

Publication Number Publication Date
JP2000339401A JP2000339401A (ja) 2000-12-08
JP4314502B2 true JP4314502B2 (ja) 2009-08-19

Family

ID=15500368

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15059799A Expired - Lifetime JP4314502B2 (ja) 1999-05-14 1999-05-28 情報処理装置及び情報処理方法

Country Status (1)

Country Link
JP (1) JP4314502B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007034942A (ja) * 2005-07-29 2007-02-08 Kobe Steel Ltd 情報処理装置及びそのプログラム
JP7464462B2 (ja) * 2016-04-28 2024-04-09 オナー デバイス カンパニー リミテッド ヒューマンコンピュータインタラクション方法およびその装置
WO2017185272A1 (zh) 2016-04-28 2017-11-02 华为技术有限公司 一种人机交互方法及其装置

Also Published As

Publication number Publication date
JP2000339401A (ja) 2000-12-08

Similar Documents

Publication Publication Date Title
US20080317346A1 (en) Character and Object Recognition with a Mobile Photographic Device
JP3786166B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
US6389182B1 (en) Image processing apparatus, image processing method and storage medium
JP4674644B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム媒体
US7958135B2 (en) Information processing apparatus, information recording system, information recording method, and computer-readable medium storing program
US7386576B2 (en) Data file storage device with automatic filename creation function, data file storage program and data file storage method
US20100216441A1 (en) Method for photo tagging based on broadcast assisted face identification
US20030052907A1 (en) Information processing apparatus and method, and distribution medium
EP1984850A1 (en) Method and system for tagging digital data
US20120219239A1 (en) System, Method, and Devices for Searching for a Digital Image over a Communication Network
WO2012050672A2 (en) Image identification and sharing on mobile devices
US20110010631A1 (en) System and method of storing and retrieving associated information with a digital image
US7428569B1 (en) Information processing apparatus, information processing method, and provision medium
JP2003067379A (ja) 情報処理装置及び情報処理方法、プログラム格納媒体、並びにプログラム
US8209326B2 (en) Information system, method, device and method providing system for conveying predetermined information as comment data
JP4314502B2 (ja) 情報処理装置及び情報処理方法
JP4352287B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム媒体
JP4697819B2 (ja) 情報処理装置、情報処理方法及び記録媒体
JP2000148797A (ja) 画像処理装置、画像処理方法、および画像処理プログラム格納媒体
JP2000207338A (ja) 情報処理装置および方法、並びに提供媒体
JP2000076285A (ja) 情報処理装置および方法、並びに提供媒体
TW201120767A (en) Method and system for searching image and computer program product using the method
JP2000207487A (ja) 情報処理装置および方法、並びに提供媒体
JP4273379B2 (ja) 情報処理装置および方法、並びに記録媒体
US20070284450A1 (en) Image handling

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090423

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090506

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120529

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130529

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term