Nothing Special   »   [go: up one dir, main page]

JP2006344012A - データ入力システム、データ入力プログラム - Google Patents

データ入力システム、データ入力プログラム Download PDF

Info

Publication number
JP2006344012A
JP2006344012A JP2005169263A JP2005169263A JP2006344012A JP 2006344012 A JP2006344012 A JP 2006344012A JP 2005169263 A JP2005169263 A JP 2005169263A JP 2005169263 A JP2005169263 A JP 2005169263A JP 2006344012 A JP2006344012 A JP 2006344012A
Authority
JP
Japan
Prior art keywords
data
error
correction
information
error correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005169263A
Other languages
English (en)
Inventor
Takahiro Akiyama
貴宏 秋山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Digital Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Solutions Corp filed Critical Toshiba Corp
Priority to JP2005169263A priority Critical patent/JP2006344012A/ja
Publication of JP2006344012A publication Critical patent/JP2006344012A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】データ取込み時のエラー検出率を高め、エントリされたデータのエラーを自動修正する。
【解決手段】このデータ入力システムは入力部1からアプリ20が取込んだ取込みデータと取込みデータの構成情報を取得し、DB10より構成が一致、類似する処理済みデータとこのデータの構成情報を取得するレイアウト取得エージェント31と、処理済みデータの構成情報と取込みデータの構成情報を比較し互いのデータの整合性をチェックするエラー検出エージェント32と、過去に修正でデータを修正した修正履歴が記憶された学習履歴テーブル12a〜12cと、エラーが検出された場合、そのエラー検出ヵ所の情報に基づいて学習履歴テーブル12a〜12cより修正方法の情報を読み出し、修正した修正案をアプリ20に渡し、データ可否の指示の入力を促し、修正を許可する指示により一時保持していた修正案をDB10へ格納する自動修正エージェント33とを備える。
【選択図】図1

Description

本発明は、例えばCSV形式やテキスト形式などのデータファイルを取込み、データベースへ格納するデータ入力システム、データ入力プログラムに関する。
コンピュータで動作する、例えばデータベースソフトウェアなどのアプリケーションソフトウェア(以下「アプリケーション」と称す。)の画面で、ユーザが「インポート」などの操作を行い、処理対象のデータを外部から取込む場合、アプリケーション側で予め定められたレイアウト(情報の形式、並び方)に従ってCSVやテキスト等といった形式のデータファイルを取込む。
この種のソフトウェア(装置)の公知技術としては、必要に応じてシステムにロ−ドされた構成情報を実際の構成に合った構成情報に自動的に修正することにより、修正にかかるオペレータの手間をなくし、かつシステム構成不一致によるトラブルを防止する「誤システム構成情報入力時における自動修正方式」等がある(例えば特許文献1参照)。
こうしたデータ取込みの仕組みにおいて取込み用データファイルは、レイアウトに従って作成されているだけでなく、取込むデータがデータベースの正しい格納場所に挿入できるように作成されていることが重要である。
また、アプリケーションの1つの機能として、データファイルのエラー検出機能を組み込むため、アプリケーション開発者(以下、「開発者」と称す。)は、ユーザがアプリケーションに取込んだデータファイルのエラーを高い検出率で検知し、エラーの内容および発生箇所をユーザに詳細に指摘するようなガイド機能を開発する必要がある。
しかしながら、従来の多くのアプリケーションは、データファイル取込み時の様々なエラーに対してユーザに内容および発生箇所を詳細に指摘できておらず、エラー検出率も決して高いとはいえない。
また、エラーの修正は、アプリケーションのエラーメッセージに従ってユーザ自身が一つ一つ手作業で行うため、エラーメッセージの内容が曖昧な場合やエラー数が多い場合はユーザの負担が大きい。
一方、開発者側では、低コスト短納期が要求される中でアプリケーション開発時に十分なエラー検出機能を開発することは作業負担が非常に大きい。
特願平2−216257号公報
そこで、各々のアプリケーションごとにデータファイル取込み時のエラー検出処理を開発するのではなく、多くのアプリケーションに組み込むことが可能な高い汎用性を持たせ、ユーザや開発者の負担を軽減することが必要になる。
本発明はこのような課題を解決するためになされたもので、データ取込み時のエラー検出率を高め、またエントリされたデータのエラーを自動修正することができる汎用性の高いデータ入力システム、データ入力プログラムを提供することを目的としている。
上記した目的を達成するために、本発明のデータ入力システムは、入力部から取込んだ取込みデータに対してエラー訂正を行った後、データベースへ格納するアプリケーションソフトウェアを備えたデータ入力装置において、前記入力部からアプリケーションソフトウェアが取込んだ取込みデータとこの取込みデータの構成情報を取得する取込みデータ取得手段と、前記取込みデータ取得手段により取得された取込みデータの構成情報を用いて、前記データベースより構成が一致または類似する構成情報を持つ処理済みデータを取得する処理済みデータ取得手段と、前記処理済みデータ取得手段により取得された処理済みデータと前記取込みデータ取得手段により取得された取込みデータとを比較して互いのデータの整合性をチェックしエラーを検出するエラー検出手段と、過去に取込みデータに対してエラー訂正を行ったときの、エラー検出ヵ所のデータに対するエラー修正方法の情報が記憶された学習履歴記憶部と、前記エラー検出手段によりエラーが検出された場合、そのエラー検出ヵ所の情報に基づいて、前記学習履歴記憶部を検索し、一致または類似するエラー修正方法の情報を読み出し、前記エラー修正方法により該当データを修正した修正案、エラーヵ所の情報、修正方法の情報を前記アプリケーションソフトウェアに渡し、前記修正案によるデータ修正可否の指示の入力を促すエラー修正手段と、前記入力部より修正案を許可する指示が入力された場合、前記エラー修正手段により作成された修正案を処理済みデータとして前記データベースへ格納する手段と具備したことを特徴とする。
本発明のデータ入力プログラムは、入力部から取込んだ取込みデータに対してエラー訂正を行った後、データベースへ格納するアプリケーションソフトウェアを備えたデータ入力装置に処理を実行させるデータ入力プログラムにおいて、前記データ入力装置を、前記入力部からアプリケーションソフトウェアが取込んだ取込みデータとこの取込みデータの構成情報を取得する取込みデータ取得手段と、前記取込みデータ取得手段により取得された取込みデータの構成情報を用いて、前記データベースより構成が一致または類似する構成情報を持つ処理済みデータを取得する処理済みデータ取得手段と、前記処理済みデータ取得手段により取得された処理済みデータと前記取込みデータ取得手段により取得された取込みデータとを比較して互いのデータの整合性をチェックしエラーを検出するエラー検出手段と、過去に取込みデータに対してエラー訂正を行ったときの、エラー検出ヵ所のデータに対するエラー修正方法の情報が記憶された学習履歴記憶部と、前記エラー検出手段によりエラーが検出された場合、そのエラー検出ヵ所の情報に基づいて、前記学習履歴記憶部を検索し、一致または類似するエラー修正方法の情報を読み出し、前記エラー修正方法により該当データを修正した修正案、エラーヵ所の情報、修正方法の情報を前記アプリケーションソフトウェアに渡し、前記修正案によるデータ修正可否の指示の入力を促すエラー修正手段と、前記入力部より修正案を許可する指示が入力された場合、前記エラー修正手段により作成された修正案を処理済みデータとして前記データベースへ格納する手段として機能させることを特徴とする。
本発明では、入力部からアプリケーションソフトウェアが取込んだ取込みデータとこの取込みデータの構成情報を取得すると、取込みデータの構成情報を用いて、データベースより構成が一致または類似する構成情報を持つ処理済みデータを取得する。
そして、処理済みデータと取込みデータとを比較して互いのデータの整合性をチェックし、このチェックの結果、エラーが検出された場合、そのエラー検出ヵ所の情報に基づいて、学習履歴記憶部より一致または類似するエラー修正方法の情報を読み出し、このエラー修正方法により該当データを修正した修正案、エラーヵ所の情報、修正方法の情報をアプリケーションソフトウェアに渡し、修正案によるデータ修正可否の指示の入力を促す。入力部より修正案を許可する指示が入力された場合、作成した修正案を処理済みデータとしてデータベースへ格納する。
以上説明したように本発明によれば、データ取込み時のエラー検出率を高め、またエントリされたデータのエラーを自動修正することができる汎用性の高いデータ入力システム、データ入力プログラムを提供することができる。
以下、本発明の実施の形態を図面を参照して詳細に説明する。図1は本発明に係る一つの実施形態のデータ入力システムの構成を示す図である。
図1に示すように、このデータ入力システムは、データファイルを取込むための入力部1、ディスプレイなどの表示部2などを接続したPC本体3とから構成されている。
入力部1は、キーボードやマウスなどのユーザが入力データの編集操作や、編集データの確定やキャンセルなどの指示操作を行うための入力装置(図示せず)、外部記憶装置や他のコンピュータを接続するLANインターフェースなどを含む。
PC本体3には、CPU、メモリ、ハードディスク装置などのハードウェアと、ハードディスク装置にインストールされたオペレーティングシステム(以下、「OS」と称す。)などの基本ソフトウェアと、例えばデータベースソフトウェアなどのアプリケーションソフトウェア20(以下、「アプリ20」と称す。)と、エラー検出・修正部30としてのエラー検出・修正ソフトウェアなどのソフトウェアと、アプリ20により構築され、アクセスされるデータベース10(以下、「DB10」と称す。)とが備えられており、これらソフトウェアは、CPUによりメモリに読み込まれて協動し、本発明の機能を実現する。
アプリ20には、複数の処理機能があり、その中の1つが人事管理機能であり、この実施形態は、アプリ20の人事管理機能を動作させているときに、人事データファイルを取込むものとして説明する。エラー検出・修正部30は、アプリ20とは別に開発され、アプリ20の付加機能(1つの機能モジュール)として組込まれて提供される。
DB10は、メモリまたはハードディスク装置により実現される。DB10には、アプリ20により処理された既に修正済みのデータ(以下、「処理済みデータ11a〜11c」と称す。)、学習履歴記憶部としての学習履歴テーブル12a〜12c、これら学習履歴テーブル12a〜12cを管理するための学習履歴管理テーブル13など登録されている。DB10は、アプリ20が処理した処理済みデータを格納および読み出すことが可能な格納手段(データ蓄積手段)である。
学習履歴テーブル12a〜12cには、過去に取込みデータに対してエラー訂正を行ったときの、エラー検出ヵ所のデータに対する修正方法の情報、この修正方法でデータを修正した修正履歴の情報が記憶されている。つまり学習履歴テーブル12a〜12cには、ユーザが取込みデータに対して行った修正操作の内容が履歴として記憶されている。
例えば学習履歴テーブル12aには、図2に示すように、アプリ20の機能名として「人事管理」、修正方法として「会社名カラムと社員名カラムのデータを入替え」、このテーブルの利用回数として「5」などが記憶されている。
例えば学習履歴テーブル12bには、図3に示すように、機能名として「人事管理」、修正方法として「年齢カラムのデータを漢字から英数字へ変換」、このテーブルの利用回数として「3」などが記憶されている。
例えば学習履歴テーブル12cには、図4に示すように、機能名として「人事管理」、修正方法として「年齢カラムのデータを大文字から小文字へ変換」、このテーブルの利用回数として「2」などが記憶されているものとする。なお各テーブルの利用回数は、エラー検出・修正部30の自動修正エージェント33がテーブルを利用する度に加算される。
図5に示すように、学習履歴管理テーブル13には、グループ名、キーワード、テーブル[優先度]などが管理されている。グループ名は、例えばAAAやBBBなどといったキーワードが一致または類似するテーブルのグループを特定する名称である。グループ名は、キーワードと一致させても良い。キーワードは、学習履歴テーブル12a〜12cの修正方法に含まれるキーワードであり、例えば「入替」、「変換」などといった用語である。
テーブル[優先度]は、学習履歴テーブル12a〜12cを特定する情報と、その時点での優先度を番号(順位)で示したものであり、優先度[1]が設定されているテーブルは最優先で参照される。
入力部1により取込まれるデータファイルとは、アプリ20で処理されるデータである。アプリ20が取込むデータを取込みデータ、アプリ20において処理された後にDB10へ登録されたデータを処理済データとする。
データファイルの形式としては、例えば.CSVファイル(*.csv)、テキストファイル(*.txt)、表形式ファイル(*.xls)などがある。これらデータファイルの利用元のアプリケーション毎にレイアウトが定められている。
レイアウトとしては、例えばデータのサイズ、データの型(VARCHAR型、NUMBER型など)、必須項目、NULL項目、入力形式(西暦、和暦)などが定められている。
具体的な取込みデータは、図6に示すように、例えば会社名、社員名称、年齢、役職などといった人事管理用の表形式のデータなどである。
この例では、一行目の年齢データが「二十四」となっており、このカラムに入るデータとしては、英数字が正しく、エラーとして検出すべきものである。また、二行目では、社員名称と会社名のデータが入れ違っており、これもエラーとして検出すべきものである。
図7はDB10の側に既に登録済みの処理済みデータ11a〜11cの中の1つ、例えば処理済みデータ11aを示すものであり、会社名、社員名称、年齢、役職などの各カラムに正しいデータが格納されている。
アプリ20は、PC本体3上で下記の処理を実行するプログラムである。アプリ20には、インポート機能が備えられている。インポート機能は、入力部1より入力されたデータ、例えばCSV形式などのデータファイルをDB10のデータとして一括登録するためのデータ形式の変換処理を行う機能である。
この他、アプリ20は、入力されたデータを基に処理を行う機能、DB10にアクセスし、データの保存・修正・削除等を行う機能、処理中のデータおよび処理したデータを出力、つまり表示部2へ表示する機能などを有している。
エラー検出・修正部30は、レイアウト取得エージェント31、エラー検出エージェント32、自動修正エージェント33、学習エージェント34などを有している。エージェントは、与えられたルールを基にして自立的に自分自身の動作を決定できるようなソフトウェアである。
レイアウト取得エージェント31は、アプリ20を監視し、入力部1よりアプリ20がデータファイルを取込むと、取込んだデータとこの取込みデータの構成情報(レイアウト、形式など)を取得する取込みデータ取得手段として機能する。
エラー検出エージェント32は、レイアウト取得エージェント31が取得した取込みデータの構成情報を基に、DB10より該当処理済みデータ11a〜11cの中でレイアウト図一致または類似する構成情報を持つ処理済みデータを読出し、読出した処理済みデータと取込みデータとを比較して互いのデータの整合性をチェックしエラーを検出するエラー検出手段として機能する。
自動修正エージェント33は、エラー検出エージェント32によりエラーが検出された場合、そのエラー検出ヵ所の情報に基づいて、学習履歴管理テーブル13から適切なエラー修正情報を持つ学習履歴テーブル12a〜12cのいずれかを検索し、一致または類似するエラー修正方法の情報を読み出し、エラー修正方法により該当データを修正した修正案を作成し、作成した修正案を取込みデータとは別のファイル名でメモリに一時保持すし、その修正案、エラーヵ所の情報、修正方法の情報をアプリ20に渡し、修正案によるデータ修正可否の指示の入力を促すエラー修正手段として機能する。
自動修正エージェント33は、入力部1より修正案を許可する指示が入力された場合、メモリに一時保持しておいた修正案を処理済みデータとしてDB10へ格納する手段として機能する。
自動修正エージェント33は、エラー修正方法の情報である学習履歴テーブル12a〜12cのうち、利用回数の情報に基づいてユーザが利用頻度の高い修正履歴情報を読み出する手段として機能する。
自動修正エージェント33は、学習履歴管理テーブル13を参照してエラー修正に適したエラー修正方法の情報を持つ学習履歴テーブル12a〜12cを選定しエラー修正方法の情報を読み出す。学習履歴管理テーブル13は、学習履歴テーブル12a〜12cに記憶されるエラー修正方法の情報をキーワード毎またはユーザ毎にグループ分けして管理するためのテーブルであり、DB10に備えられている。
自動修正エージェント33は、学習履歴テーブル12a〜12cに記憶されたエラー修正方法の情報を利用する度に、当該学習履歴テーブル(エラー修正方法の情報)に利用回数の情報を加算する手段として機能する。
学習エージェント34は、ユーザによりキー入力操作で取込みデータに対するエラー修正が行われるたびに、ユーザ操作ログをメモリに記録し、取込みデータの保存操作により、新たな学習履歴テーブルを生成しDB10に記憶する。この際、学習エージェント34は、新たな学習履歴テーブルの情報を、ユーザ操作ログからエラー修正方法の情報を抽出し、キーワード毎またはユーザ毎にグループ分けして学習履歴管理テーブル13に登録する。
すなわち、このエラー検出・修正部30は、アプリ20がデータファイルを取込む際に、データファイルの形式・内容についてのエラーチェック、自動修正、ユーザによる修正結果の学習などを行い、ユーザにその結果を示すことで取込みデータファイルの作成を支援する機能である。
以下、図8〜図13を参照してこのデータ入力システムの動作を説明する。まずアプリ20とエラー検出・修正部30との処理について説明する。
このデータ入力システムにおいて、PC本体3上でアプリ20が起動し、アプリ20のデータ編集画面が表示部2に表示されているものとする。
エラー検出・修正部30は、アプリ20の動作を監視しており(図8のステップS101)、ユーザによりデータ編集画面からのインポート操作で、入力部1よりデータファイルをアプリ20が取り込むと(ステップS102)、エラー検出・修正部30は、アプリ20に対して取込みデータの情報を要求する(ステップS103)。
アプリ20は、要求に応じてその取込みデータの情報(データ自体とレイアウト、形式など)をエラー検出・修正部30へ渡す(ステップS104)。これにより、エラー検出・修正部30は取込みデータの情報を取得し(ステップS105)、メモリなどの一時保持領域に記憶する。
取込みデータの情報を取得したエラー検出・修正部30では、レイアウト取得エージェント31が、DB10より該当する処理済みデータの情報(処理済みデータ自体とレイアウト、形式など)を取得し(ステップS106)、メモリなどの一時保持領域に記憶する。
続いて、エラー検出エージェント32は、メモリに記憶した処理済みデータと取込みデータのレイアウトを比較して、互いのデータの整合性(適合性)をチェックし、エラーの有無をチェックする(ステップS107)。
エラーの有無のチェックについて説明する。例えば処理済みデータに、例えば6桁の数値が格納されているカラムがあるとすると、このカラムに該当する取込みデータのカラムに、数値以外のデータや桁数の異なる数値、例えば1桁などの数値データが挿入されていた場合は、明らかな差異、つまり外れ値と判定してエラーありと判定する。
また、処理済みデータのカラムと取込みデータのカラムに桁数の同じ数値や同じ文字種(英数字どうし)のデータが挿入されていた場合はレイアウト、形式のエラーが無いものとする。
エラー検出エージェント32は、エラーチェックの結果、処理済みデータと取込みデータとの整合が取れている場合、エラーなしと判定し(ステップS108のNo)、チェック結果(エラーなしの旨の情報)をアプリ20へ渡す(ステップS109)。
また、エラー検出エージェント32は、エラーチェックの結果、処理済みデータに対して取込みデータが異なる場合、エラーありと判定する(ステップS108のYes)。
すると、自動修正エージェント33は、DB10の学習履歴管理テーブル13へアクセスし、既に登録されている学習履歴テーブル12a〜12c…のうち、ユーザの利用頻度が高い修正方法の情報を持つ学習履歴テーブル、つまり修正履歴を選定する(ステップS110)。
そして、自動修正エージェント33は、選定した学習履歴テーブルの修正方法の情報(修正情報)によって、メモリに記憶していた取込みデータを修正して修正案を作成し、取込みデータとは別ファイルにしてメモリに一時記憶し、作成した修正案やエラー検出エージェント32により検出されたエラーヵ所をアプリ20へ渡す(ステップS111)。
アプリ20は、上記ステップS109の処理でエラーなしのチェック結果、またはステップS111の処理でのエラーヵ所、修正案などを受け取ると(ステップS112)、その内容がエラーありの場合(ステップS113のYes)、エラーヵ所、修正案、この修正案でよいかどうかをユーザに選択させるボタン(「OK」と「キャンセル」のボタン)からなるホップアップ画面を表示部2に表示し、ユーザに指示を促す(ステップS114)。
表示部2の表示を見たユーザが「キャンセル」ボタンをクリック操作すると、アプリ20は、手動修正のために、修正案ではなく、メモリに保持しておいた取込みデータ、つまりデータファイルを開き、表示部2に表示する。
アプリ20により開かれたデータファイルには、エラーヵ所のカラムまたはセルが例えば赤色などで色を変えて表示されており、ユーザはその色の欄を修正すればよい。
ユーザがキーボードなどによるキー入力で、赤色の欄のエラーヵ所をすべて訂正し、「保存」ボタンをクリック操作すると、アプリ20は、修正終了と判定し(ステップS115のYes)、「名前を付けて保存」などといったダイアログボックスを表示部2に表示する。
なお、このステップS115の判定処理においてアプリ20がエラーヵ所の修正を終了したと判定する条件は、「保存」ボタンのクリック操作、つまり修正終了のトリガだけでなく、赤色の欄のエラーヵ所すべてに対してキー入力によるデータの変更操作が行われたかどうかということが条件となる。
学習エージェント34は、アプリ20の動作を監視しつつユーザの訂正操作のログをとっており、アプリ20が修正終了と判定すると、ユーザにより入力された修正内容のログをDB10に新たに学習履歴テーブルとして追加する(ステップS116)。
学習エージェント34は、新たな学習履歴テーブルをDB10に追加すると、その学習履歴テーブルの修正方法の情報欄から、所定のルールに従ってキーワードを抽出し、学習履歴管理テーブル13の該当グループに学習履歴テーブルを登録する。所定のルールとは修正方法の情報を構文解析や語彙解析などを行って単語に分割したときの品詞(主語、述語、動詞)のうち、例えば動詞などを抽出する、など行ったルールである。
ユーザは、表示部2に表示されたダイアログボックスのファイル名入力欄にファイル名を入力し、DB10の所望保存場所を指定し「OK」ボタンをクリック操作すると、処理済みデータがDB10に格納される(ステップS117)。
また、ステップS114の処理において、表示部2の表示を見たユーザが「OK」ボタンをクリック操作すると、アプリ20は、ユーザが修正案を了承したものと判定し、修正案をメモリより読み出して処理済みデータとして上記ダイアログボックスを開くので、上記同様の操作を行うことにより、処理済みデータをDB10へ格納できる。
アプリ20は、処理済みデータをDB10へ格納すると、処理完了を表示し(ステップS118)、取込みデータの処理を終了する。
次に、エラー検出・修正部30の各エージェントの詳細動作を説明する。
(1.エラー検出エージェント32の動作)
エラー検出エージェント32は、アプリ20が入力部1からデータファイルを取込んだときに、取込みデータにエラーがあるかどうかをチェックし、エラーを検出する。
図9に示すように、エラー検出エージェント32は、まず、取込みデータのレイアウト情報と処理済みデータのレイアウト情報との適合性をチェックする(ステップS201)。
エラー検出エージェント32は、例えばDB10の処理済みデータの挿入先カラムの定義及びカラム内のデータを比較し、カラムの条件を満たし、かつカラム内のデータと明らかな差異がないにエラーなしと判定する。
このレイアウト情報の適合性のチェックにより得られるエラー情報は、エラー原因、エラー発生件数、エラー発生箇所などの具体的なエラー内容であり、ユーザに対してエラーの内容を詳細に示すものであり、これはエラー・異常などの個所へユーザをナビゲートするためである。
レイアウト情報の適合性をチェックした結果、互いの情報にエラー・異常がない場合(ステップS201のNo)、エラー検出エージェント32は、続いて取込みデータとDB10から読み出した処理済みデータとを比較して互いのデータ自体の整合性をチェックする(ステップS202)。
データ自体の整合性をチェックする場合、エラー検出エージェント32は、取込みデータと処理済みデータとを比較し、それぞれのカラムの入力条件を満たさない場合、取込みデータが異常であるものと判定し、エラーの内容をアプリ20へ渡し、ユーザへ警告するためのメッセージ表示を行う(ステップS203)。
具体的には、図6の取込みデータと、図7の処理済みデータとを比較したとき、エラー検出エージェント32は、数値で入力しなければならない年齢の列に漢数字が含まれていることをエラーと判定する。
また、エラー検出エージェント32は、会社名の列のデータに全て「株式会社」が含まれていることや、社員名称の列のデータに全て「スペース」が含まれていることを統計データとして保持しており、この統計データを基に取込みデータにエラーがあるかどうかを判定し、エラーが検出された場合、エラーの内容をアプリ20へ渡し、ユーザへ警告する。
(2.自動修正エージェント33の動作)
自動修正エージェント33は、データ取込み時のエラーを、学習履歴テーブルを参照して自動的に修正を行う機能である。
図10に示すように、自動修正エージェント33は、メモリに設定されているエラー件数のカウンタを監視している。エラー検出エージェント32により取込みデータのエラーが検出されて、エラー検出エージェント32がエラー修正のためのエラー件数のカウンタの値を1つ加算すると、自動修正エージェント33は、カウンタのエラー件数の値が0を越えたことを検知して(ステップS301)、DB10の学習履歴管理テーブル13を参照し、発生したエラー・異常に対して自動修正が可能かどうかを判定する(ステップS302)。
なお、自動修正が可能かどうかの判定は、発生したエラー・異常に対して、学習履歴管理テーブル13に登録されているグループの中に、有効な修正情報を持つ学習履歴テーブル12a〜12c…が存在するかどうかで判定される。「有効」とは、エラーヵ所に対して学習履歴テーブル内の修正情報のような修正が可能な場合に有効と判定する。
自動修正エージェント33は、判定の結果、自動修正が可能な場合(ステップS302のYes)、学習履歴管理テーブル13から導き出した該当学習履歴テーブルより、エラー・異常に対して最適な修正方法の情報を読み出してエラー・異常を修正した修正案を作成してアプリ20へ渡し、表示部2に、ダイアログボックスをポップアップ表示することで、ユーザに最適な修正方法を提示する(ステップS303)。
ダイアログボックスには、最適な修正方法の修正案とこれに同意するか否かの指示(「OK」ボタンかキャンセルボタンを押す)を促すメッセージが表示される。
表示部2に表示されたダイアログボックスにて最適な修正方法の修正案を確認したユーザが、「OK」ボタンをクリック操作し、ユーザの同意が得られた場合(ステップS304のYes)、自動修正エージェント33は、ユーザが同意した修正案をメモリから読み出してDB10に処理済みデータとして格納し(ステップS305)、メモリに保持していた元の取込みデータを削除する。
DB10に処理済みデータを格納した後、自動修正エージェント33は、最適な修正方法の修正案の作成元の該当学履履歴テーブルの回数をインクリメント(+1)する(ステップS306)。
ここで、自動修正の具体列を説明する。ステップS302の判定処理において自動修正が可能な場合に、例えば図6の取込みデータを修正する場合、自動修正エージェント33は、取込みデータに対して、エラー検出エージェント32により取込みデータに検出されたエラーヵ所のうち、例えば年齢の欄の漢数字の「二十四」を英数字の「24」に変換する。
また、自動修正エージェント33は、会社名の列(カラム)の2行目の「山田 一郎」と社員名称の列(カラム)の「ABC株式会社」を入れ替える。このようにして取込みデータを自動修正した修正案を生成すると、取込みデータとは別ファイル(別名のファイル)としてメモリに一時記憶し、ユーザにより修正案が了承された場合にこのメモリの別ファイルを修正済みデータとしてDB10へ格納する。
一方、自動修正が不可能な場合(ステップS302のNo)およびユーザの同意が得られなかった場合(ステップS304のNo)、自動修正エージェント33は、取込みデータについては手動修正するものと判定し、DB10の学習履歴管理テーブル13を参照して、発生したエラーヵ所に対して有効な修正情報を持つ学習履歴テーブルのグループを特定し、エラーの内容を修正するのに適当な修正方法の情報を個々の学習履歴テーブルより読み出してユーザの使用頻度が多い順にした修正方法のリストをアプリ20へ渡し、表示部2に一覧表示する(ステップS307)。
「有効」とは、エラーヵ所に対して学習履歴テーブル内の修正情報のような修正が可能な場合に有効と判定する。
エラー検出の際にエラー検出エージェント32は、例えばDB10の処理済みデータの挿入先カラムの定義及びカラム内のデータを比較し、カラムの条件を満たし、かつカラム内のデータと明らかな差異がないに、エラーなしと判定するので、これと類似する判定ルールを用いる。
表示部2に一覧表示(リスト表示)された中から、ユーザが所望のエラー修正方法を選択操作し、この方法でのエラー修正に同意する操作(「OK」ボタンをクリックするなど操作)を行うと(ステップS308のYes)、自動修正エージェント33は、ユーザが同意した修正方法でエラーヵ所のエラーを修正した後、DB10に処理済みデータとして格納し(ステップS309)、メモリに保持していた元の取込みデータを削除する。
図11に、図6の取込みデータを自動修正したデータを示す。
DB10に処理済みデータを格納後、自動修正エージェント33は、今回適用した修正方法の作成元の該当学習履歴テーブルの回数をインクリメント(+1)する(ステップS306)。
また、表示部2に表示したリストの中からユーザが所望のエラー修正方法を選択操作せずに、これらの方法でのエラー修正には同意しない操作(「キャンセル」ボタンをクリックするなど操作)を行うと(ステップS308のNo)、自動修正エージェント33は、ユーザが自身のキー入力でエラーヵ所のエラーを修正するものと判定し、学習エージェント34に通知して自動学習のモードにすると共に(ステップS310)、メモリの取込みデータを開くようアプリ20に指示し、アプリ20が該当データファイル(取込みデータ)を開く。この際、エラーヵ所には、正常なデータとは異なる例えば赤などの色変え表示が行われる。
ユーザは、アプリ20により開かれた取込みデータの該当箇所をキー入力操作などで修正した後、保存ボタン押下して保存操作を行うことで、取込みデータを処理済みデータとしてDB10へ格納する。
(3.学習エージェント34の動作)
学習エージェント34は、データ取込み時に発生したエラーに対してユーザが行った修正方法の情報をログとして自動的に記録し学習履歴テーブルを作成しDB10へ記憶する。
上記ステップS310の学習モードにおいて、取込みデータをアプリ20で開いてそのエラーヵ所をユーザ自身が修正する場合、図12に示すように、学習エージェント34は、アプリの動作を監視する。
そして、取込みデータに変更操作があった場合(ステップS401のYes)、学習エージェント34は、メモリ上において、ユーザ操作ログの記録を開始し、エラー・異常に対してユーザが行った操作ログ(以下、「ユーザ操作ログ」と称す。)を記録する(ステップS402)。
ユーザ操作ログの記録は、保存ボタン押下または再度データが取込まれるまで行われる。
保存ボタン押下または再度データ取込みが行われた場合(ステップS403のYes)、学習エージェント34は、メモリに記録したユーザ操作ログを保存するか否かを確認するための画面(ログ保存確認画面)を表示部2に表示し(ステップS404)、ユーザの指示操作を待つ。
ログ保存確認画面には、「ユーザ操作ログを保存しますか?保存する場合は、OKボタンを押してください。」などのメッセージと、「OK」ボタン、「キャンセル」ボタンなどが表示される。
表示部2に表示されたログ保存確認画面において、「OK」ボタンが操作された場合、学習エージェント34は、保存が指示されたものと判定し(ステップS405のYes)、メモリよりユーザ操作ログを読み出して、読み出したユーザ操作ログの中から予め設定されたルールに従ってキーワードおよび修正方法の情報を抽出して新たな学習履歴テーブルに入力してDB10へ保存する(ステップS406)。予め設定されたルールとは、例えば「変換」、「入替」、「置換」などのキーワードの他、ログの内容を構文解析や語彙解析して得られる主語、目的語、動詞などを抽出する。
例えばユーザが図11のような取込みデータの「社員名称」の列(カラム)のそれぞれの名前の苗字と名前の間の空欄(スペース)を削除した場合、学習エージェント34は、「削除」というキーワードと「社員名称のカラムのスペースを削除」などといった修正方法の情報を記録する。図13に、作成された修正済みデータを示す。
つまり、学習エージェント34は、ユーザがデータの修正を行う際に逐一その操作ログを記録し、データの保存操作により、記録した修正方法の情報を保存するか否かの確認をユーザに行い、ユーザが同意操作を行った場合、新たな学習履歴テーブルをDB10に書き込む。
また、学習エージェント34は、修正方法の情報を保存した学習履歴テーブルの情報を学習履歴管理テーブル13へ登録し管理する。学習した修正方法は、次回同種のエラーが発生した場合に、自動修正エージェント33が使用することになる。
このようにこの実施形態のデータ入力システムによれば、データファイル取込み時のエラー・異常を自動修正することで、ユーザの作業負担を軽減することができる。
また、データファイル取込み時のエラー検出件数を多くし、エラー検出率を高めることで、今まで検出ができなかったエラー・異常が検出できる。
さらに、汎用性を持ったアプリケーション組み込み型のエラーチェック機能を開発することで、開発者の作業負担を軽減することができる。
すなわち、アプリ20が取込んだデータファイルに対して能動的にエラー検出・修正動作を行う各種エージェントを有するエラー検出・修正部30を備えたことで、データ取込み時のエラー検出率を高め、またエントリされたデータのエラーを自動修正することができる。
また、エラー検出・修正部30をアプリ20から分離してアプリ20を監視させて能動的に動作させることで、高い汎用性を持たせることができ、エラー検出・修正機能を多くのアプリケーションへ組み込むことが可能となり、ユーザと開発者の負担を軽減することができる。
本発明の一つの実施形態のデータ入力システムの構成を示す図。 図1のデータ入力システムのDBに記憶された学習履歴テーブルを示す図。 図1のデータ入力システムのDBに記憶された学習履歴テーブルを示す図。 図1のデータ入力システムのDBに記憶された学習履歴テーブルを示す図。 図1のデータ入力システムのDBに記憶された学習履歴管理テーブルを示す図。 取込みデータの一例を示す図。 修正済みデータを示す図。 このデータ入力システムの動作を示すフローチャート。 エラー検出エージェントの動作を示すフローチャート。 自動修正エージェントの動作を示すフローチャート。 自動修正済みのデータを示す図。 学習エージェントの動作を示すフローチャート。 修正後のデータを示す図。
符号の説明
1…入力部、2…表示部、3…PC本体、10…データベース(DB)、12a〜12c…学習履歴テーブル、13…学習履歴管理テーブル、20…アプリケーションソフトウェア(アプリ)、30…エラー検出・修正部、31…レイアウト取得エージェント、32…エラー検出エージェント、33…自動修正エージェント、34…学習エージェント。

Claims (7)

  1. 入力部から取込んだ取込みデータに対してエラー訂正を行った後、データベースへ格納するアプリケーションソフトウェアを備えたデータ入力装置において、
    前記入力部からアプリケーションソフトウェアが取込んだ取込みデータとこの取込みデータの構成情報を取得する取込みデータ取得手段と、
    前記取込みデータ取得手段により取得された取込みデータの構成情報を用いて、前記データベースより構成が一致または類似する構成情報を持つ処理済みデータを取得する処理済みデータ取得手段と、
    前記処理済みデータ取得手段により取得された処理済みデータと前記取込みデータ取得手段により取得された取込みデータとを比較して互いのデータの整合性をチェックしエラーを検出するエラー検出手段と、
    過去に取込みデータに対してエラー訂正を行ったときの、エラー検出ヵ所のデータに対するエラー修正方法の情報が記憶された学習履歴記憶部と、
    前記エラー検出手段によりエラーが検出された場合、そのエラー検出ヵ所の情報に基づいて、前記学習履歴記憶部を検索し、一致または類似するエラー修正方法の情報を読み出し、前記エラー修正方法により該当データを修正した修正案、エラーヵ所の情報、修正方法の情報を前記アプリケーションソフトウェアに渡し、前記修正案によるデータ修正可否の指示の入力を促すエラー修正手段と、
    前記入力部より修正案を許可する指示が入力された場合、前記エラー修正手段により作成された修正案を処理済みデータとして前記データベースへ格納する手段と
    具備したことを特徴とするデータ入力システム。
  2. 請求項1記載のデータ入力システムにおいて、
    前記エラー修正手段により前記学習履歴記憶部に記憶されたエラー修正方法の情報が利用される度に、当該エラー修正方法の情報に利用回数の情報を加算する手段を具備したことを特徴とするデータ入力システム。
  3. 請求項2記載のデータ入力システムにおいて、
    前記エラー修正手段は、前記学習履歴記憶部に記憶されたエラー修正方法の情報のうち、利用回数の情報に基づいてユーザが利用頻度の高い修正履歴情報を読み出する手段を具備したことを特徴とするデータ入力システム。
  4. 請求項1記載のデータ入力システムにおいて、
    前記学習履歴記憶部に記憶されるエラー修正方法の情報をキーワード毎またはユーザ毎にグループ分けして管理するための学習履歴管理テーブルを備え、前記エラー修正手段は、前記学習履歴管理テーブルを参照してエラー修正に適したエラー修正方法の情報を読み出すことを特徴とするデータ入力システム。
  5. 請求項1記載のデータ入力システムにおいて、
    ユーザによりキー入力操作で取込みデータに対するエラー修正が行われるたびに、ユーザ操作ログを記録し、取込みデータの保存操作により、新たなエラー修正方法の情報を生成し前記データベースに記憶する手段を具備したことを特徴とするデータ入力システム。
  6. 請求項4、5いずれか記載のデータ入力システムにおいて、
    新たなエラー修正方法の情報をユーザ操作ログから抽出し、キーワード毎またはユーザ毎にグループ分けして前記学習履歴管理テーブルに登録する手段を具備したことを特徴とするデータ入力システム。
  7. 入力部から取込んだ取込みデータに対してエラー訂正を行った後、データベースへ格納するアプリケーションソフトウェアを備えたデータ入力装置に処理を実行させるデータ入力プログラムにおいて、
    前記データ入力装置を、
    前記入力部からアプリケーションソフトウェアが取込んだ取込みデータとこの取込みデータの構成情報を取得する取込みデータ取得手段と、
    前記取込みデータ取得手段により取得された取込みデータの構成情報を用いて、前記データベースより構成が一致または類似する構成情報を持つ処理済みデータを取得する処理済みデータ取得手段と、
    前記処理済みデータ取得手段により取得された処理済みデータと前記取込みデータ取得手段により取得された取込みデータとを比較して互いのデータの整合性をチェックしエラーを検出するエラー検出手段と、
    過去に取込みデータに対してエラー訂正を行ったときの、エラー検出ヵ所のデータに対するエラー修正方法の情報が記憶された学習履歴記憶部と、
    前記エラー検出手段によりエラーが検出された場合、そのエラー検出ヵ所の情報に基づいて、前記学習履歴記憶部を検索し、一致または類似するエラー修正方法の情報を読み出し、前記エラー修正方法により該当データを修正した修正案、エラーヵ所の情報、修正方法の情報を前記アプリケーションソフトウェアに渡し、前記修正案によるデータ修正可否の指示の入力を促すエラー修正手段と、
    前記入力部より修正案を許可する指示が入力された場合、前記エラー修正手段により作成された修正案を処理済みデータとして前記データベースへ格納する手段
    として機能させることを特徴とするデータ入力プログラム。
JP2005169263A 2005-06-09 2005-06-09 データ入力システム、データ入力プログラム Pending JP2006344012A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005169263A JP2006344012A (ja) 2005-06-09 2005-06-09 データ入力システム、データ入力プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005169263A JP2006344012A (ja) 2005-06-09 2005-06-09 データ入力システム、データ入力プログラム

Publications (1)

Publication Number Publication Date
JP2006344012A true JP2006344012A (ja) 2006-12-21

Family

ID=37640936

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005169263A Pending JP2006344012A (ja) 2005-06-09 2005-06-09 データ入力システム、データ入力プログラム

Country Status (1)

Country Link
JP (1) JP2006344012A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100949596B1 (ko) 2008-06-24 2010-03-25 (주)에이더블유아이 인터넷을 이용한 정보기술 아키텍처의 모델링 방법
US8782000B2 (en) 2010-03-19 2014-07-15 Fujitsu Limited Management device, correction candidate output method, and computer product
JP2017521778A (ja) * 2014-07-08 2017-08-03 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation データ品質例外を処理するための方法、コンピュータ・プログラム、および例外エンジン
JP6364569B1 (ja) * 2018-03-30 2018-07-25 株式会社ラクス 情報処理プログラム、情報処理装置、及び情報処理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100949596B1 (ko) 2008-06-24 2010-03-25 (주)에이더블유아이 인터넷을 이용한 정보기술 아키텍처의 모델링 방법
US8782000B2 (en) 2010-03-19 2014-07-15 Fujitsu Limited Management device, correction candidate output method, and computer product
JP2017521778A (ja) * 2014-07-08 2017-08-03 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation データ品質例外を処理するための方法、コンピュータ・プログラム、および例外エンジン
JP6364569B1 (ja) * 2018-03-30 2018-07-25 株式会社ラクス 情報処理プログラム、情報処理装置、及び情報処理方法
JP2019179467A (ja) * 2018-03-30 2019-10-17 株式会社ラクス 情報処理プログラム、情報処理装置、及び情報処理方法

Similar Documents

Publication Publication Date Title
US11868717B2 (en) Multi-page document recognition in document capture
US10120537B2 (en) Page-independent multi-field validation in document capture
US7689578B2 (en) Dealing with annotation versioning through multiple versioning policies and management thereof
US7043690B1 (en) Method, system, and program for checking contact information
US8201079B2 (en) Maintaining annotations for distributed and versioned files
US8359339B2 (en) Graphical user interface for configuration of an algorithm for the matching of data records
US20020161799A1 (en) Spreadsheet error checker
US20100125828A1 (en) Data transformation based on a technical design document
US20110320431A1 (en) Strong typing for querying information graphs
JP2006031687A (ja) 外部メタデータの処理
JP2005135377A (ja) ランタイムおよび設計でのテキスト変換と多言語サポートをするラベルシステム
CN110389941B (zh) 数据库校验方法、装置、设备及存储介质
TW389855B (en) Method and apparatus for allowing continued operation for overflow and invalid data
JP6665493B2 (ja) 文書点検支援装置、文書点検支援システム及びプログラム
US20060265646A1 (en) System, method, and computer program product for detection of potentially-problematic terminology in documents
JP2006344012A (ja) データ入力システム、データ入力プログラム
CN116661758B (zh) 一种优化日志框架配置的方法、装置、电子设备及介质
US20070033579A1 (en) System and method for searching for multiple types of errors in file following translation into a new natural language
JP2000003403A (ja) 帳票入力支援方法
JP2778025B2 (ja) 共起関係辞書の学習方法
JP4957043B2 (ja) 情報処理装置、プログラム及び業務アプリケーション導入方法
JP2007299093A (ja) 文書管理システム
CN113448617B (zh) 数据对象管理方法、装置、计算机设备和存储介质
JP3290778B2 (ja) トラブル分析支援装置
CN115658735A (zh) 数据库的数据脱敏方法、机器可读存储介质与计算机设备

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090120

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090707