JP5104877B2 - 二クラス分類予測モデルの作成方法、分類予測モデル作成のためのプログラムおよび二クラス分類予測モデルの作成装置 - Google Patents

Description

本発明は、クラス未知のサンプルに対する分類予測モデルを作成するための方法、作成プログラムおよび作成装置に関する。

クラス分類問題とは、複数のクラスのうちどのクラスに属するかが既知であるサンプルの集団から、そのクラスを分類するための規則を学習し、学習した規則を予測モデルのかたちとして使用し、どのクラスに属するかが未知のサンプルについてそれが属するクラスを予測することである。特に、サンプルセットを２つのクラスに分類する二クラス分類は分類問題中でも最も基本的なものであり、長年にわたって構造−活性相関や構造−物性相関研究に活用され、最近では、化合物毒性等の有無を評価する有用な手法として注目されている。規則を学習するための手法、即ち分類手法には、線形学習機械、判別分析、Ｂａｙｅｓ線形判別分析、ＳＶＭ（サポートベクターマシン）、ＡｄａＢｏｏｓｔ等の線形判別分析法、および、Ｂａｙｅｓ非線形判別分析、ＳＶＭ（サポートベクターマシン＋カーネル）、ニューラルネットワーク、ＫＮＮ法（最近隣法）、決定木等の非線形判別分析法がある。

一般的にクラス分類問題では、必ず誤分類が発生し、分類率を１００％にすることが大変難しい。ここで「分類率」とは、帰属クラスが既知のサンプルをどの程度正しくクラス分けを行ったのかを示す指標であり、「予測率」とは、帰属クラスが不明のサンプルをどの程度正しくクラス予測を行ったかを示す指標である。基本的に「分類率」は「予測率」を下回ることはない。従って、「分類率」を上げれば、「予測率」の上限も自動的に上がってくる。この事実から、分類率を高い値にすることが出来れば、予測率も高くなる。また、データ解析の一般的な特徴として、予測モデル作成時に用いるサンプルの数が増えるに従って、誤分類されるサンプルも多くなり、結果として全体の分類率が低下することも良く知られている。ここで、誤分類とは、本来はクラス１に属するサンプルを誤ってクラス２に属するサンプルとして分類することである。これは全体のサンプル数が増えることで、分類上でノイズとなるサンプルの絶対数も増えることが大きな原因である。統計と異なり、多変量解析／パターン認識のような強力なデータ解析手法ではノイズの影響を受けやすく、サンプル数増大は殆どの場合データ解析そのものを困難にする結果となる。

高い分類／予測率が要求される分野として化合物毒性評価が、環境という観点で重用となりつつある。この分野では化合物群を毒性を有する化合物セット（クラス１）と毒性を持たない化合物セット（クラス２）にクラス分類することが多いが、この分野の特徴として毒性発現の要因が複雑で多岐にわたることから、誤分類が発生しやすく、現在存在するデータ解析手法の単純な適用では、分類率を上げることが非常に困難である。

また、分類率の値が高くとも使用するサンプル数が多い場合は誤分類サンプルの絶対数が大きくなるので、この点で注意が必要である。例えば、毒性化合物と非毒性化合物を分類する場合、学習に使用するサンプル数が多い場合、例えば１万個の化合物セットを用いて分類を行う時は、たとえ９０％の分類率が得られていても、１千個の化合物について誤分類されており、この数は無視できない。更に、毒性分類の場合の特徴として、毒性を持たない化合物を毒性を持つと誤分類（フォールスポジティブ）しても大きな影響はないが、毒性化合物を非毒性化合物と誤分類（フォールスネガティブ）することは毒性という特性上非常に危険であり、絶対に避けねばならない問題である。この点でも、分類率は１００％であることが望まれる。

従って、現在、予測率はクラス分類問題の最終ターゲットではあるが、それよりも先に分類率を上げることが重要であると認識され、そのために種々の努力がなされている。先にも述べたように、予測率は分類率を越えないという原則から考えれば、分類率を上げれば、同時に予測率の上昇可能枠も増大することは確実である。本発明者はこの点に着目し、分類率を限りなく１００％に近づけることが可能な分類方法、即ち、「Ｋ−ｓｔｅｐ・Ｙａｒｄ・ｓａｍｐｌｉｎｇ・ｍｅｔｈｏｄ」（以下、ＫＹ法）を提案している（非特許文献１、ＰＣＴ／ＪＰ２００７／０５６４１２）。

この方法について簡単に説明すると、まず、第１のクラスに属することが既知であるサンプルと第２のクラスに属することが既知であるサンプルとによって学習サンプルセットを構成する。この学習サンプルセットに対して判別分析を行って、第１のクラスに対して高い分類率、例えば実質的に１００％の分類率を有する第１の判別関数（以下、ＡＰモデル）と、第２のクラスに対して高い分類率、例えば実質的に１００％の分類率を有する第２の判別関数（以下、ＡＮモデル）を形成する。次に、これら２本の判別関数ＡＰモデル、ＡＮモデルを用いて各サンプルの目的変数を計算し、両判別関数間で目的変数の値、即ち分類結果が一致したサンプルと一致しないサンプルを特定する。

ＡＰモデル、ＡＮモデルは、第１のクラスあるいは第２のクラスに対してほぼ１００％の分類率を有するため、ＡＰモデルおよびＡＮモデルを用いた分類の結果が一致したサンプルは、そのクラス分類は正しいと判断される。したがって、結果が一致したサンプルについては、分類されたクラス１又はクラス２にアサインする。一方、ＡＰモデル、ＡＮモデルで結果が一致しないサンプルはクラス決定がされない第３のクラスとなるグレークラスにアサインする。

以上のようにして第１段階のグレークラスが形成されると、次に、このグレークラスにアサインされたサンプルを取り出し、新たなサンプルセットを構成する。このサンプルセットに対して、上述したＡＰモデル、ＡＮモデルを新たに作成し各サンプルのクラス分けを行う。この結果、第２段階のグレークラスが形成されると、以下、同様にして、第３段階のグレークラスの形成、第４段階のグレークラスの形成を実行する。このグレークラスの形成を、最終的にグレークラスにアサインされるサンプル数が０となるまで続けることによって、全てのサンプルが正しく本来のクラス１またはクラス２に分類される。即ち、分類率１００％が達成される。

「Ｋ−ｓｔｅｐ・Ｙａｒｄ・ｓａｍｐｌｉｎｇ・ｍｅｔｈｏｄの開発とＡＤＭＥ−Ｔ予測への適用」３４回構造活性相関シンポジウム、２００６年１１月 「テーラーメードモデリングによる化学データ解析手法」第３０回情報化学討論会、２００７年１１月

上述したように、ＫＹ法ではほぼ確実に学習サンプルセットを１００％分類可能とすることができ、完全分類を実現するという観点からは、従来の手法とは比較にならない程有用である。ところが、この方法では、各段階のグレークラスサンプルを特定するために２本の特殊な判別関数ＡＰモデル、ＡＮモデルを作成する必要がある。そのため、サンプル数が増大し、解析に必要な段階数が、例えば数十にも及ぶようになると、モデル作成の手間や時間が膨大となる欠点を有している。また、分類／予測に必要な計算時間も長くなり、このモデルを使用して分類／予測を行おうとするユーザに負担をかけることとなる。

本発明は、従来手法の上記のような問題点を解決するためになされたもので、ほぼ分類率を確保することができ、しかもモデル作成が容易な二クラス分類予測モデルの作成方法、分類予測モデル作成のためのプログラムおよび二クラス分類予測モデルの作成装置を提供することを課題とする。

上記課題を解決するために、ａ）学習サンプルセットの個々の学習サンプルについて発生させた説明変数に基づいて、前記学習サンプルセットを予め決定した二クラスに分類するための判別関数を求め、ｂ）前記求めた判別関数に基づいて各学習サンプルの判別得点を算出し、ｃ）前記算出した判別得点に基づいて各学習サンプルの分類予測の正誤を決定し、ｄ）誤分類された学習サンプルセット中の最大、最小の判別得点に基づいて誤分類サンプル領域を決定し、ｅ）前記誤分類サンプル領域に含まれる学習サンプルを取り出して新たな学習サンプルセットを構成し、ｆ）前記新たな学習サンプルセットに対して、前記ａ）〜ｅ）のステップを繰り返し、ｇ）前記繰り返しの結果として得られた複数の判別関数と、個々の前記判別関数に付随する誤分類サンプル領域の情報とをクラス未知サンプルの分類予測モデルとして記憶する、各ステップを備える、二クラス分類予測モデルの作成方法を提供する。

上記方法において、前記ステップｄ）における前記誤分類サンプル領域は、誤分類された学習サンプル中の最大、最小の判別得点に任意の安全幅を付加して決定するようにしても良い。また、前記ステップｃ）で誤分類された学習サンプルが０となった時点で分類を終了させても良い。

上記方法において、前記ステップｆ）は、あらかじめ決定した回数、前記ステップａ）〜ｅ）を繰り返すようにしても良い。さらに、前記学習サンプルセットに対して発生させた説明変数に特徴抽出を実施して、不要な説明変数を除去するステップを設けても良い。

また、上記課題を解決するために、ａ）学習サンプルセットの個々の学習サンプルについて発生させた説明変数に基づいて、前記学習サンプルセットを予め決定した二クラスに分類するための判別関数を求めるステップと、ｂ）前記求めた判別関数に基づいて各学習サンプルの判別得点を算出するステップと、ｃ）前記算出した判別得点に基づいて各学習サンプルの分類予測の正誤を決定するステップと、ｄ）誤分類された学習サンプルセット中の最大、最小の判別得点に基づいて誤分類サンプル領域を決定するステップと、ｅ）前記誤分類サンプル領域に含まれる学習サンプルを取り出して新たな学習サンプルセットを構成するステップと、ｆ）前記新たな学習サンプルセットに対して、前記ａ）〜ｅ）のステップを繰り返すステップと、をコンピュータに実行させるための、二クラス分類予測モデルの作成プログラムを提供する。

また、上記課題を解決するために、クラス１あるいはクラス２に所属することが既知の複数のサンプルで構成される学習サンプルセットから、前記クラス１あるいはクラス２への所属が不明である未知サンプルをクラス分類するためのモデルを作成する装置であって、前記学習サンプルセットの各サンプルについて説明変数を取得する説明変数取得装置と、前記取得した説明変数に基づいて判別分析を行い、上記クラス１およびクラス２を判別するための判別関数を得る、判別関数作成エンジンと、前記作成された判別関数に基づいて前記各サンプルの判別得点を算出する、判別得点算出装置と、前記算出された判別得点に基づいて誤分類サンプル領域を決定し、該領域内の前記サンプルを取り出して新たなサンプルセットとして設定する、サンプルセット設定装置と、前記設定された新たなサンプルセットを前記学習サンプルセットとして用いて前記説明変数取得装置、前記判別関数作成エンジン、前記判別得点算出装置および前記サンプルセット設定装置を繰り返し動作させる制御装置と、前記判別関数作成エンジンによって作成された判別関数と、前記サンプルセット設定装置において決定された誤分類サンプル領域に関する情報とを、分類予測のためのモデルとして保存する記憶装置と、を備える、二クラス分類予測モデルの作成装置を提供する。

本発明では、作成された判別関数に基づいて得た各サンプルの判別得点から、その判別関数によって形成されたパターン空間における誤分類サンプル領域を決定するようにしている。即ち、作成された判別関数によって誤分類とされたサンプルの最大および最小の判別得点に基づいて誤分類サンプル領域、即ちグレーゾーンを特定する。これによって、判別得点がこの最大値および最小値の間にある全てのサンプルをグレークラスサンプルとして特定することができる。即ち、本発明では、１段階のグレークラスサンプルを特定するために１本の判別関数しか必要としない。そのため、特殊な２本の判別関数をグレーゾーン決定のために必要とする従来の方法に比べて、モデル作りのための作業が大幅に簡略化される。

また、誤分類サンプルであると決定されたサンプル中の最大および最小の判別得点に対して安全幅を持たせてグレーゾーンを決定することにより、作成された分類予測モデルの信頼性を向上させることができる。分類予測モデルの信頼性向上は、そのモデルをクラス未知サンプルの分類予測に使用した場合の予測率の向上につながり、非常に重要な指標である。

図１は、理想的に実施された二クラス分類によるパターン空間を示す図である。 図２は、分類率が１００％に達しない場合の二クラス分類によるパターン空間を示す図である。 図３は、本発明に係る二クラス分類予測モデルを用いたグレーゾーン決定の基本原理を示す図である。 図４Ａは、本発明の一実施形態に係る二クラス分類予測モデル作成方法の実施手順を示すフローチャートの前半部分である。 図４Ｂは、図４Ａに示すフローチャートの後半部分を示す図である。 図５は、入力データテーブルの一例を示す図である。 図６は、初期パラメータセットテーブルの一例を示す図である。 図７は、本発明の一実施形態による、クラス１、クラス２およびグレークラスサンプルの区分を示す図である。 図８は、本発明の一実施形態に係る、グレークラスサンプルの段階的分類方法を説明するための図である。 図９は、予測モデル保存テーブルの一例を示す図である。 図１０は、本発明に係る二クラス分類予測モデルの作成方法をテーラーメードモデリングに適用した実施形態を示すフローチャートである。 図１１は、本発明の方法によって作成された予測モデルを用いて、未知サンプルの分類予測を行う手順を示すフローチャートである。 図１２は、本発明の一実施形態に係る分類予測モデル作成装置のシステム構成を示す図である。

符号の説明

１ クラス１の誤分類サンプル
２ クラス２の誤分類サンプル
１０ クラス１サンプル○のうち、最小の判別得点を有する誤分類サンプル
２０ クラス２サンプル×のうち、最大の判別得点を有する誤分類サンプル
１００ 分類予測モデル作成装置
１１０ 入力装置
１２０ 出力装置
１３０ 入力データテーブル
１４０ 初期パラメータセットテーブル
１５０ 最終パラメータセットテーブル
１６０ 予測モデル保存テーブル
２００ 解析部
２１０ 初期パラメータ発生エンジン
２２０ 制御部
２３０ 特徴抽出エンジン
２４０ 判別関数作成エンジン
２５０ 判別得点算出部
２６０ 新たなサンプルセット設定部
２７０ 解析終了条件検出部
２８０ 類似度計算部
２９０ スクリーニング装置

最適な実施形態を説明する前に、その原理について簡単に説明する。

図１は、理想的な二クラス分類の結果としてのパターン空間を示す。理想的とは、分類率が１００％であることを意味する。図において、Ｓは識別面あるいは超平面を示し、識別面Ｓの右側の領域Ａがクラス１のサンプルが存在する領域Ａ（以下、クラス１領域）であり、左側の領域Ｂがクラス２のサンプルが存在する領域Ｂ（以下、クラス２領域）である。○は本来クラス１に属するサンプル、×は本来クラス２に属するサンプルを示す。

二クラス分類が理想的に、即ち分類率１００％で行われた場合は、識別面Ｓの両側にそれぞれクラス１のサンプル○、クラス２のサンプル×が位置し、クラス１の領域Ａとクラス２の領域Ｂは重ならない。ところが、通常の二クラス分類では、領域Ａと領域Ｂに重なりが生じる。

図２は、通常の二クラス分類の結果としてのパターン空間を示す。分類率が１００％未満の場合、図示するように、識別面Ｓによって領域Ａ、Ｂが完全に分類されず、その結果、本来はクラス１のサンプルであってもクラス２領域に入り込み、クラス２サンプルとして分類されるサンプル１、１、・・・、本来はクラス２のサンプルであってもクラス１領域に入り込みクラス１サンプルとして分類されるサンプル２、２、・・・が発生する。これらの間違って分類されるサンプルを誤分類サンプルと呼び、正しく分類されるサンプルを正分類サンプルと呼ぶ。従って、誤分類サンプルには、本来クラス１であるサンプルおよび本来クラス２であるサンプルの両者が含まれる。

従来の分類手法では、このような誤分類サンプルの発生をできるだけ抑えることができる、図１で示されるような判別関数を創造することによって、高い分類率を達成しようとしていたが、このように完全に分類可能な判別関数の作成は極めて困難であり、サンプル数が増える程この困難性は急激に増大する。ＫＹ法ではこのような従来の方法とは全く異なるアプローチを取る。即ち、ＫＹ法では、パターン空間を正分類サンプルのみが存在する領域と、正分類サンプルと誤分類サンプルとが混在する領域、即ち、グレーゾーンとに別けて考え、このような混在領域（グレーゾーン）に存在するサンプルを取り出して新たな学習サンプルセットを構成し、この学習サンプルセットについて新たな判別分析を行い、この手順を繰り返すことを特徴としている。このとき、個々の段階で正分類されたサンプルは、正分類されたクラスにアサインする。これを繰り返すことにより、最終的には全てのサンプルを正分類することが可能となる。

従って、ＫＹ法では、図２のパターン空間において、どのようにして正分類サンプル領域とグレーゾーンとを分離するかが重要な課題となる。本発明者が既に提案した手法では、正分類領域とグレーゾーンを分離するために、ＡＰモデルおよびＡＮモデルという正反対の分類特性を有する特殊な２本の判別関数を利用する。

ここで、判別関数（モデル）Ｙは、以下の式（１）で示される。
Ｙ＝ａ１ｘ１±ａ２ｘ２±・・・±ａｎｘｎ±Ｃ （１）

式（１）において、Ｙは目的変数、ｘ１、ｘ２、・・・ｘｎは説明変数（パラメータ）、ａ１、ａ２、・・・ａｎは重み係数、Ｃは定数を示す。説明変数ｘ１、ｘ２、・・・ｘｎは、各サンプルによって異なる値であり、重み係数ａ１、ａ２、・・・ａｎは全サンプルに共通の値である。通常、クラス１に属するサンプルは目的変数Ｙの値が正の値に、クラス２に属するサンプルは目的変数Ｙの値が負の値になるように重み係数が選択されている。この場合、識別面ＳはＹの値が０となる平面（超平面）を示す。

判別関数（１）に、各サンプルについて求めた説明変数（パラメータ）ｘ１、ｘ２、・・・ｘｎを代入することにより、各サンプルの目的変数の値Ｙ（１）、Ｙ（２）、・・・、Ｙ（ｋ）、・・・Ｙ（ｎ）が求められる。この値Ｙ（ｋ）は、判別分析においては「目的変数」あるいは「独立変数」として意味づけされるが、数値データとしてみた場合、連続変数である「判別得点」を示す。判別得点は、パターン空間上において、各サンプルと識別面Ｓとの距離を示している。本発明では、グレーゾーンの特定にこの判別得点を利用することを考えた。

二クラス分類において、通常、クラス１サンプルの判別得点はプラスの値となり、クラス２のサンプルの判別得点はマイナスの値となるように、判別関数が作成されており、判別得点の絶対値の大きさはクラス分類の情報としては利用されていない。従って、個々のサンプルのクラス決定には判別得点の値がプラスであるか、マイナスであるかの情報しか利用していない。このように、判別分析では判別得点の大きさ（絶対値）が分類目的の特性の強さを示すものでは決してない。

しかしながら、判別得点Ｙを計算する判別関数自体は、複数のサンプルで構成されるサンプル空間上での相互位置関係に基づいて構築されている。従って、識別面（超平面）からの距離を意味する判別得点は単なる距離関係だけではなく、複数サンプル間の複雑な相互位置関係に関する情報も示している。このように、判別得点は各サンプルを特定するパラメータの値を基に式（１）に従って計算されるものであるから、この判別得点Ｙ（ｋ）により、各サンプル間の関係は固定されることになる。この結果、元の目的変数情報は単純な２クラスの記号情報（例えば、＋／−、１／２等）であったものが、判別得点の大小が個々のサンプル間の相互位置関係を含む高度な情報ソースとなる。

図２に示すように、誤分類サンプル１、２は、識別面Ｓの近傍において発生する傾向がある。即ち、識別面Ｓとサンプル間の距離が小さい領域において誤分類サンプル１、２が発生しやすい。識別面Ｓとサンプル間の距離が大きくなる程、誤分類サンプルの発生の度合いが小さくなる。判別得点は、識別面Ｓとサンプル間の距離を表すもので、従って、判別得点が大きいほど、あるいは小さいほど、誤分類サンプルの発生の度合いが低下すると考えられる。即ち。判別得点は、サンプルパターン空間的な観点から見れば、分類の確からしさを示す指標であると考えてもよい。

従って、誤分類領域を誤分類サンプルのうちの最大の判別得点と、最小の判別得点に基づいて決定することができる。図２に示すように、正分類サンプルと誤分類サンプルの混在領域、即ち、グレーゾーンを判別得点で見た場合、クラス１サンプル○のうち最小の判別得点を有するサンプル１０と、クラス２サンプル×のうち最大の判別得点を有するサンプル２０間が正分類サンプルと誤分類サンプルが混在するグレーゾーンであることが分かる。

図３は、判別得点Ｙについて各サンプルをソーティングした状態を示す。各サンプルの判別得点は、最大のＹ（ｍａｘ）から最小のＹ（ｍｉｎｉ）までの範囲に延びる直線Ｙ上に存在する。判別得点Ｙは識別面上で０となり、クラス１の全てのサンプルは本来、判別得点Ｙがプラスとなるべきであるが誤分類されたサンプルはマイナスとなる。クラス２の全てのサンプルは本来、判別得点Ｙがマイナスとなるべきであるが、一部誤分類されたサンプルはプラスとなる。図３から明らかなように、判別得点Ｙについて考えると、誤分類サンプルと正分類サンプルが混在する領域、即ちグレーゾーンは、誤分類されたクラス１サンプルの内、最小の判別得点Ｙｅ（ｍｉｎｉ）を有するサンプルと、誤分類されたクラス２サンプルの内、最大の判別得点Ｙｅ（ｍａｘ）を有するサンプルとで挟まれた領域となることが分かる。

即ち、判別得点Ｙにおいて、
Ｙｅ（ｍｉｎｉ）≦Ｙ≦Ｙｅ（ｍａｘ） （２）
となる領域がグレーゾーンであり、この領域中の正分類および誤分類サンプル全てがグレークラスサンプルとなる。

従って、学習サンプルについて二クラス分類を実行し、得られた判別関数によって各サンプルの分類予測を実行し、誤分類サンプルを特定する。同時に、各サンプルを判別得点に基づいてソーティングし、誤分類サンプルの最大の判別得点Ｙｅ（ｍａｘ）と最小の判別得点Ｙｅ（ｍｉｎｉ）を特定し、判別得点Ｙが、Ｙｅ（ｍｉｎｉ）≦Ｙ≦Ｙｅ（ｍａｘ）にあるサンプルを抜き出し、これらのサンプルをグレーゾーンに帰属させる。このようにしてグレーゾーンサンプルが特定されると、これを新たな学習サンプルセットとして次の段階の二クラス分類を実行する。

なお、グレーゾーンの信頼性を上げるために、図３のグレーゾーンをマイナスおよびプラスの方向にα、β分拡大して、拡大グレーゾーンを形成するようにしても良い。この場合、拡大グレーゾーンに帰属しているサンプルを取り出し、これらのサンプルもグレーゾーンに帰属しているサンプル群に加え、形成されたサンプル群を新たな学習サンプルセットとすることで、分類の信頼性がより向上する。これは、本来は正分類領域として設定されるべき領域のうち、誤分類が発生しているグレーゾーンに近い正分類領域を一時的に誤分類領域に組み込むことで、確実に正分類される領域のみを正分類領域として指定することを意味し、結果として予測率の向上が期待されることとなる。

以上のように、本実施形態では、一本の判別関数によって求めた各サンプルの判別得点に基づいてグレーゾーンを形成している。そのため、ＡＮ、ＡＰの特殊な分類特性を持つ２本の判別関数によってグレーゾーンを作成する場合に比べて、モデル作りが大幅に簡略化される。

図４Ａ、４Ｂは、一実施形態にかかる分類予測モデルの作成方法の手順を示すフローチャートである。まず、目的特性に対する値が既知の複数のサンプルを用意する。例えば、ある毒性を有することが既知であるサンプル、即ちポジティブサンプルを例えば５００個、その毒性を持たないことが既知であるサンプル、即ちネガティブサンプルを例えば５００個用意する。用意されたサンプルは分類予測モデルの作成装置に入力され（ステップＳ１）、図５に示すようなサンプルデータを保存するためのテーブルが作成される。

図５において、コラム５０はサンプルである化合物の２次元あるいは３次元の構造式を示す。コラム５１はその化合物のＣＡＳ番号を示し、コラム５２は、Ａｍｅｓテストの結果を示している。コラム５２において、ｍｕｔａｇｅｎはＡｍｅｓテストの結果、変異原性有り（＋）を示し、ｎｏｎｍｕｔａｇｅｎは変異原性を持たない（−）ことを示している。図示の例では、ｍｕｔａｇｅｎであるサンプルをクラス１（ポジティブクラス）にｎｏｎｍｕｔａｇｅｎであるサンプルをクラス２（ネガティブクラス）に二クラス分類するためのデータテーブルを示している。なお、コラム５３は、サンプル番号を示す。

次に、図４ＡのステップＳ２において、目的変数を算出するための初期パラメータ、即ち説明変数（ｘ１、ｘ２・・・ｘｘ）を発生させる。初期パラメータは、化合物の構造から自動的に発生させることができる。例えば、富士通株式会社で販売するＡＤＭＥＷＯＲＫＳ−ＭｏｄｅｌＢｕｉｌｄｅｒ（登録商標）では、化合物の２次元あるいは３次元構造、各種の物性に基づいて数千個のパラメータを発生させることができる。なお、これらのパラメータとして、外部で作成されたパラメータ群を持ってきて、先の構造式から作成されたパラメータ群と合わせて用いる、あるいは外部から取り入れたパラメータだけを用いて次のステップに行くことも可能である。ステップＳ３では、分類／予測モデルの第一段階となるＳＴＡＧＥ１を開始するために、ＳＴＡＧＥを１に設定する。

ステップＳ４では、発生させた初期パラメータに対して特徴抽出を行い、分類に不必要なノイズパラメータを除去する。これによって、最終パラメータセット（ｘ１、ｘ２・・・ｘｎ）が決定される（ステップＳ５）。特徴抽出としては、パラメータの出現頻度、ミッシングパラメータの有無、単相関係数、重相関係数、Ｆｉｓｃｈｅｒ比、Ｖａｒｉａｎｃｅ法、Ｖａｒｉａｎｃｅ Ｗｅｉｇｈｔ法、遺伝的アルゴリズムに基づくアプローチなどの種々の既知手法を用いて実施することができる。特徴抽出のための各種のエンジンも一般に提供されている。

図６は、特徴抽出の結果、Ａｍｅｓテスト結果の分類／予測に重要な働きをするとして選択された最終パラメータセットと、個々の化合物のこれらのパラメータに対する数値データを示すテーブルである。コラム６０は化合物を構造式で特定し、コラム６１以降は各種のパラメータを示している。例えば、コラム６１は化合物の分子量を、コラム６２は分子表面積を、コラム６３はｌｏｇＰの値をパラメータとしたことを示している。データテーブル中のセル６４内に記載された値は、サンプル１の分子の分子量を示すデータ、セル６５内の値は、サンプル１の分子表面積の値を示すデータ、セル６６内の値はサンプル１のｌｏｇＰ値を示すデータである。各セル内に示された値が、そのサンプルのパラメータデータとなる。なお、コラム６７は、各サンプルのサンプル番号を示している。

ステップＳ６では、ステップＳ５で決定された最終パラメータセットの数とサンプル数とを比較し、［サンプル数］／［最終パラメータ数］があらかじめ決定した数Ｍより大きいか否かを判定する。即ち、以下の式が満足されるか否かが判定される。

［サンプル数］／［最終パラメータ数］＞Ｍ （３）
ここで、Ｍは例えば４程度の値であり、Ｍがこの値以下の場合、データ解析の有意性が損なわれるとみなされる値である。従って、ステップＳ６でＮＯの場合はステップＳ７に移行して処理を終了する。

ステップＳ６でＹＥＳの場合、ステップＳ５で決定された最終パラメータセットを用いて判別分析を行い、第１段階の判別関数１を作成する（ステップＳ８）。判別分析では、判別関数はデータ解析手法ごとに変化するが、一般的には上記式（１）として示される。

ステップＳ９では、作成した判別関数を用いて各サンプルの判別得点を計算し、サンプルが正分類されているか、誤分類されているかをチェックする。ｋ番目のサンプルの判別得点Ｙｋは、
Ｙｋ＝ａ１ｘ１ｋ±ａ２ｘ２ｋ±・・・±ａｎｘｎｋ±Ｃ （４）
として計算される。ここで、ｘ１ｋ、ｘ２ｋ、・・・ｘｎｋは、ｋ番目のサンプルのパラメータ（説明変数）データ、ａ１、ａ２、ａ３・・・ａｎは各パラメータに対する重み係数である。Ｃｏｎｓｔは定数である。

パラメータデータｘ１１、ｘ２１、ｘ３１・・・は、図６の各セル内に記載されたデータにより得られる。したがって、判別分析により、各パラメータに対する係数ａ１、ａ２・・・が求められると、図６のテーブルに示される各セル内のデータを式（４）に導入することによって、サンプルｋの判別得点Ｙｋが計算される。なお、パラメータの値の単位がパラメータの種類ごとに大きく異なる場合は、セル内の値を一旦オートスケーリング等の操作により変換された値をセルデータとして用いることもある。

この計算値値Ｙｋの正負により、サンプルのクラス分類が行われる。本実施形態では、ｎｏｎｍｕｔａｇｅｎの場合、Ｙの値がマイナスとなり、ｍｕｔａｇｅｎの場合Ｙの値がプラスとなるように判別関数が作成される。従って、判別得点Ｙｋがプラスの値を取るサンプルはクラス１（ポジティブ）に、判別得点Ｙｋがマイナスの値を取るサンプルはクラス２（ネガティブ）にアサインされる。なお、判別分析を行う各種のエンジンも一般に提供されている。

サンプルｋの判別得点Ｙｋが計算されると、この値をサンプルＹｋの本来の特性と比較することによって、サンプルの正分類、誤分類がチェックされる。例えば、図５のサンプル１について計算した判別得点Ｙ１がマイナスであった場合、コラム５２からこのサンプルは本来、Ａｍｅｓテストについてマイナスであることが分かるので、サンプル１は正分類されていると判定することができる。サンプル３について計算した判別得点Ｙ３がプラスであった場合、コラム５２からこのサンプルは本来、Ａｍｅｓテストについてマイナスであることが分かるので、サンプル３は誤分類されていると判定することができる。

全サンプルの正誤分類のチェックが終了すると、図４ＡのステップＳ１０で誤分類サンプルが存在するか否かをチェックする。誤分類サンプルが存在しない場合（ステップＳ１０のＹＥＳ）は、判別関数１によって１００％の分類が行われていると考えられるため、ステップＳ７に進んで処理を終了する。ステップＳ１０で誤分類サンプルが存在する場合（ステップＳ１０のＮＯ）、図４ＢのステップＳ１１に移動し、全サンプルを判別得点に基づいてソーティングする。ステップＳ１２では、判別得点のソーティング結果に基づいて、誤分類サンプル中の最大の判別得点Ｙｅ（ｍａｘ）および最小の判別得点Ｙｅ（ｍｉｎｉ）を決定する。

ステップＳ１２では、ステップＳ１１で決定された誤分類サンプル中の最大の判別得点Ｙｅ（ｍａｘ）および最小の判別得点Ｙｅ（ｍｉｎｉ）、予め決定した安全幅α、βに基づいてグレーゾーン、あるいは拡大グレーゾーンを決定する。このグレーゾーンに関する情報は、判別関数１と共にＳＴＡＧＥ１のモデル情報として記憶される。

安全幅α、βは例えば次のようにして設定される。即ち、図３に示すように、判別得点におけるグレーゾーンの最小値Ｙｅ（ｍｉｎｉ）と全サンプルにおける判別得点の最小値Ｙ（ｍｉｎｉ）との差の例えば５０％をαとする。同様に、判別得点におけるグレーゾーンの最大値Ｙｅ（ｍａｘ）と全サンプルにおける判別得点の最大値Ｙ（ｍａｘ）との差の例えば５０％をβとする。α、βを大きくすればするほど、本方法における分類予測モデルの信頼性は向上するが、反対にグレーゾーン内に帰属するサンプル数が多くなり、その分ＳＴＡＧＥ（段階）数が増加してモデル作成の作業量が増大し、予測に必用な計算時間も増大する。

最大の信頼性を得るためには、全サンプル中で最小の判別得点を有するサンプルの次に続く二番目に最小の判別得点を有するサンプルの判別得点と、全サンプル中で最大の判別得点を有するサンプルの次に大きい判別得点を有するサンプルの判別得点との間が拡大グレーゾーンとなるようにα、βを設定すれば良い。この場合は、最小の判別得点と最大の判別得点を有する２個のサンプルのみを除いて、その他のサンプルが全て拡大グレーゾーン中のサンプルとして特定されることとなる。

図４ＢのステップＳ１３で拡大グレーゾーンが決定されると、ステップＳ１４において、拡大グレーゾーン内のサンプル（グレークラスサンプル）を取り出して新たなサンプルセットを構築する。このグレーゾーン内には、ステップＳ９で誤分類されたサンプルおよび正分類されたサンプルの両者が含まれる。拡大グレーゾーンが決定されると、ステップＳ１５では、拡大グレーゾーンの外側にあるサンプルを特定し、特定したサンプルについて、ステップＳ９でアサインされたクラスに所属を決定する。従って、ステップＳ１５の終了の時点で、学習サンプルセットは、クラス１のサンプル、クラス２のサンプル、拡大グレーゾーン内のサンプル（グレークラスサンプル）に分類される。なお、純粋に未知サンプルの分類予測モデルを作成する場合は、ステップ１５は必要ではない。

図７は、ステップＳ１５の実施の結果としてアサインされた、クラス１サンプル、クラス２サンプルおよびグレークラスサンプルを、図２のパターン空間上で示している。図７に示す状態がＳＴＡＧＥ１の結果である。

以上のようにして、ＳＴＡＧＥ１の結果が得られると、ステップＳ１６でＳＴＡＧＥを１だけ進め、図４ＡのステップＳ４に戻って、ステップＳ１４で構築された新たなサンプルセット、即ち、グレークラスサンプルセットを新たな学習サンプルとし、ＳＴＡＧＥ２の判別分析を実行する。ＳＴＡＧＥ１の場合と同様にして、ステップＳ４からステップＳ１５を実行することにより、ＳＴＡＧＥ２でのクラス１サンプル、クラス２サンプルおよびグレークラスサンプルが特定される。グレークラスサンプルが特定されると、ステップＳ４以下を再度実行して、ＳＴＡＧＥ３におけるクラス１サンプル、クラス２サンプルおよびグレークラスサンプルの特定を行う。なお、安全幅α、βは全ＳＴＡＧＥ共通に設定しても良いし、ステージ単位に異なる値を設定しても良い。

ステップＳ４からステップＳ１５にいたる繰り返し処理は、ステップＳ６で、サンプル数とパラメータ数との関係が予め決定した比率Ｍより小さくなる場合（ステップＳ６のＮＯ）あるいはステップＳ１０で誤分類サンプルが０となる場合に終了する。ステップＳ１０で終了した場合、最初の学習サンプル全てがサンプル本来のクラスに分類され、分類率１００％となる。

図８は、ＳＴＡＧＥ１から例えばＳＴＡＧＥ３までの処理を概念的に示す図である。この図より、ＳＴＡＧＥ１でグレークラスサンプルと特定されたサンプルによりＳＴＡＧＥ２の学習サンプルセットを構成し、ＳＴＡＧＥ２でグレークラスサンプルとして特定されたサンプルでＳＴＡＧＥ３の学習サンプルセットを構成することが容易に理解される。この処理は、グレークラスのサンプルが０となるまで続けられる。なお、図８において、Ｙｇ１（ｍｉｎｉ）、Ｙｇ２（ｍｉｎｉ）、Ｙｇ１（ｍａｘ）、Ｙｇ２（ｍａｘ）等は、グレーゾーン（あるいは拡大グレーゾーン）を規定する判別得点情報であり、これらの情報は各段階の判別関数と共に、モデルを構成するために保存される。

図９は、各ＳＴＡＧＥで得られた情報によって構成される分類予測モデルを保存するためのテーブルを示している。図示するように、本実施形態の分類予測モデルは、各ＳＴＡＧＥによって作成された判別関数１、判別関数２、・・・判別関数ｎと、各ＳＴＡＧＥにおけるグレーゾーン情報、即ち、拡大グレーゾーンを規定する最小、最大の判別得点［Ｙｇ１（ｍｉｎｉ）、Ｙｇ１（ｍａｘ）］、［Ｙｇ２（ｍｉｎｉ）、Ｙｇ２（ｍａｘ）］、・・・、［Ｙｇｎ（ｍｉｎｉ）、Ｙｇｎ（ｍａｘ）］とで構成される。

図４Ａおよび４Ｂに示す第１の実施形態では、ステップＳ１０において誤分類サンプルが存在する限り次のＳＴＡＧＥの判別分析を実行するようにしている。代替的な実施形態では、この代わりに、実施可能なＳＴＡＧＥ数を一定数に限定し、一定数のＳＴＡＧＥによる処理が終了すると誤分類サンプルが存在しても全体の処理を終了するようにしても良い。

この場合には、図４ＢのステップＳ１６の次に、ＳＴＡＧＥ数が予め決定した回数以下であるか否かを判定するステップを設ければ良い。更に代替的な実施形態として、プログラムの処理時間を予め一定時間に制限し、この時間の経過後はプログラムを強制的に終了させるようにしても良い。これらの方法によって、学習サンプル中に間違ったデータ等が含まれていて誤分類サンプルがいつまでも０とならない場合に、モデル作成のための処理を強制終了させることができる。

更に他の代替実施形態では、各ＳＴＡＧＥで実施する判別分析手法を異なる手法としても良い。例えば、ＳＴＡＧＥ１でＢａｙｅｓ判別分析法を使用し、ＳＴＡＧＥ２でＡｄａＢｏｏｓｔ法を使用するようにしても良い。もちろん、全ＳＴＡＧＥで同一の分類手法を使用しても良い。また、各ＳＴＡＧＥにおける安全幅α、βも、全ＳＴＡＧＥで一定である必要はなく、各ＳＴＡＧＥで任意に設定可能である。

［テーラーメードモデリングへの応用］
本発明者は、１個の未知化合物の特性予測に必要な情報を効率的に反映した予測モデルを作成し、その予測モデルをその１個の未知化合物に対してのみ適用して予測を行う、いわゆるテーラーメードモデリング（非特許文献２、ＰＣＴ／ＪＰ２００７／０６６２８６）を提案している。テーラーメードモデリングの最も特徴とする点は、１個の未知化合物について１個の予測モデルが対応することである。作成された予測モデルは、予測対象である未知化合物についての重要な情報を含み、ノイズ情報が極めて限定される。そのため、当然のこととして予測率は大幅に向上する。ここで提案した二クラス分類予測モデルの作成方法、装置、あるいはプログラムを、このようなテーラーメードモデリングに対して適用することにより、更に高い効果を得ることができる。

図１０は、他の実施形態を示すフローチャートであって、図４Ａ、４Ｂに示した二クラス分類予測モデルの作成方法を利用してテーラーメードモデリングを実施する場合の手順を示す。ステップＳ２０では、未知化合物Ｘと学習サンプルセットとを入力し、ステップＳ２１においてこの両者の初期パラメータを発生させる。ステップＳ２２では、ステップＳ２１で発生させた初期パラメータのうち、構造類似に関係するパラメータを選択し、選択したパラメータを用いて未知化合物Ｘと個々の学習サンプル間の構造の類似度を計算する。構造の類似度の計算には、例えば、Ｔａｎｉｍｏｔｏ係数、ユークリッド距離、コサイン係数、ピアソンの積率相関係数等を利用する等が可能である。

ステップＳ２３では、未知化合物Ｘと個々の学習サンプルとについて、予め定めた類似度の閾値に基いて学習サンプルセットをスクリーニングし、未知化合物Ｘと構造が類似する学習サンプルを取り出してサブサンプルセットを構成する（ステップＳ２４）。テーラーメードモデリングでは、このようにして未知化合物Ｘに類似した構造を有するサブサンプルセットを構築し、このサブサンプルセットについて二クラス分類を行って分類予測モデルを作成するので、未知化合物Ｘについて高い予測信頼性を有するモデルを作成することが可能となる。

ステップＳ２５は、サブサンプルセットに基づく予測モデルの作成ルーチンを示し、図４Ａ及び図４Ｂに示すステップＳ３以下に相当する。ステップＳ２５の実施によって、未知化合物Ｘに高い有意性を有する予測モデルを、簡単な手順で作成することができる。ステップＳ２５は、予測対象サンプルの分類／予測にとって最適且つ良質なサンプルセットを用いることとなる。この段階に「ＫＹ法」や本特許による分類手法を適用すれば、常に１００％の分類率を保障されることとなり、この結果、作成された予測モデルの予測率は非常に高いものとなる。

［クラス未知サンプルの分類予測］
図１１に、上記各実施形態によって形成された二クラス分類予測モデル（例えば、図９参照）を使用して、クラス未知サンプルの分類予測を行う場合の処理のフローチャートを示す。ステップＰ１でクラス未知サンプルＸを入力し、ステップＰ２で未知サンプルＸについて、パラメータを発生させる。ステップＰ３でＳＴＡＧＥＬをＳＴＡＧＥ１に設定する（Ｌ＝１）。ステップＰ４で、ＳＴＡＧＥ１の判別関数１を用いて未知サンプルＸの判別得点Ｙ１を計算する。

ステップＰ５では、ＳＴＡＧＥ１のグレークラス情報を取得して未知サンプルＸの判別得点Ｙ１と比較する。Ｙ１が、拡大グレーゾーンの最小の判別得点Ｙｇ１（ｍｉｎｉ）以上、最大の判別得点Ｙｇ１（ｍａｘ）以下である場合、即ち、ステップＰ５でＹＥＳの場合、未知サンプルＸはＳＴＡＧＥ１でグレークラスにアサインされる。一方、ステップＰ５でＮＯの場合は未知サンプルＸはグレークラスのサンプルではないと判断され、ステップＰ６において判別得点Ｙ１がＹｇ１（ｍｉｎｉ）よりも小さい場合は未知サンプルをクラス２に、Ｙｇ１（ｍａｘ）よりも大きい場合は未知サンプルをクラス１にアサインして処理を終了する。

一方、ステップＰ５で未知サンプルＸがグレークラスにアサインされた場合は、ステップＰ７で現在のＳＴＡＧＥを１だけ進め（Ｌ＝Ｌ＋１）、ステップＰ８で進めたＳＴＡＧＥが最終ＳＴＡＧＥｎを超えていないこと（Ｌ≦ｎ）を確認した後（ステップＰ８のＹＥＳ）、ステップＰ４に戻って、次のＳＴＡＧＥ２の判別関数およびグレーゾーン情報を用いてサンプルＸのクラス分類を行う。以上の処理を繰り返すことにより、クラス未知サンプルの分類予測が実施される。なお、ＳＴＡＧＥが最終ＳＴＡＧＥｎを超えてもサンプルＸの分類予測が決定されない場合（ステップＰ８のＮＯ）は、処理を終了する。

［システム構成］
図１２は、一実施形態に係る二クラス分類予測モデルの作成装置のシステム構成を示すブロック図である。本実施形態にかかる分類予測モデルの作成装置１００は、サンプルデータを入力する入力装置１１０、分類結果あるいは処理途中の必要なデータを出力する出力装置１２０を備えている。入力装置１１０から、分類の学習に必要なサンプル情報が入力され、入力データテーブル１３０に保存される。サンプルが化合物の場合、入力装置１１０から化合物の２次元構造式あるいは３次元構造式と共にその化合物の既知の目的変数の値が入力され、入力データテーブル１３０に保持される。

入力装置１１０を介して、初期パラメータセットのデータを入力し、これを初期パラメータセットテーブル１４０に保存するようにしても良い。なお、解析部２００が、入力されたサンプルについて初期パラメータを自動的に発生するためのエンジン２１０を有している場合は、初期パラメータセットデータを入力装置１１０から入力する必要はない。

図１２において、１５０は最終パラメータセットを保存するテーブルであり、初期パラメータセットに対して特徴抽出を行った結果としての最終パラメータセットを保存する。１６０は、ＳＴＡＧＥごとに決定された判別関数とグレーゾーン情報、即ち、二クラス分類予測モデルを保存するためのモデル保存テーブルである。

なお、本実施形態の装置をテーラーメードモデリングに適用する場合には、構造の類似度を計算するための類似度計算装置２８０、および計算された類似度に基づいて初期の学習サンプルセットをスクリーニングするためのスクリーニング装置２９０が設けられている。

解析部２００は、制御部２２０と、初期パラメータ発生エンジン２１０、特徴抽出エンジン２３０、判別関数作成エンジン２４０、判別得点算出部２５０、新たなサンプルセット設定部２６０および解析終了条件検出部２７０を備えている。さらに、類似度計算装置２８０、スクリーニング装置２９０を備えていても良い。なお、初期パラメータを本装置の外部で発生させる場合は、初期パラメータ発生エンジン２１０は必要とされない。また、初期パラメータ発生エンジン２１０、特徴抽出エンジン２３０は、既存のものを使用することができる。

特徴抽出エンジン２３０は、初期パラメータセットに対して特徴抽出を行って最終パラメータセットを決定し、これを最終パラメータセットテーブル１５０に保存する。判別関数作成エンジン２４０は、種々の既存の判別分析エンジンを備えており、ユーザによって指定された判別分析エンジンあるいはシステムが適宜選択した判別分析エンジンを用いて、最終パラメータセットテーブル１５０を参照しながら、入力サンプルの判別分析を行って判別関数を作成する。判別得点算出部２５０は、判別関数作成エンジン２４０によって作成された判別関数に各サンプルのパラメータを入力することにより、各サンプルの判別得点を計算する。新たなサンプルセット設定部２６０は、図２、図３を使用して説明したアルゴリズムに従って拡大グレーゾーンを設定し、このゾーンに含まれるサンプルを特定して新たなサンプルセットとする。

特徴抽出エンジン２３０、判別関数作成エンジン２４０、判別得点算出部２５０、新たなサンプルセット設定部２６０は、制御部２２０の制御下で作動し、図４Ａ、４Ｂに示す処理を実行する。なお、解析終了条件検出部２７０は、グレークラスのサンプルが実質的に０となった時点を検出して、分類予測モデルの作成を終了させる働きをする。あるいは、何らかの原因でグレークラスのサンプルが０に収束しない場合、処理の繰り返し回数、即ちＳＴＡＧＥ数が予め決定した回数であることを検出した場合、あるいは、処理時間が予め決定した時間を越えた場合等に、処理の終了を決定する。

解析部２００で得られた各ＳＴＡＧＥの判別関数、グレーゾーンに関する情報はモデル保存テーブル１６０に保存され、あるいは出力装置１２０を介して外部に出力される。出力の形態は、ファイルでの出力、ディスプレイ上への出力、プリントアウト等が、適宜選択される。

テーラーメードモデリングを実施する場合は、図１０に示した手順に従って、類似度計算装置２８０、スクリーニング装置２９０を作動させ、サブサンプルセットを構成する。

本発明は、二クラス分類が適用可能な全ての産業分野に適用可能である。以下に、主な適用分野を列挙する。

１）化学データ解析
２）バイオ関連研究
３）蛋白質関連研究
４）医療関連研究
５）食品関連研究
６）経済関連研究
７）工学関連研究
８）生産歩留まり向上等を目的としたデータ解析
９）環境関連研究
１）の化学データ解析分野では、より詳細には、下記のような研究に適用できる。
（１）構造−活性／ＡＤＭＥ／毒性／物性相関の研究
（２）構造−スペクトル相関研究
（３）メタボノミクス関連研究
（４）ケモメトリクス研究

例えば、環境や創薬研究分野では化合物の毒性に関する構造−毒性相関研究が重要であり、例えば、Ａｍｅｓテスト結果の予測を行うことが極めて重要である。何故ならば、Ａｍｅｓテストは、毒性化合物規制関連の化合物審査法や労働安全衛生法等の国レベルの化合物規制に、最重要項目の一つして組み込まれているからである。このＡｍｅｓテストの審査を通らなければ、日本国内での化合物生産はできなくなり、企業の生産活動自体がストップする。また、海外での生産や輸出等も対象国の安全性規制により活動できなくなる。

例えば、２００７年６月より段階的実施が始まったＥＵにおけるＲＥＡＣＨ規則では、化合物を生産および使用する企業が、その化合物についてＡｍｅｓテストの結果を予測し、評価する義務を負っている。本発明は、このようなテスト結果の予測に、非常に有用なツールを提供するものである。なお、Ａｍｅｓテストとは、米国のＡｍｅｓ博士が開発した変異原性試験の一つで、発がん性試験の簡易手法である。このために、多くの化学物質あるいはこれらを用いた製品の安全性の指針として世界的に採用されている安全性試験法の一つである。

Claims (10)

1. ａ）学習サンプルセットの個々の学習サンプルについて発生させた説明変数に基づいて、前記学習サンプルセットを予め設定した二クラスに分類するための判別関数を求め、
   ｂ）前記求めた判別関数に基づいて各学習サンプルの判別得点を算出し、
   ｃ）前記算出した判別得点に基づいて各学習サンプルの分類予測の正誤を決定し、
   ｄ）誤分類された学習サンプルセット中の最大、最小の判別得点に基づいて誤分類サンプル領域を決定し、
   ｅ）前記誤分類サンプル領域に含まれる学習サンプルを取り出して新たな学習サンプルセットを構成し、
   ｆ）前記新たな学習サンプルセットに対して、前記ａ）〜ｅ）のステップを繰り返し、
   ｇ）前記繰り返しの結果として得られた複数の判別関数と、個々の前記判別関数に付随する誤分類サンプル領域の情報とをクラス未知サンプルの分類予測モデルとして記憶する、各ステップを備える、二クラス分類予測モデルの作成方法。
2. 請求項１に記載の方法において、前記ステップｄ）における前記誤分類サンプル領域は、誤分類された学習サンプル中の最大、最小の判別得点に任意の安全幅を付加して決定される、二クラス分類予測モデルの作成方法。
3. 請求項１に記載の方法において、前記個々の学習サンプルは化合物であり、前記予め決定した二クラスは、任意の毒性を有する化合物のクラスと前記毒性を有さない化合物のクラスである、二クラス分類予測モデルの作成方法。
4. 請求項１に記載の方法において、さらに、前記学習サンプルセットに対して発生させた説明変数に特徴抽出を実施して、不要な説明変数を除去するステップを備える、二クラス分類予測モデルの作成方法。
5. 請求項４に記載の方法において、前記ステップｆ）における前記繰り返しは、前記学習サンプルセット中のサンプル数と、前記特徴抽出後の説明変数の数との比が予め決定した一定数以下となった場合、停止される、二クラス分類予測モデルの作成方法。
6. ａ）学習サンプルセットの個々の学習サンプルについて発生させた説明変数に基づいて、前記学習サンプルセットを予め設定した二クラスに分類するための判別関数を求めるステップと、
   ｂ）前記求めた判別関数に基づいて各学習サンプルの判別得点を算出するステップと、
   ｃ）前記算出した判別得点に基づいて各学習サンプルの分類予測の正誤を決定するステップと、
   ｄ）誤分類された学習サンプルセット中の最大、最小の判別得点に基づいて誤分類サンプル領域を決定するステップと、
   ｅ）前記誤分類サンプル領域に含まれる学習サンプルを取り出して新たな学習サンプルセットを構成するステップと、
   ｆ）前記新たな学習サンプルセットに対して、前記ａ）〜ｅ）のステップを繰り返すステップと、をコンピュータに実行させるための、二クラス分類予測モデルの作成プログラム。
7. 請求項６に記載のプログラムにおいて、前記ステップｄ）における前記誤分類サンプル領域は、誤分類された学習サンプル中の最大、最小の判別得点に任意の安全幅を付加して決定される、二クラス分類予測モデルの作成プログラム。
8. クラス１あるいはクラス２に所属することが既知の複数のサンプルで構成される学習サンプルセットから、前記クラス１あるいはクラス２への所属が不明である未知サンプルをクラス分類するためのモデルを作成する装置であって、
   前記学習サンプルセットの各サンプルについて説明変数を取得する説明変数取得装置と、
   前記取得した説明変数に基づいて判別分析を行い、上記クラス１およびクラス２を判別するための判別関数を得る、判別関数作成エンジンと、
   前記作成された判別関数に基づいて前記各サンプルの判別得点を算出する、判別得点算出装置と、
   前記算出された判別得点に基づいて誤分類サンプル領域を決定し、該領域内の前記サンプルを取り出して新たなサンプルセットとして設定する、サンプルセット設定装置と、
   前記設定された新たなサンプルセットを前記学習サンプルセットとして用いて前記説明変数取得装置、前記判別関数作成エンジン、前記判別得点算出装置および前記サンプルセット設定装置を繰り返し動作させる制御装置と、
   前記判別関数作成エンジンによって作成された判別関数と、前記サンプルセット設定装置において決定された誤分類サンプル領域に関する情報とを、分類予測のためのモデルとして保存する記憶装置と、を備える、二クラス分類予測モデルの作成装置。
9. 任意の毒性を有する複数の化合物と、前記毒性を有さない複数の化合物とで構成される学習サンプルセットから、前記毒性を有するか否かが未知の化合物の毒性予測モデルを作成する装置であって、
   前記学習サンプルセット中の各化合物のパラメータを取得するパラメータ取得装置と、
   前記取得したパラメータに基づいて判別分析を行い、上記毒性の有無を判別するための判別関数を得る、判別関数作成エンジンと、
   前記作成された判別関数に基づいて前記各化合物の判別得点を算出する、判別得点算出装置と、
   前記算出された判別得点に基づいて誤分類化合物領域を決定し、該領域内の前記化合物を取り出して新たなサンプルセットとして設定する、サンプルセット設定装置と、
   前記設定された新たなサンプルセットを前記学習サンプルセットとして用いて、前記パラメータ取得装置、前記判別関数作成エンジン、前記判別得点算出装置および前記サンプルセット設定装置を繰り返し動作させる制御装置と、
   前記判別関数作成エンジンによって作成された判別関数と、前記サンプルセット設定装置において決定された誤分類化合物領域に関する情報とを、毒性予測のためのモデルとして保存する記憶装置と、を備える、化合物の毒性予測モデル作成装置。
10. 請求項９に記載の装置において、更に、前記未知の化合物と前記学習サンプルセット中の化合物との構造の類似度に基づいて、前記学習サンプルセットをスクリーニングするスクリーニング装置を備え、前記毒性予測モデルは前記スクリーニング後の学習サンプルセットに基づいて作成される、化合物の毒性予測モデル作成装置。

Images