« KY法とは?その2:常識破りのデータ解析手法 | トップページ | 投稿開始から10年以上たち、KY法を取り巻く環境は激変致しました。KY法の適用が際立つ「ビッグデータ」時代に突入しました。 More than 10 years have passed since the posting started, and the environment surrounding the KY method has changed drastically. »

2010年2月22日 (月)

KY法とは?その3:どんなことが常識破り(KY的)ということでしょう

 今回はKY法がなぜ常識破りのデータ解析手法であるかについて簡単に話します。KY法以外の多くの手法は、従来手法の概念に縛られて構成されています。ちょうど孫悟空のように、お釈迦様の手のひらの世界から飛び出すことはできません。これでは、常識を超えた素晴らしい結果の実現は困難です。KY法は手のひらから飛び出してしまいました。この結果従来手法では実現不可能な世界が開けたのです。

 KY法が従来手法と根本的に異なる点は大きく3項目あります。

1.正しく分類できるサンプルのみを分類し、分類を間違えるサンプルはそのままにする。

 従来手法での分類は、できる限り正しく分類できるサンプルを増やす努力をする。つまり、分類を間違えるサンプルをいかにして正しい分類に導くかに多大の努力を注ぎます。KY法では誤分類されたサンプルはそのままにしておきます。無理に正しく分類出来るように工夫することはありません。無理をすると過剰フィッティング等のデータ解析上での歪がでてきて、データ解析の信頼性そのものを下げるようになってしまいます。

2.KY法による分類は、分類特製の異なる2本の判別関数を用いて行う。

 従来手法での分類は、総て1本の判別関数を用いて行います。この1本の判別関数で、いかに少しでも多くのサンプルを正しく分類するかがデータ解析手法の勝負所となります。これに対してKY法では、ポジサンプルを100%分類する判別関数と、ネガサンプルを100%分類する判別関数の、分類特性が全く逆となる2本の異なる判別関数を用いて分類を行います。この2本の判別関数により、ポジサンプルとネガサンプルに分類されます。この他に分類ができない「グレー」サンプルという、新しいサンプル群ができてきます。丁度、従来手法は一刀流の剣術であるのに対し、KY法は宮本武蔵のような二刀流になります。この結果、従来では切れない(分類出来ない)サンプルも切れるようになりました。

3.分類を何回も繰り返して行う。

 KY法は、2本の判別関数でポジ、ネガおよびグレーの3グループに分けることを1段階とすると、ここでグレーに分けられたサンプルのみを用いて再び2本の判別関数を用いて分類を行う。これにより、先の段階で分類できなかったサンプルが再びポジ、ネガおよびグレーの3グループに分類されます。このように、各段階で分けられたグレーサンプルについて、分類を繰り返すと、最後にはグレーサンプルがなくなります。この時点で全サンプルが正しく分類されることになります。この原理上、サンプル数がどんなに多くなっても、分類の段階数が大きくなるだけで、常に100分類が実現されます。

 通常手法では、一回だけの分類実施で結果が求められます。KY法では、一回ごとでの分類正解サンプル数は少ないが、この段階数を増やすことで常に100%分類が実現できるし、どんなにサンプル数が増えても100%分類が実現される夢の分類マシンです。

« KY法とは?その2:常識破りのデータ解析手法 | トップページ | 投稿開始から10年以上たち、KY法を取り巻く環境は激変致しました。KY法の適用が際立つ「ビッグデータ」時代に突入しました。 More than 10 years have passed since the posting started, and the environment surrounding the KY method has changed drastically. »

科学データ解析」カテゴリの記事

コメント

コメントを書く

(ウェブ上には掲載しません)

トラックバック

« KY法とは?その2:常識破りのデータ解析手法 | トップページ | 投稿開始から10年以上たち、KY法を取り巻く環境は激変致しました。KY法の適用が際立つ「ビッグデータ」時代に突入しました。 More than 10 years have passed since the posting started, and the environment surrounding the KY method has changed drastically. »