PRMLという標準教科書
機械学習と言うのは今では人工知能（AI）とほぼ同義の専門用語である。正確に言うと機械学習は人工知能の実現方法の一つでしかないのだが、現在流通している人工知能の大半は機械学習をベースとしてるものだ。機械学習と言う概念が一般化したのは2000年代であり、人工知能の概念に比べると比較的新しいと言える。
ご存じのように人工知能は爆発的に普及しつつあり、現在、最重要課題の一つである。そのため、多くの人がそのベース技術である機械学習に興味を持ち、様々な解説が世の中にあふれている。しかしながら、機械学習のルーツは人工知能とはかけ離れたフィッティングにあり、人工知能とフィッティングの両方に精通した人は最先端の研究で忙しいことから、一般向けの解説ではうまく説明されていないように思う。
機械学習の分野ではC. M. Bishopの「Pattern Recognition and Machine Learning (PRML)」という本が標準教科書とされている。日本語訳が共立出版から２分冊として販売されている。手心を一切含まないことで定評のある黄色い本のシリーズである。驚くべきことに、このPRMLの上巻はほとんど丸ごとフィッティングの基礎について書かれている。下巻も半分くらい高度なフィッティング技術についての解説となっている。読者の多くは人工知能に興味のあるソフトウェア技術者なので、少々面食らうことになる。
フィッティングは数値計算の一分野であり、計算機科学の一部ではある。そのため、ソフトウェア技術者は、そういう技術が存在すること、ライブラリがあること、を知っている。大学などでフィッティングの基礎（最小二乗法）について学んでいるかもしれない。でも、フィッティングの専門家でない限り、１９世紀の技術である最小二乗法の知識にとどまる。だからこそ、PRMLでは、機械学習で必要とされる進んだ＝モダンなフィッティング技術、をコンパクトに記述している。このコンパクトさは、まあまあ妥当なんだけど、手心を一切含んでいないので、本を読むだけではなかなか理解できない。そのため、機械学習の研究室では「PRML読書会」が普通だし、「PRML解説本」すら存在する。ソフトウェア界隈の傍流であるフィッティングを理解するには、周辺の理解を含めて膨大な「新規学習」が必要なのだ。
ソフトウェア界隈の主流の一つである人工知能分野ではニューラルネットワークという概念が今も支配的である。ホップフィールドがニューラルネットワークの概念を提案し、学習プロセスとしてバックプロパゲーションというアルゴリズムを導入することで、本格的な人工知能研究が始まったという歴史的な経緯がある。そのため、人工知能＝ニューラルネットワーク≒ホップフィールドモデルというのが人工知能分野のセントラルドグマとなっていた。そのため、人工知能の導入においてはほぼ必ずニューラルネットワークへの言及がある。ところがPRMLではニューラルネットワークの話が欠落している。
ニューラルネットワーク信仰
ある程度人工知能に関する知識を持つ人はニューラルネットワークという言葉が出てくると安心するらしい。しかしながら、機械学習は最初の段階でニューラルネットワークと決別することで発達してきたという側面がある。機械学習とニューラルネットワークの最大の違いは「ニューロン」に相当する要素の数である。機械学習の要素数は、従来のニューラルネットワークの要素数に比べて１万倍から１億倍となっている。そのため、「ニューラルネットワークの構造（配線）」という考え方が機械学習では存在しない。従来型の人工知能が、計算規模抑制の観点から、なるべく小規模なニューラルネットワークで複雑な機能を実現しようとしていたのとは対照的に、機械学習では計算規模の制約を取っ払って力業で複雑な機能を実現するという点で、思想的に異なる。
「計算規模の制約を取っ払う」には計算規模の問題だけでなく、計算の不安定化の問題を解決しなければならなかった。計算規模の問題は２１世紀に入って急速に発達したGPUによる計算技術が解決策となった。計算の不安定化の問題はフィッティング技術の発達が解決策を与えた。GPUによる計算はエンジニアリングの範疇であり、科学的な飛躍と言うわけではない。一方、最先端のフィッティング技術の導入は機械学習の核心と言える。
ご存じのように人工知能は爆発的に普及しつつあり、現在、最重要課題の一つである。多くの人がそのベース技術である機械学習に興味を持ち、様々な解説が世の中にあふれている。しかしながら、機械学習のルーツは人工知能とはかけ離れたフィッティングにあり、人工知能とフィッティングの両方に精通した人は最先端の研究で忙しいことから、一般向けの解説ではうまく説明されていないように思う。
フィッティング
フィッティングという概念が確立したのは19世紀初頭の小惑星ケレス再発見に端を発する。ガウスはケレスを再発見するために最小二乗法を考案し、利用したと言われている。最小二乗法はフィッティング変数が増加すると計算量が爆増するため、大規模なフィッティングは実用的ではなかった。変数が２個程度であれば、プロットして近似直線を引くのが簡単だ。変数３個なら最小二乗法も可能であるが、変数が４個になると手計算が困難になってくる。問題を工夫して変数２個のフィッティング問題に帰着させるというのが、現実的な解であった。
そういった状況が150年ほど続いたが、状況を一変させたのは第二次世界大戦であった。第二次世界大戦では大砲による精密射撃が戦況を左右するため、砲撃の誤差を修正する方法が重要となった。空気抵抗や風の影響を考慮した弾道計算はかなり複雑でパラメータも多い。そこで米軍は軍属や未亡人女性を中心に大規模な人力フィッティング計算を行っていた。それでも計算量が莫大であるため、省力化のための研究も行っていた。その中でLevenbergが画期的なフィッティングの省力化手法を開発した。彼の手法が戦争で実際に役立ったのかはわからないが、米軍の紀要に発表している。
Levenbergの仕事はほとんどだれの目にも触れなかったが、第二次世界大戦後に急速に発達した計算機技術の重要な応用分野としてフィッティングが研究され、MarquardtがLevenbergと同じ省力化手法にたどり着いた。この方法はLevenberg-Marquardt法(LM法)と呼ばれ、非線形最小二乗法の計算コストを10分の1程度に圧縮した。
LM法は限定的ではあるが、フィッティングパラメータ数の上限を撤廃する効果を有していた。つまり、安定性の問題はあるが少ないデータで大量のパラメータを決定できる可能性を拓いた。その可能性に目を付けた一部の研究者は「逆問題」という分野を形成し、より高度なフィッティング技術を次々に生み出すことになった。
2000年頃、機械学習の創始者たちは任意のニューラルネットワークが標準的なフィッティング計算に「完全に含まれる」ことに気が付き、ニューラルネットワークを捨て、行列演算で人工知能問題を解くようになった。そこではホップフィールドのバックプロパゲーションは最小二乗法より原始的な最急降下法であることが示され、より高度なフィッティング技術を移植して学習プロセスをより柔軟に運用することができるようになった。
計算機技術の発達により、機械学習は規模の臨界点を超え、万能性を獲得し、今に至る。ホップフィールドとの決別こそが、人工知能爆発の原動力だったというのが僕の見解である。なのにホップフィールドにノーベル賞を与えるとは！嘆かわしい。
人工知能の数式
うちの研究室では、最もシンプルな人工知能を次式で表している。
$Y_i=X_{ij} A_j$
大文字の英字は行列あるいはベクトル（列が１個の行列）である。添え字は行列あるいはベクトルのサイズ（次元）を表している。添え字が２このものは行列、添え字が１個のものはベクトルである。この表式は、機械学習の基本式であり、人工知能が基本的に巨大な連立方程式であるという理解を与えている。見てわかるように、ここにニューラルネットワークが入り込む余地は全くない。
この式において、$A_j$は人工知能への入力、$Y_i$は人工知能からの出力である。そして、人工知能の本体は$X_{ij}$である。この式は、人工知能を使う場合の数式である。
一方、人工知能には学習という大事なプロセスがあるが、この数式における学習とは、多数の$Y_i$と$A_j$の組から、$X_{ij}$の要素を決定すること、だと定義される。もし、$A_i$に「逆数」があれば、$X_{ij} =Y_i A_j^{-1}$として$X_{ij}$が求まるがこれはできない。学習データである$Y_i$と$A_j$は多数あるとして、それに$k$のインデックスを与えれば、$Y_{ik}$と$A_{jk}$となり、$Y_{ik}=X_{ij} A_{jk}$と書ける。これでも$A_{jk}^{-1}$は作れないが、
$X_{ij} =Y_{ik} A_{jk}^t ( A_{jk} A_{jk}^t )^{-1}$
とすれば、形式的には解ける。ちなみに、この数式、ほとんど最小二乗法と同じものである。ここから、フィッティング技術を利用した様々な学習技術が編み出されることになる。
こんな簡単なことなら、もっと早くに機械学習の概念が認知されてもよかったと思うかもしれない。でも、フィッティングと人工知能の融合には一つの極めて重要なブレイクスルーが必要だった。それは、パラメータ数＞＞データ数という条件を認めるかどうか、というものだ。
一般に、フィッティングではパラメータ数はデータ数より十分小さくなければならない。最小二乗法などはこの条件を満たさない限り、数学的に破綻する。パラメータ数がデータ数を上回るということは、ちょっとの実験で、多くの解析結果が得られるということになり、実験科学における錬金術のような状況が生まれてしまう。パラメータ数＜データ数という条件は、科学の正当性を担保する哲学の一部になっている。しかしながら、機械学習では$X_{ij}$の要素数は膨大で、$Y_{ik}$と$A_{jk}$の要素数よりはるかに多い。つまり、パラメータ数＞＞データ数というフィッティング問題になっている。
ここで、２つの障害が立ちはだかる。パラメータ数＞＞データ数でフィッティングを実行できるか？ということと、パラメータ数＞＞データ数であるフィッティング結果に意味があるのか？という２つの問いにどちらもYESで答えねばならないということである。
２０世紀末～２１世紀初頭にかけて、この問題について、徐々に認知され、そして両方ともYESで大丈夫という共通認識が形成されるに至っている。パラメータ数＞＞データ数でフィッティングを実行できるか？というのは、実際にそれが実行可能であるという事例を示すことで解決した。非線形最小二乗法の代表的な改良法であるLevenberg-Marquardtはパラメータ数＞データ数でのフィッティングを可能にする。２０世紀後半に登場したフィッティング技術であるMaximum Likelihood、Maximum Entropyも、同様の効果をもたらす。そしてとどめは、Sparse Modelingで、パラメータ数＞＞データ数という極端な条件でも安定して良好な結果が得られることを実際に示した。一方の、パラメータ数＞＞データ数であるフィッティング結果に意味があるのか？については、数学的にはなんと100年も前から、裏付けがあったということが再発見されている。すなわちMoore-Penroseの一般逆行列の存在が数学的な裏付けとなっている。
そして、パラメータ数＞＞データ数でのフィッティングがなぜ実行できるのか？ということに関しては、Tikhonov Regularizationという考え方が、根拠を示している。ターゲット関数に付加項を考えることで、解の可能性を絞ることができ、フィッティングを安定化させられるのだ。こうして全方位的に、パラメータ数＞＞データ数の問題を解決した結果、フィッティング技術は全く別次元の応用分野を見出すに至った。それが機械学習である。機械学習が21世紀初頭に急速に発達したのは、フィッティングにおけるこれらのブレイクスルーが直接のきっかけだったとも思われる。現代の人工知能を語るうえで、機械学習技術は基礎をなしており、機械学習技術のかなりの部分がフィッティングの分野からもたらされているのだから、機械学習の聖典であるPRMLの大部分がフィッティングに関する記述であっても、まったくおかしくないわけである。
