StatsBeginner: 初学者の統計学習ノート

統計学およびR、Pythonでのプログラミングの勉強の過程をメモっていくノート。たまにMacの話題。

西部邁とAI

 あるところで西部邁という人のむかしの仕事について、短い論評を書く機会があったのだが、字数制限があったので省略していた論点についてメモしておきたい。


 西部邁はもともと東大の経済学者で、ある揉め事があって東大を辞めてからは「保守派の評論家」としてテレビなどで活躍するのだが、東大を辞めるちょっと前の時期に、パーソンズの構造機能主義を言語学に引き寄せて再解釈しつつ、それを拡張して社会科学の基礎理論を組み立てようという取り組みを行っていた。
 で、中味についてここでは詳しく紹介しないが、彼の考えた言語の意味論*1のモデルというものがある*2。西部の読者には「TEAM図式」として知られているもので、このモデルは突き詰めれば、人間の言語が、意味の「差異化と同一化」「顕在化と潜在化」という2対の機能の組み合わせで成り立っているという仮説に立脚している。多くの読者は、T(伝達)・E(表現)・A(蓄積)・M(尺度)の4点セットを提案したことだけ覚えていて、その4つもこれら2対の機能の組み合わせから生まれているという話は忘れていると思うのだが、個人的にはそっちのほうが大事だと考えている。
 その理由の一つは、「最小限の原理(規則)」から出発し、そこから機能が「分化」していくプロセスとして人間の言語のはたらきの全体像を捉えようとする思考法が、何かとっても包括的で気持ちいいからである。もう一つの理由は、今の機械学習AIによる自然言語処理も、「差異化と同一化」「顕在化と潜在化」という2つの機能の組み合わせとして解釈することで、有意義な理解が得られるような気がしたからだ。ここでメモしておきたいのは後者のことである。


 たとえばChatGPTなどのベースになっているTransformerは、単語(正確にはトークンといわれる、文字と単語の間みたいなものだが)の埋め込み空間から処理がスタートする感じになっているが、埋め込み空間というのは、それぞれの単語の意味を現実世界に存在する事物との対応(いわゆる記号接地)によってではなく、単語と単語のベクトル空間上の位置関係によって表現している。この空間内では、ある記号の意味*3というものは、いわば「他の記号と、どの観点で、どれだけ異なっているか/似ているか」だけで評価されており、これは「差異化/同一化」の原理に立脚しているといえる。


 また、西部邁が持ち出したもう一つの原理である「顕在化/潜在化」は、機械学習AIの学習プロセスに対応していると思えばいいと思う。ニューラルネットの学習は、

  1. 入力が与えられる
  2. 適当なパラメータに基づいて計算して何か出力する
  3. その出力が誤差関数により評価される
  4. パラメータをよりよいものに更新する

というステップで進んでいくわけなのだが、これは、何かを表現(顕在化)した上で、現実からフィードバックを受け、その教訓をパラメータの集合の中に蓄積(潜在化)していく過程だということができる。


 ちなみに先ほど、西部邁は最小限の原理で言葉のはたらきの全体を包括しようとしたという話をしたが、生成AIの「生成」という言葉はもともと、それに似た意味の数学用語から来ている。生成AIの生成は直接的には「生成モデル」から来ており、群論でいう「生成元」などよりも創造的なニュアンスが強いのだが、それでも、「具体的な事物がすべてそこから表れてくるような、大元となる抽象的な要素と規則」を重視する点で本質的には同じような発想である*4


 ……だから何なのという話ではあるのだが、人間を理解するために提案された理論が、機械学習AIの原理にもけっこう当てはまるというのは個人的に面白いく感じるので、そういうのをもっと考えていきたいと思っている。

*1:意味論というより、言語行為の機能論ぐらいに言っておくほうが適切な気はする。

*2:とりあえずのアイディアとして素描されたという感じのもので、学問的に精緻化していく努力は、西部によっても他の人によっても行われなかったが。

*3:正確には、意味は文脈に依存して決まるので、文脈の中で意味が与えられる前の素材のようなものだが。

*4:もともと識別モデルと生成モデルという区別があって、生成モデルの特徴は「同時分布」というものを推定するという点で、これは「最小限」というニュアンスはあまりないものの、生成される可能性がある全てのものの構造と分布を捉えるという「包括性」の意味はある。