哲学者と科学者は認知AIをどう見ているか

リンク一覧

要約と1 はじめに

2. LLM入門

2.1. 歴史的背景

2.2. トランスフォーマーベースのLLM

3. 古典的な哲学的問題との関わり

3.1. 構成性

3.2. ナティビズムと言語習得

3.3. 言語理解と基礎

3.4. 世界モデル

3.5. 文化的知識の伝達と言語的足場

4. 結論、用語集、参考文献

3. 古典的な哲学的問題との関わり

初期の NLP アーキテクチャを含む人工ニューラル ネットワークは、特に心、言語、科学の哲学者の間で、長い間哲学的探究の焦点となってきました。これらのシステムをめぐる哲学的議論の多くは、人間の認知をモデル化するのに適しているかどうかを中心に展開されています。具体的には、これらのシステムが、従来の記号的ルール ベースのシステムよりも人間の中核的認知プロセスのモデルとして優れているかどうかが議論の中心となっています。ここでは、トランスフォーマー ベースの LLM の影響に関する進行中の議論の文脈で、現在の形態に焦点を当てながら、知性、合理性、認知のモデルとしての人工ニューラル ネットワークの役割に関して浮上した主要な哲学的疑問をレビューします。

最近の議論は、私たちが「再記述の誤謬」と呼ぶ誤解を招く推論パターンによって曇らされている。この誤謬は、批評家がシステムが特定のものをモデル化できないと主張するときに生じる。

認知能力は、その動作がより抽象的でなく、よりデフレ的な言葉で説明できるという理由だけで、LLM が認知能力 𝜙 の良いモデルになるはずがないという主張に誤りが表れている。現在の文脈では、その誤りは、LLM の動作が統計計算、線形代数演算、または次のトークン予測の集合にすぎないため、LLM が何らかの認知能力 𝜙 の良いモデルになるはずがないという主張に表れている。このような議論は、これらの用語で定義されたシステムが本質的に 𝜙 を実装できないことを示す証拠を伴う場合にのみ有効である。例として、ピアノは弦を打つハンマーの集合として説明できるため、ピアノがハーモニーを生み出すはずがない、または (より具体的には) 脳の活動は神経発火の集合として説明できるため、認知を実装するはずがないと主張する誤った論理を考えてみよう。重要な問題は、LLM の動作が非精神的な言葉で単純に説明できるかどうかではなく、これらの動作が適切に編成されている場合、適切なレベルの計算抽象化で説明されたときに心と同じプロセスまたはアルゴリズムを実装できるかどうかである。

再記述の誤謬は、人工ニューラル ネットワークに関する主要な哲学的疑問を純粋に理論的なものとして扱うという広範な傾向の兆候であり、経験的な反証を受け入れられない広範な原則的主張につながります。ここでの仮説は、LLM などの人工ニューラル ネットワークの能力と認知モデルとしての適合性に関する経験的証拠によって導かれるべきです (表 1 を参照)。実際、LLM のアーキテクチャ、学習目標、モデル サイズ、トレーニング データに関する考慮だけでは、これらの問題を解決するのに十分でないことがよくあります。実際、ニューラル ネットワーク全般、特に LLM の能力に関する中核的な哲学的議論の多くは、少なくとも部分的には、トレーニングの過程で獲得する内部メカニズムと知識に関する経験的証拠にかかっているというのが私たちの主張です。言い換えれば、これらの議論の多くは、トレーニングされていないモデルの一般的な特性を考慮するだけでは事前に解決できません。むしろ、訓練されたモデルの動作と内部の仕組みに関する実験結果を考慮する必要があります。

このセクションでは、ディープラーニングの発展と、特に LLM の最近の成功によって復活し、変革を遂げた人工ニューラル ネットワークの能力に関する長年の議論を検証します。ベンチマークと対象を絞った実験から得られる動作の証拠は、これらの議論にとって非常に重要です。ただし、最初から、そのような証拠も全体像を描くには不十分であることに注意してください。最初のセクションでレビューしたブロックヘッドに関する懸念に関連して、LLM のパフォーマンスに関する主張と推定される能力との間のギャップを埋めるために、LLM が内部で情報を処理する方法に関する証拠も考慮する必要があります。トレーニングされた LLM によって獲得された表現と計算を識別して介入するための高度な実験方法が開発されています。これらの方法は、動作の証拠によって裏付けられた暫定的な仮説を超えて、ここでレビューした哲学的問題のいくつかを仲裁する大きな可能性を秘めています。これらの方法と対応する実験結果の詳細な説明は、パート II に残します。