『脳・心・人工知能』甘利俊一著講談社BLUEBACKS　メモ

AIの基本技術は深層学習とそれに付随して強化学習　そのあと出現した生成AI

深層神経回路網　神経素子を層状に並べたものを多層につないだもの。そうの数が大きいので「深層」　1層の神経回路網はベクトル、つまり数の組で表される入力信号を「重み」と「閾値」と呼ぶ量を用いて、出力ベクトルに変換する装置

学習には例題を用いる。すべての例題にうまくあてはまるパラメータがあればいいが、近似的に実現すればいい。そのパラメータを求める方式が、確率的勾配降下学習法。のちに誤差逆転伝搬学習法として有名になり、ノーベル賞受賞につながる

p個のパラメータを大きくすればいくらでも近似がよくなることが、見出された。これを普遍近似定理という。甘利が発見し、渡辺澄夫博士が代数幾何学を用いて明らかにした。ようするに与えられた任意の関数Fを実現するのに、任意で選んだランダム回路Θを一つ取り、そこから学習で例題にあったよいΘを探す。そうすると、このΘのすぐ近くに回路Θ’が答えとして見つかる。このことがpを大きくすればいえる。神経接核理論である。

深層学習は、素子数と層数を巨大化することで成功、学習可能なパラメータは1兆をこえる。最も人間の脳のシナプスは100兆を超える

局所最小解などお構いなしに,AI実務家は深層学習回路網を巨大化していった。驚くほど性能が向上、何かが「創発」されたのだ。理論が後追いしている。

強化学習　アルファー囲碁が、アルファー囲同士で対KY駆使その成果を学習、素晴らしい性能を発揮。今は創薬に役立っている

敵対的回路網　自然画像と人工画像を画像を対にして、学習、自然画像と見分けのつかないような人口画像を作るが、時間がかかり不安定。

拡散生成回路網　自然画像に雑音を与え、雑音を除去してゆく。計算能力の巨大化で可能になった

画像ができるなら文章もできるだろうということで、大規模言語モデル

word2vec　単語列の中で前後関係が同じところに現れる単語は、ベクトル空間で表現すると近くに位置するように、多くの文章例題を使って学習する。こうなると単語の列の次に出てくる単語を単語列の中から類推　連想記憶

東京－日本＋フランス＝パリ

大規模言語モデル

ハルシネーション（幻覚）

リベットによる自由意志の実験

先読み（prediction）と後付け（postdiction）

ロボットが人の心の働きを理解し、これをシミレーションすることはそれほど難しいことではない。そうなればロボットが心を持っているようにわれわれにはみえる。クオリア問題が残る　人類史と同じくらい時間がかかる

意識の機能はポストディクション（後付け）　今のAIにはない　うまくつなぎ合わせている「内挿」

日常の会話　成り行きで次々と出てくる　後で修正　ポストディクションしているから、大規模言語モデルは人間の言語や行動にも示唆するところが大きい

甘利先生にならい、googlegeminiに質問してみました。

私「脳、心、人工知能というテーマで、一般向けの講演をおこなうこと、どのような内容にしたらいいでしょうか、教えてください」

回答

このテーマは非常に興味深く、聴衆の好奇心を刺激する可能性を秘めています。一般向けということですので、専門用語を避け、身近な例を交えながら、ストーリー性を持たせることが成功の鍵になります。

ここでは、講演の構成案を3つのステップに分けて提案します。

1. 導入：身近な疑問から始める

まずは、聴衆が普段から漠然と感じている疑問を投げかけ、関心を惹きつけましょう。

• 私たちの「心」とは何でしょうか？
  • 楽しい、悲しいといった感情はどこから来るのか？
  • 夢を見たり、何かを「ひらめく」のはどうしてか？
• 脳はどのようにして働いているのでしょうか？
  • たくさんの記憶をどうやって整理しているのか？
  • 脳の「電気信号」が、どうして「私」という意識を生み出すのか？

これらの問いかけを通じて、「心と脳の関係」という大きなテーマに聴衆を引き込みます。

2. 本編：人工知能との比較から理解を深める

次に、人工知能（AI）を登場させ、私たちの脳とAIの共通点や違いを比較することで、脳や心への理解を深めていきます。

• AIは「考える」ことができるのか？
  • AIが得意なこと：
    • 膨大なデータから法則を見つけること（例：顔認証、検索エンジンの仕組み）
    • ルールに基づいた正確な計算や予測（例：将棋や囲碁のAI）
  • AIがまだ苦手なこと：
    • 「心」を持つこと： 喜びや悲しみといった感情は理解できるのか？
    • 「常識」を持つこと： データを学習していない状況でも、柔軟に対応できるのか？
• 脳とAIの大きな違い：
  • 脳： 少ないエネルギーで、柔軟に、効率よく学習する。
  • AI： 膨大なエネルギーとデータが必要。しかし、特定のタスクでは人間をはるかに上回る能力を発揮する。

このセクションでは、AIが「すごい」一方で、人間の脳が持つ「すごさ」にも焦点を当てることで、聴衆に新たな視点を提供します。

3. 結論：未来への展望と問いかけ

最後に、これまでの内容を踏まえ、未来への展望を語り、聴衆に考えるきっかけを与えます。

• 脳とAIの未来：
  • 脳科学の進歩が、AIの新たな発展につながる可能性があること。
  • AIが私たちの生活をどのように変えていくか。
• 私たちがこれから考えるべきこと：
  • AIが発展した社会で、人間にとって「心」や「意識」とは何を意味するのか？
  • 人間はAIとどう共存していくべきか？

このように、講演の最後を**「答えを提示する」のではなく、「問いを投げかける」**形で締めくくることで、聴衆の心に講演の内容が深く残り、その後の議論や思考を促すことができます。

講演を成功させるための追加のポイント:

• スライドはシンプルに、写真やイラストを多用する。
• 難しい専門用語は使わず、比喩や例え話で説明する。
• 講演の随所に聴衆との対話や質問を挟み込む。

この構成案が、あなたの講演準備の一助となれば幸いです。

甘利俊一先生の確率的勾配降下学習法とはどのような内容ですか。

甘利俊一先生の「確率的勾配降下学習法」は、ニューラルネットワーク（AI）の学習において、誤差を最小化するための基本的なアルゴリズムです。この手法は、現代のディープラーニングでも広く使われている学習の根幹をなす理論です。

内容の要点

この学習法は、簡単に言うと、ニューラルネットワークのパラメータ（重み）を、実際の出力と正解との間の「誤差」が小さくなるように少しずつ調整していくプロセスです。

1. 勾配の計算: ニューラルネットワークの出力と正解との間に生じる誤差を最小化するために、誤差が小さくなる方向（これを「勾配」と呼びます）を計算します。
2. 確率的な更新: 全ての学習データを使って一度に更新するのではなく、ランダムに選んだ一部のデータ（または1つのデータ）を使って勾配を計算し、パラメータを更新します。
3. 最適化: この「確率的な」更新を繰り返すことで、効率的に最適な解を探索し、局所的な最適解に陥りにくくします。

なぜ重要なのか

甘利先生は1967年にこの学習法を提案しましたが、当時は計算能力が低かったため、あまり注目されませんでした。しかし、1986年に**誤差逆伝播法（バックプロパゲーション）**として再発見され、ニューラルネットワークの学習アルゴリズムとして広く知られるようになりました。

甘利先生のこの理論的な貢献は、その後のAI研究の発展、特に深層学習の基礎を築いた点で非常に重要です。彼の功績は、日本の数理脳科学が世界に誇るべきものの一つとされています。