頭脳の正体──
言語モデルは何をしているのか

2.1次に来る言葉を予測する仕組み

言語モデルがしていることを一言でいうと、「この文章の続きに来そうな言葉を予測すること」です。質問に答えるときも、要約するときも、比較表を作るときも、内側で起きているのはこの一つの作業です。

もう少し細かく見てみましょう。言語モデルは、文章を小さな断片に分けて扱います。業界ではこの断片を「トークン」と呼びます。断片は1文字のこともあれば、よく使われる言葉ならひとかたまりのこともあります。「新サービス」なら「新」と「サービス」に分かれるかもしれません。どこで区切るかは頭脳ごとに決まっていて、人間の考える「単語」とは必ずしも一致しません。

そのうえで、言語モデルは次の手順を繰り返します。

1. ここまでの文章（断片の並び）を全部読む
2. 次に来そうな断片の候補それぞれについて、「どのくらい来そうか」という確からしさを計算する
3. その確からしさに従って、断片を1つ選ぶ
4. 選んだ断片を文章の末尾に付け足し、また1に戻る

これを、文章が終わったと判断されるまで続けます。長い答えも、この「1つ予測して、1つ付け足す」を何百回、何千回と積み重ねてできています。

この図で押さえてほしいことが2つあります。

1つめは、予測のたびに「ここまでの文章全部」を読み直しているということです。頭脳は、自分がさっき書いた断片も含めて、毎回まとめて読み、次を予測します。言い換えると、頭脳が参照できるのは、いまこの瞬間に目の前に並んでいる文章だけです。この「目の前に並んでいる文章」を置く場所が、この教材でいう机（コンテキスト）です。机の上に何が載るかが答えを左右するという話は、第5章で詳しく扱います。

2つめは、頭脳が出しているのは「正解」ではなく「確からしさ」だということです。「まとめ」が52%というのは、「こういう文章の後には、こう続くことが多い」という見積もりにすぎません。頭脳の中に、事実を一つずつ照らし合わせる帳簿のようなものがあるわけではありません。この性質が、2.4節のゆらぎと、2.5節の作り話の根っこになります。

「たったそれだけで、あんなに自然な文章や、筋の通った説明が書けるのか」と思うかもしれません。その疑問はもっともで、2.3節と章末の「もう一歩深く」で正面から考えます。

2.2学習と利用は別の時間

予測の確からしさは、どこから来るのでしょうか。それは、使い始める前に済ませた「学習」から来ています。ここで大切なのは、頭脳には「学習のとき」と「使うとき」という、はっきり分かれた2つの時間があることです。

学習の段階1　大量の文章で予測の腕を鍛える

最初の段階では、書籍、記事、解説文など、膨大な量の文章を材料にします。文章の一部を隠し、「次に来る断片は何か」を予測させ、外れたら内部の数値を少しだけ直す。これを気の遠くなるほどの回数繰り返します。業界では「事前学習」と呼ばれます。

この段階を終えた頭脳は、文章の続きを書くことには長けていますが、まだ「質問に答える係」にはなっていません。質問文を渡しても、答えるのではなく、似た質問をさらに書き連ねてしまうこともあります。文章の続きとしては、それも「ありそう」だからです。

学習の段階2　望ましい答え方に整える

次の段階では、「質問にはこう答えるのが望ましい」という手本や、人間による良し悪しの評価を使って、答え方を整えます。依頼に沿って答える、分からないときに分からないと言う、危険な依頼は断る、といった振る舞いは、この段階で身につけるものです。

ここで付け加えておきたいのは、この調整も確からしさの傾きを変えているだけだということです。「分からないときは分からないと言う」も、そう答える確からしさを上げる調整であって、絶対の規則として組み込まれるわけではありません。だから、調整が行き届かない場面では、それらしい答えが出てしまうことがあります（2.5節）。

使うとき　頭脳の中身は変わらない

学習が終わると、頭脳の中身は固定されます。私たちが使っているのはこの固定された頭脳です。使っている最中に、頭脳そのものが学習することはありません。

この区別から、日々の使い方に関わる大事な結論が2つ出てきます。

1つめは、会話で教えたことは、基本的に頭脳そのものには残らないということです。「当社では『顧客』ではなく『お客さま』と書く」と伝えれば、その会話の中では守ってくれます。しかしそれは、伝えた文章が机の上に載っていて、毎回の予測のたびに読まれているからです。頭脳が覚えたわけではありません。会話を新しく始めれば、その文章は机から消え、元の書き方に戻ります。

「でも、前に話したことを覚えているように見えるサービスもある」と感じた方もいるでしょう。それは、サービスの側が過去の会話のメモを保存しておき、新しい会話のたびに机に載せ直しているからです。覚えているように見える仕組みの正体は、頭脳ではなく机の運用にあります。この仕組みと、その落とし穴は第5章で扱います。

2つめは、知識には締め切りがあるということです。頭脳が知っているのは、学習に使った文章が集められた時点までのことです。業界ではこの時点を「カットオフ」と呼びます。それ以降に起きた出来事、発表された製品、変わった制度は、頭脳の中にはありません。しかも頭脳は、自分の締め切りがいつなのかを正確には把握していないことが多く、締め切り時点の「最近」を、いまの「最近」として話してしまうことがあります。

表の最後の行が、エージェントにとっての出口になります。頭脳そのものは締め切り後のことを知りませんが、新しい情報を机に載せれば、それを読んで扱うことはできます。検索という道具で最新の記事を取ってきて机に載せる。これが、第4章の「道具」と第5章の「机」が必要になる理由です。

2.3なぜ「考えている」ように見えるのか

次の断片を予測しているだけなのに、言語モデルは手順を組み立てたり、矛盾を指摘したり、理由を挙げて結論を出したりします。まるで考えているように見えます。これはどう説明できるのでしょうか。

手がかりは、学習に使われた文章の中身にあります。人間が書いてきた膨大な文章には、事実だけでなく、考え方の型がたくさん含まれています。問題を分解して順に解く説明、原因と結果をたどる文章、反対意見を検討してから結論を出す論説、手順書、議事録。次の断片をうまく予測するためには、こうした「筋道の運び方」まで再現できなければなりません。結果として、頭脳は推論や手順のパターンを身につけ、新しい問題にもそれを当てはめられるようになります。

考えを書き出すと、精度が上がる理由

ここで、2.1節の仕組みが効いてきます。頭脳は、自分が書いた断片も含めて「ここまでの文章全部」を読んで次を予測するのでした。ということは、途中の考えを文章として書き出すと、それが次の予測の材料になるということです。

たとえば「5社のうち、価格が最も安いのはどこか」を一気に答えさせると、頭脳は答えの社名をいきなり予測しなければなりません。一方、「A社は月額いくら、B社はいくら……」と書き出してから比べれば、最後の判断は、机の上に並んだ数字を読むだけの易しい予測になります。人間が暗算より筆算のほうが間違えにくいのと似ています。書き出した途中経過が、次の一歩の足場になるのです。

この性質を利用して、答える前に、利用者には見せない下書きとして考えを長く書き出すよう調整された頭脳もあります。いわば「考える時間」を取る仕組みです。難しい問題ほど、書き出す量を増やすことで正答率が上がる傾向が知られています。その代わり、書き出す断片が増える分だけ、時間と費用がかかります（第13章）。

エージェントの作業記録に「次は公式発表を確認する。理由は……」といった思考の記録が残るのも、この仕組みの表れです。第3章では、この記録を1行ずつ読んでいきます。

ただし、書き出された考えは「本当の理由」とは限らない

ここで一つ注意があります。書き出された考えは、それ自体が予測によって作られた文章です。頭脳の内部で実際に起きている計算を、そのまま写し取ったものではありません。

研究の世界でも、書き出された理由と、実際に答えを左右した要因が一致しない例が報告されています。たとえば、問題文にこっそり入れたヒントに影響されて答えを変えたのに、書き出された考えにはそのヒントが一言も出てこない、といった具合です。もっともらしい説明が、後から組み立てられている可能性があるのです。

2.4確からしさとゆらぎ

図2-1では、「まとめ」の確からしさが52%でした。では、頭脳はいつも最も確からしい「まとめ」を選ぶのでしょうか。

多くの場合、答えは「いいえ」です。確からしさに応じて、ある程度のばらつきを持たせて選ぶのが一般的です。52%の候補は2回に1回くらい選ばれ、21%の候補も5回に1回くらいは選ばれる、というイメージです。くじ引きの当たりやすさを、確からしさで重み付けしていると考えてください。

なぜわざわざばらつかせるのでしょうか。毎回いちばん確からしい断片だけを選び続けると、文章が単調になったり、同じ言い回しを繰り返す袋小路に入ったりしやすいことが知られています。適度なばらつきは、自然で多様な文章を生むために役立っているのです。ばらつきの大きさは、使う側の設定である程度調整できます（業界では「温度」と呼ばれることがあります）。

図2-3で注目してほしいのは、小さな違いが後ろに行くほど大きくなることです。頭脳は自分が書いた断片を読んで次を予測するので、最初に「整理し」を選ぶと、その後はずっと「整理した」流れに沿った続きが予測されます。1つの断片の違いが、段落の構成や、場合によっては結論の向きまで変えてしまうことがあります。

エージェントの場合、この影響はさらに大きくなります。最初の検索語が少し違えば、見つかる記事が変わり、机に載る情報が変わり、次の判断が変わります。第1章の表1-1で「結果の予測しやすさ：低め」と書いたのは、この積み重ねのことです。

一貫性が必要な仕事への含意

この性質は、良し悪しではなく仕組みの一部です。アイデア出しや文章の言い換えでは、ばらつきはむしろ持ち味になります。一方、「同じ入力には必ず同じ結果を返してほしい」仕事では、注意が必要です。

ばらつきの設定を小さくすれば答えはそろいやすくなりますが、仕組みや環境によっては、それでも完全には一致しないことがあります。そのため、一貫性が欠かせない部分は、頭脳の振る舞いに頼るのではなく、決まった手順や、結果を機械的に確かめる仕組みで支えるのが基本です。どこをどう確かめるかは第11章で扱います。

2.5作り話（もっともらしい誤り）はなぜ起きるか

言語モデルは、存在しない資料を引用したり、実在しない製品名を挙げたり、間違った数字を自信ありげに書いたりすることがあります。業界では「ハルシネーション（幻覚）」と呼ばれる現象です。この教材では、中身に即して作り話と呼びます。

なぜ起きるのかは、ここまでの仕組みから説明できます。頭脳がしているのは、「続きとして確からしい断片」を選ぶことでした。そして、学習に使われた文章の大半は、何かを「知っている」人が書いた文章です。「〇〇社の新サービスは」と書き始めた文章の続きは、たいてい具体的なサービス名です。「知りません」と続く文章は、めったにありません。

そのため、頭脳が本当は手がかりを持っていない場面でも、「知らない」と言うより、それらしい続きを書くほうが確からしく見えてしまうことがあります。頭脳はうそをつこうとしているわけではありません。予測という仕組みが、空白を「ありそうな形」で埋めてしまうのです。

固有名詞・数字・出典が特に危ない理由

作り話が起きやすい場所には、共通点があります。形はいくらでも作れるのに、正しい中身は1つしかないものです。

• 固有名詞：サービス名や人名は、「それらしい響き」を作るのは簡単です。しかし正しい名前は1つだけで、響きの自然さは正しさの手がかりになりません。
• 数字：「月額980円」も「月額1,280円」も、文章としては同じくらい自然です。予測の確からしさは、形の自然さと値の正しさを区別できません。
• 出典：資料名、発表日、記事の題名は、「こういう形をしているもの」というパターンが強いため、実在しない組み合わせがもっともらしく作れてしまいます。

反対に、よく知られた一般的な説明や、多くの文章で繰り返し書かれてきた内容では、作り話は起きにくくなります。学習した文章の中で、何度も同じ形で書かれてきたかどうかが、信頼度の目安になるのです。めったに書かれない情報、新しい情報、細かい数字ほど、疑ってかかる必要があります。

頭脳の性能が上がると、作り話は減ってきています。分からないときに「分からない」と答える調整も進んでいます。しかし、仕組みの根本が「確からしい続きの予測」である以上、ゼロにはなりません。どんな種類の間違いが起き、どう備えるかは、第9章「失敗の型」で整理します。

2.6頭脳だけではできないこと、だから道具と机がいる

ここまでの話を、佐藤さんの依頼に当てはめてみましょう。もし佐藤さんが、道具を持たない頭脳だけに「業界の主要5社が最近出した新サービスを調べて、比較表と1枚の要約にまとめて」と頼んだら、どうなるでしょうか。

おそらく、数秒で見事な比較表が返ってきます。5社の名前が並び、サービス名、開始時期、特徴、価格が整然と埋まっています。体裁は完璧です。しかし、中身を確かめると、次のような問題が見つかるはずです。

• 最近のサービスが載っていない：頭脳が知っているのは締め切りまでのことです。上司の言う「最近」の新サービスは、締め切りより後に発表されたものかもしれません。頭脳は、締め切り時点の「最近」を答えます。
• それらしい一覧で空白を埋めてしまう：5社のうち、ある会社の新サービスを知らなかったとしても、表の欄は空きません。ありそうなサービス名、ありそうな開始時期、ありそうな価格で埋まります。2.5節の作り話が、表という形の中に紛れ込むのです。
• 計算が合わないことがある：「年額に直すといくらか」「最安と最高の差は何倍か」といった計算も、頭脳にとっては数字の断片の予測です。簡単な計算ならたいてい合いますが、桁の多い計算や大量の集計では、誤りが混じりえます。
• 表を保存することも、上司に送ることもできない：頭脳ができるのは文章を書くことだけです。ファイルを作る、メールを送るといった外の世界への働きかけは、それ自体ではできません。

厄介なのは、これらの問題が体裁の良さに隠れて見えにくいことです。表が整っているほど、中身も正しいように感じてしまいます。

表の右の列を見ると、エージェントの仕組みが、頭脳の弱点を一つずつ補う形で組み立てられていることが分かります。道具（手足）は、頭脳にできない計算・検索・操作を担います。机（記憶）は、頭脳が知らない情報や、覚えていられない経緯を、予測の材料として目の前に置きます。そしてループは、道具の結果を机に載せ、それを読んで次の一手を予測する、という繰り返しを回します。

こう考えると、エージェントとは「次の断片を予測する頭脳」に、正しい材料を机の上へ運び続ける仕組みだと言えます。頭脳の予測の質は、机に載っている材料の質を超えられません。第4章では道具の仕組みを、第5章では机に何が載り、何が落ちるのかを見ていきます。

確認確認問題