失敗の型──
間違え方には決まった形がある

9.1失敗は前提、ただし形は決まっている

第2章で見たとおり、頭脳（言語モデル）は「続きとして確からしい断片」を選んで文章を組み立てています。確からしさは正しさと同じではありません。だから、頭脳を中心に動くエージェントは、どれほど性能が上がっても、間違える確率をゼロにはできません。第2部の出発点は、この事実を受け入れることでした（第8章）。

ただし、「いつ何が起きるか分からない」わけではありません。第1部で見てきた4つの部品には、それぞれの性質があります。頭脳は空白をそれらしく埋める。机には上限があり、古いものから落ちる。ループは止まる判断をエージェント自身に任せている。こうした性質から、間違え方には決まった形が生まれます。この教材では、これを失敗の型と呼びます。

頭脳が賢くなると、それぞれの型が起きる頻度は下がっていきます。しかし、型そのものは変わりません。部品の性質が変わらない以上、間違え方の形も変わらないからです。

型を知っておくと、何がうれしいのでしょうか。いちばん大きいのは、「どこを疑えばよいか」が分かることです。成果物の全部を同じ熱量で疑うのは現実的ではありません。しかし、作り話なら固有名詞と数字、取り違えなら最初の計画、早すぎる完了なら最後の報告、というように、型ごとに兆候の出る場所はほぼ決まっています。病気の症状を知っている医師が、診るべき所から診るのと同じです。

9.26つの型の一覧

エージェントの失敗は、大きく次の6つの型に分けられます。

1. 作り話：確かめていない内容を、確かな事実のように書く
2. 目標の取り違え：依頼の意味を別のものと解釈し、違う問題を正しく解く
3. やりすぎ：目標のために、頼んでいない手段まで使う
4. 堂々巡り：結果の出ないことを、少しずつ変えながら繰り返す
5. 前提の忘却：最初に伝えた条件が、途中で机から落ちる
6. 早すぎる完了：形がそろった時点で、中身を確かめずに「完了」とする

それぞれの型が、どの部品から来て、作業記録のどこに兆候が出るのかをまとめたのが表9-1です。

表を、仕事の流れに沿って並べ直したのが図9-1です。型によって、顔を出しやすい時期が違うことが分かります。

図9-1から、2つのことが読み取れます。1つめは、型ごとに、人が介入すべき時点が違うことです。取り違えは始めの解釈で決まるので、第3章でいう「始める前」に計画を見るのが効きます。早すぎる完了は終わり際に起きるので、「終わった後」に完了の根拠を見ます。途中で起きる型は、作業記録の繰り返しや方針の変更から見つけます。

2つめは、手足（道具）は、失敗の大きさを決める部品だということです。作り話も取り違えも、比較表の下書きの中にとどまっていれば、直せば済みます。しかし、送る・動かす道具が渡されていれば、同じ誤りが社外に届いたり、お金が動いたりします。第8章で「最悪の結果の天井を決めるのは権限」と述べたのは、このことです。

型はいつも1つずつ起きるとは限りません。前提の忘却で「どこにも送らない」という条件が机から落ち、それがやりすぎにつながる、というように組み合わさることもあります。なお、読んだ資料の中に紛れ込んだ命令に従ってしまう問題は、外から仕掛けられるという点で性質が違うため、第10章で別に扱います。

9.3頭脳から来る失敗──作り話と目標の取り違え

まず、頭脳の性質から直接生まれる2つの型を、佐藤さんの場面で詳しく見ていきます。

① 作り話──空欄は、それらしく埋まる

第2章では、頭脳が手がかりを持たない場面でも、「知らない」と書くより、それらしい続きを書くほうが確からしく見えてしまうことを見ました。エージェントになると、道具で資料を集められるので、作り話は減ります。それでも、なくなりはしません。エージェントの作り話は、主に次の3つの形で現れます。

• 資料にない部分を補う：D社の情報源にしたニュース記事に価格が書かれていなかったのに、比較表の価格の欄に「月額数千円程度」と入っている。記事の内容と、頭脳がもともと持っている「ありそうな値」が混ざったものです。
• 調べないまま埋める：ある会社の開始時期を、検索せずに頭脳の知識だけで書く。作業記録には、その値を確かめた手がありません。
• 作業の報告を作る：「すべて公式発表で確認しました」と報告したが、実際にはD社だけニュース記事だった。報告の文章も、確からしい続きとして書かれます。

3つに共通しているのは、「埋めなければ」という圧力のかかる所で起きることです。比較表という形は、5行すべての欄が埋まった状態を「完成」に見せます。空欄は、頭脳にとっても「続きとして不自然なもの」です。だから、資料が足りない欄ほど、それらしい値で埋まりやすくなります。

兆候を見つけるには、成果物の値と作業記録を結びつけます。「この数字は、どの手で読んだ、どの資料に書いてあったか」。対応する手が記録に見当たらない値は、作り話の疑いがあります。第2章で見たとおり、固有名詞・数字・出典は特に危ない場所です。

② 目標の取り違え──違う問題を、正しく解く

取り違えは、依頼の言葉を、依頼した人とは別の意味に解釈することです。第6章の「もう一歩深く」で見たように、エージェントは机に書かれていない暗黙の前提を、もっともらしい一般論で埋めます。その埋め方が依頼した人の意図とずれたとき、取り違えが起きます。佐藤さんの依頼には、取り違えの起きうる言葉がいくつも含まれています。

• 範囲の取り違え：「最近」を「過去5年」と解釈する。上司は「この半年くらい」のつもりだったかもしれません。「最近」の幅は、業界や文脈によって変わる言葉です。
• 対象の取り違え：「主要5社」を、上司の考えていた5社とは別の5社と解釈する。社名を添えずに頼めば、売上の大きさで選ぶかもしれませんし、話題になった順で選ぶかもしれません。第3章の手12で、E社とよく似た名前の別会社を拾いかけたのも、対象の取り違えの一種です。
• 目的の取り違え：第3章の手4で、比べる項目を「サービス名・開始時期・対象顧客・特徴」と思いつきで決めたのは、「上司が何のために比べたいのか」を推測で埋めた結果です。

取り違えのいちばん厄介な点は、それ以降の仕事がすべて、筋の通った、質の高いものになりうることです。「過去5年」と解釈したエージェントは、過去5年の新サービスを丁寧に調べ、見事な比較表を作ります。仕事ぶりに落ち度はありません。ただ、解いている問題が違うのです。成果物の出来の良さが、かえって取り違えを見えにくくします。

一方で、取り違えには見つけやすい場所があります。解釈は仕事の最初に決まるので、最初の計画や、最初の検索語に表れます。検索語に「過去5年」と入っていれば、その時点で分かります。第6章で、実行の前に計画の「目標の解釈」を見ることを勧めたのは、このためです。そもそも取り違えを起こしにくくするには、言葉に込めた前提（期間、5社の名前、何のための比較か）を、依頼の段階で机に載せておくことです（第12章）。

9.4ループと机から来る失敗──やりすぎ・堂々巡り・忘却・早すぎる完了

残りの4つの型は、頭脳の1回の判断というより、ループを回し続けることや、机の性質から生まれます。どれも、1手ずつは筋が通っているのに、全体として困った結果になるという共通点があります。

③ やりすぎ──善意で、頼んでいない手段を使う

エージェントは、目標に近づく一手を選び続けます。そして頭脳にとって、「頼まれたこと」と「目標の役に立ちそうなこと」の境目は、机に書かれていない限りはっきりしません。手元に使える道具があれば、目標のためにそれを使うのは、筋の通った選択に見えてしまいます。佐藤さんの場面なら、次のようなことが起こりえます。

• 比較表を見やすく整理しようとして、共有フォルダにあった古い比較表を、新しい内容で上書きする。「最新版を1つにまとめたほうが混乱しない」という理屈がつきます。
• D社の情報が足りないので、表に載せる情報を得るために、業界ニュースサイトの有料記事の申し込みをしようとする。
• 完成した比較表を、手間を省くつもりで、上司に直接送る。

どれも悪意ではなく、目標に忠実であろうとした結果です。だからこそ、「頼んでいないことはしないで」と依頼文に書くだけでは十分ではありません。その一文も机から落ちうるからです（⑤前提の忘却）。やりすぎへの本当の備えは、第8章で見たとおり、そもそもできないようにしておくことです。調査の仕事には申し込みの道具を渡さない、共有フォルダは読むだけにする、送信の前には必ず人の承認を挟む。作業記録では、依頼にない種類の道具、特に書く・送る・動かすの道具が使われていないかを見ます。

④ 堂々巡り──足踏みに、自分では気づけない

第3章の手8〜手10では、D社の公式発表を探して、言葉を少しずつ変えた検索が3回続きました。1回ごとには「言い換えれば見つかるかもしれない」という理屈があります。しかしエージェントには、人間のような「疲れた」「時間を使いすぎた」という感覚がありません。机の上に似た検索が並ぶと、その続きとしてまた似た検索を選びやすくなることもあります。

堂々巡りには、同じことの繰り返しのほかに、「AとBを行ったり来たりする」「直しては元に戻す」といった形もあります。どれも、結果が変わらないまま、時間と費用だけが積み上がります（第13章）。

対処の基本は、エージェントの判断とは別のところで止める上限です（第3章 3.5節）。あわせて、「見つからないときはどうするか」をあらかじめ決めておくと、行き詰まったときの出口ができます。第3章の手11が、ニュース記事での代用という、望ましくない出口を自分で選んでしまったことを思い出してください。

⑤ 前提の忘却──条件は、机から静かに落ちる

第5章で見た「5列のはずが8列の表になった」例が、この型の典型です。机が上限に近づいて要約されたとき、最初に伝えた「比較表は5列で」という指定が落ちました。その後のエージェントは、机の上にある情報に対してはむしろ忠実に、詳しい表を作ろうとしただけでした。

落ちるのは、列の数のような細かい指定だけではありません。「公式発表を優先する」「どこにも送らない」といった、品質や安全に関わる条件も、同じように落ちえます。前提の忘却が厄介なのは、ほかの型の入り口になることです。「どこにも送らない」が落ちればやりすぎに、「見つからなければ空欄でよい」が落ちれば作り話に、それぞれつながります。

兆候は、作業の途中から最初の条件と食い違う動きが出ること、すでに調べたことを調べ直すことです。対処は第5章で見た3つ、つまり仕事を区切る、条件を作業メモに書き出させる、大事な条件を使う直前に机に載せ直すことです。

⑥ 早すぎる完了──「そろった」を「できた」と取り違える

第3章の手15で、エージェントは「比較表と要約が完成しました」と報告しました。根拠は、依頼にある成果物が2つともそろったことでした。D社の情報源が違うことも、E社の情報が本当にE社のものかも、完了の判断材料に入っていませんでした。

なぜ、こうなりやすいのでしょうか。第3章で見たとおり、ループを止める「完了」は、エージェント自身の1手の判断です。そして机の上には、たいてい「完成させる」という目標は書かれていても、「何をもって正しいとするか」は書かれていません。形がそろったかどうかは机の上を見れば判断できますが、中身が正しいかどうかは、机の上だけでは判断できないことが多いのです。判断しやすいほうで判断して止まる、という傾きが生まれます。

この型には、「5社のうち4社で完了とする」のように、一部を残したまま完了する形も含まれます。対処は、第6章で見た完了条件を計画に書いておくこと、計画の最後に「確認」の作業を入れておくこと、そして完了の報告を受けたら、何を見て完了と判断したのかを記録の最後の数手から読むことです。どう確かめるかは第11章で扱います。

9.5間違いは連鎖する

ここまで、型を1つずつ見てきました。しかし実際の被害の大きさを決めるのは、1つの誤りそのものより、その誤りが後ろにどう広がるかです。

第6章で見たとおり、頭脳は机の上にある前の結果を、正しいものとして次の作業に使います。誤りは一度机に載ると、もう「誤り」という印はついていません。ほかの正しいメモと同じ顔をして並び、後ろの作業すべての土台になります。第3章の手12で、もしエージェントが社名の食い違いに気づかなかったら、何が起きていたでしょうか。

この記録から、連鎖の3つの特徴が読み取れます。

1つめは、誤りが段階を進むたびに、見えにくくなることです。手12の時点では、発表文に書かれた所在地を見れば気づけました。手13の比較表では、別会社の情報もほかの行と同じ体裁に整えられ、元の手がかりは消えています。要約になると、表の1行ですらなく、文章の中の主張になっています。

2つめは、誤りが目立つ結論になりやすいことです。比較の仕事は「違い」を探す仕事です。別会社の情報は、ほかの4社と性質が違うので、まさに「違い」として目に留まり、要約の柱に選ばれやすくなります。誤りが、いちばん目立つ場所に押し上げられるのです。

3つめは、直す量が、後ろへ行くほど増えることです。第6章の図6-4で見たとおり、調査の直後に気づけば1社を調べ直すだけで済みますが、提出の後では、上司への説明と出し直しまで必要になります。

だから、連鎖を断ち切るには、誤りが机に載った直後の、なるべく早い所で止めるのが最も安上がりです。これが第6章のチェックポイントの役割でした。調査が終わった区切りで「5社は依頼の意図どおりの会社か」を確かめていれば、連鎖は始まる前に止まります。チェックポイントで確かめるのは「作業が終わったか」ではなく、「次の作業の土台にしてよいか」です。

なお、第7章で見た複数のエージェントの構成では、連鎖はさらに見えにくくなります。調査担当から表の担当へ引き継がれるとき、渡されるのは「E社：〇〇サービス」という結果だけで、どの発表を読んだかという経緯は落ちがちです。受け取った側には、疑うきっかけがありません。

9.6自信は当てにならない、学ぶのは人と仕組み

断定口調も「確認しました」も、正しさの証拠ではない

人間同士の仕事では、相手の話しぶりから確かさを推し量ることがあります。言いよどむ人の話は慎重に聞き、自信を持って言い切る人の話は信じやすい。しかし、エージェントに対してこの感覚を使うと、判断を誤ります。

第2章で見たように、頭脳が書く文章は、すべて「続きとして確からしい断片」の積み重ねです。断定するか、ためらうかという口調も、文章の一部として同じ仕組みで作られます。正しい内容も作り話も、同じくらい滑らかに、同じくらい言い切った形で書かれえます。作り話がやっかいなのは、まさに自信ありげに見えるからでした。

同じことが、作業についての自己申告にも言えます。「公式発表で確認しました」「数字を見直しました」という報告は、確認をしたという文章であって、確認をしたという事実ではありません。事実かどうかは、作業記録に、それに対応する手（その資料を開いた、その数字を読み比べた）があるかどうかで判断します。記録にない確認は、確認として扱わない。これが基本の姿勢です。

エージェントに「この結果にどのくらい自信がありますか」と聞くこともできます。その答えが手がかりになる場合もありますが、答えそのものもまた予測された文章です。正しさを保証するものではありません。確かさは、口調や自己申告ではなく、元の資料と突き合わせる、別の方法で確かめるといった、頭脳の外の手段で確かめます（第11章）。

失敗から学ぶのは、頭脳ではない

失敗が起きたとき、つい「次は気をつけて」と言いたくなります。しかし第2章で見たとおり、頭脳は使っている最中に学習しません。会話の中で伝えた注意は、その会話の机に載っている間だけ効き、次の仕事ではまた同じ形で間違ええます。

では、誰が学ぶのでしょうか。人と、仕組みの側です。ここで役に立つのが、この章の型です。失敗を「E社で変な情報を拾った」という個別の出来事のまま覚えておいても、次の仕事には生かしにくいものです。「対象の取り違え。原因は頭脳、前提が机になかった。兆候は手12の検索結果。調査直後のチェックポイントで気づけた」と型で記録しておけば、どこを直せばよいかが見えてきます。

型が分かれば、反映する先も決まってきます。やりすぎが出たなら、頼み方を工夫するより先に、権限を狭めます（第8章の「狭める判断」）。作り話が出たなら、確かめ方に「数字は元の資料と照合する」を加えます（第11章）。取り違えが出たなら、依頼のひな形に前提を書き足します（第12章）。前提の忘却なら仕事の区切り方を、堂々巡りなら上限と出口を見直します。

こうして、失敗のたびに仕組みが少しずつ育っていきます。頭脳は昨日の失敗を覚えていなくても、権限の設定、確かめる手順、依頼のひな形は覚えています。エージェントを使う仕事の質を上げていくのは、この積み重ねです。

確認確認問題