確かめる仕組み──
確認はなくせない、だから設計する

11.1確認はなくせない

第3章で、佐藤さんのエージェントは「比較表と要約が完成しました」と報告して作業を終えました。そのとき確かめたのは、「完了」はエージェント自身の判断にすぎないということでした。成果物がそろったことと、中身が正しいことは別です。実際、比較表のD社の行は公式発表ではなく業界ニュースの記事をもとにしており、E社の行は一歩間違えば似た社名の別会社の情報になるところでした。

こうした誤りは、たまたま起きたものではありません。第2章で見たとおり、頭脳（言語モデル）は「確からしい続き」を選ぶ仕組みなので、作り話はゼロにはなりません。第9章では、エージェントの間違え方には決まった型があることを整理しました。頭脳がどれほど賢くなっても、間違えることを前提に使うという姿勢は変わりません。だから、確認はなくせません。

一方で、確認には手間がかかります。佐藤さんが5社の情報をすべて自分で調べ直したら、最初から自分で調べたのとほとんど同じ手間になります。それでは任せた意味がありません。

ここで陥りやすいのが、「全部を見る」か「何も見ない」かの二択です。どちらも、実は確認を設計していない状態です。全部を見ようとすれば疲れて肝心な所を見落とし、何も見なければ誤りがそのまま上司に届きます。

この章では、そのための考え方を順に組み立てていきます。まず、仕事の中身によって確かめやすさが違うことを見ます（11.2節）。次に、確かめる方法を3つに分けて比べます（11.3節）。そのうえで、何を見るか（11.4節）、どこまで見るか（11.5節）を考え、最後に、繰り返し任せる仕事のための仕組みを扱います（11.6節）。

11.2確かめやすい仕事・確かめにくい仕事

同じ比較表の中にも、確かめやすい部分と確かめにくい部分が混ざっています。確かめやすさで分けると、大きく3つの段に分かれます。

段1　機械的に確かめられる

5社の行がそろっているか、日付が依頼の範囲に入っているか、合計や件数が合っているか、決まった形式になっているか。こうしたことは、決まった手順にすれば、誰がやっても同じ答えになります。人が目で見てもよいのですが、手順として書き出せるので、仕組みに任せることもできます。

段2　元の資料に当たれば確かめられる

表に書かれたサービス名や開始時期が発表文と一致しているか、引用が原文どおりか、数字がどこから来たのか、E社の情報が本当にE社のものか。これらは、出典となった資料を開いて照らし合わせれば、答えは1つに決まります。ただし、資料を開いて読む手間がかかり、出典が分からなければ確かめようがありません。

段3　人の判断が要る

比較の軸が上司の目的に合っているか、要約の結論が妥当か、文章が読みやすいか、何を強調すべきか。これらには、正解が1つに決まっていません。仕事の目的や、読む人の事情を知っている人にしか判断できない部分です。

図11-1で大事なのは、1つの成果物を、確かめやすさの段ごとに分けて見られるということです。比較表を「1つのもの」として確かめようとすると、どこから手をつければよいか分からなくなります。段ごとに分ければ、段1は手順に任せ、段2は資料と照らし合わせ、段3だけを人がじっくり考える、という分担ができます。

この3段は、仕事を任せるかどうかの物差しにもなります。比較表を作るのは手間のかかる仕事ですが、「5行そろっているか」は一目で分かります。一方、要約の結論が妥当かどうかを確かめるには、自分で考え直すのとほとんど同じ手間がかかります。つまり、作るより確かめるほうが簡単な仕事ほど、任せやすいのです。確かめるのに作るのと同じ手間がかかる仕事は、任せても手間が減りません。この物差しは、第14章「任せる仕事の選び方」で改めて使います。

11.33つの確かめ方

確かめやすさの段が分かったら、次は「どうやって確かめるか」です。確かめ方は、大きく3つに分けられます。

確かめ方1　人が見る

いちばん素朴な方法です。人は、仕事の目的や、読む人の事情を知っています。「上司はこの表を何に使うのか」を踏まえて、足りないものや違和感に気づけるのは人だけです。段3の判断には、人の目が欠かせません。

ただし、人は大量の単調な照合が苦手です。5社分の日付を1つずつ見比べるような作業を続けると、集中が切れて見落とします。そして、手間がいちばん大きい方法でもあります。

確かめ方2　別の方法で確かめる

エージェントが作ったのとは別の道筋で、同じ答えにたどり着けるかを確かめる方法です。たとえば、次のようなものがあります。

• 決まった手順での機械的なチェック：行の数、日付の範囲、空欄の有無などを、手順どおりに確かめる。
• 検算：表の合計や件数を、別のやり方で数え直して一致するかを見る。
• 出典の原文を開く：表に書かれた内容が、出典の資料に本当に書いてあるかを照らし合わせる。

この方法の強みは、頭脳の判断に頼らないことです。決まった手順は毎回同じように働き、作り話をしません。第2章で「一貫性が欠かせない部分は、決まった手順や機械的に確かめる仕組みで支える」と述べたのは、このことです。その代わり、手順に書いていないことは見ませんし、段3のような判断はできません。

確かめ方3　点検役に確かめさせる

第7章で見た「点検役つき」の形です。作る役とは別のエージェントに、成果物を確かめさせます。人の手間をかけずに、量の多い文章を読ませて気になる箇所に印をつけさせる、といった使い方ができます。

ただし、第7章の「もう一歩深く」で見たとおり、同じ頭脳に同じ情報を渡すと、同じ所を見落としやすくなります。点検役を生かすには、見る観点を変える（「各行に出典と日付があるか」だけを見させる）、渡す情報を変える（作る役の途中の考えではなく、元の依頼と成果物だけを渡す）といった工夫が要ります。また、点検役も頭脳である以上、点検役自身が誤った指摘をすることもあります。

表11-1を見ると、どの方法にも苦手があることが分かります。だから、組み合わせるのが基本です。佐藤さんの比較表なら、まず機械的なチェックで行の数と日付を確かめ、次に点検役に「表の各項目が出典の記載と一致するか」を見させて食い違いに印をつけさせ、最後に人が、印のついた所と比較の軸を見る、という流れが考えられます。

組み合わせ方の目安は、下の段で拾えるものは下の段で拾い、人の目は上の段に残しておくことです。人の注意力は限られています。日付の照合に使い果たしてしまうと、いちばん人にしかできない「目的に合っているか」の判断が手薄になります。

11.4何を見るか──結果・根拠・過程

確かめる対象は、成果物だけではありません。見るものは3つあります。

• 結果：成果物そのもの。比較表と要約です。
• 根拠：それぞれの記述がどこから来たか、つまり出典です。
• 過程：どういう道筋で作られたか。第3章で読んだ作業記録です。

第3章の「よくある誤解」で見たように、結果だけを見ても、それがどう作られたかは分かりません。根拠がなければ段2の照合ができず、過程が見えなければ方針の変更や繰り返しに気づけません。3つがそろって、はじめて「どこまで信用してよいか」を判断できます。

ここから、任せる側が前もってしておくべきことが見えてきます。確かめられる形で作らせることです。具体的には、次の2つが大切です。

• 出典と取得日を必ず残させる：どの資料のどこから取ったかに加え、いつその資料を見たかも残させます。ウェブのページは後から書き換わることがあるので、見た日付がないと、照合したときの食い違いが「誤り」なのか「その後の更新」なのか区別できません。
• 未確認は未確認と書かせる：第6章で、エージェントがD社の欄に「報道1件のみ・未確認」と書いた場面を見ました。分からない所が分からないと書かれていれば、人はそこを重点的に見られます。逆に、未確認の所がほかと同じ体裁で埋まっていると、確かめる側はどこを疑えばよいか分かりません。

確かめる仕組みの半分は、確かめる時点ではなく、頼む時点で決まっているのです。どう頼めばこうした形で作ってもらえるかは、第12章「頼み方の原則」で扱います。

それでは、出典つきで作られた比較表を、佐藤さんがどう確かめるかを追ってみましょう。11.2節の3段を、下から順に上っていきます。

この流れには、3つのポイントがあります。1つめは、安くて確実な段1を先に済ませることです。段1で印がついた所が、段2で重点的に見る場所を教えてくれます。2つめは、段2の照合が出典が残っていたからこそできたことです。出典がなければ、D社の情報源の違いには気づけませんでした。

3つめが、最も大事な点です。段3で見つかった「価格の列がない」という問題は、どれほど丁寧に照合しても見つかりません。表に書かれていることがすべて正しくても、目的に照らして足りないものは、書かれていないので照合のしようがないからです。人の目を段3に残しておく理由は、ここにあります。

11.5全部は見ない──重点と抜き取り

佐藤さんの比較表は5行でしたが、仕事によっては何十行、何百行にもなります。そのすべてを同じ深さで見るのは現実的ではありません。そこで、見る所を「重点的に見る所」と「抜き取りで見る所」に分けます。抜き取りとは、全体から一部を選んで確かめ、そこで問題がなければ全体もおおむね大丈夫だろうと推し量るやり方です。

重点的に見る所──間違いやすい所

間違いやすい所には、はっきりした傾向があります。第2章で見たとおり、作り話は「形はいくらでも作れるのに、正しい中身は1つしかないもの」で起きやすいのでした。固有名詞、数字、出典がその代表です。さらに、第9章で整理した失敗の型が出やすい所も重点になります。たとえば、方針を変えた後の部分（目標のずれが起きやすい）や、前の結果を土台にして作られた部分（誤りの連鎖が起きやすい）です。そして、「未確認」と書かれた所と、本来は未確認と書かれているべきなのに、ほかと同じ体裁で埋まっている所です。

抜き取りで見る所──間違いにくい所、すでに確かめた所

一般的な説明の文章、体裁、段1のチェックを通った部分、公式発表から取られ出典もそろっている行などは、抜き取りで十分なことが多いでしょう。

抜き取りで大切なのは、誤りが見つかったら、抜き取りの範囲を広げることです。抜き取りは「見つからなければ安心」の道具ではなく、「見つかったら全体を疑う合図」の道具です。1件でも誤りが見つかったら、同じ種類の箇所を全部見直すのが基本です。

影響の大きさで、見る深さを変える

どこまで深く見るかは、間違いやすさだけでなく、間違えたときの影響の大きさでも変わります。第8章で見たとおり、取り返しのつく行動とつかない行動では、止める場所が違いました。確認も同じです。佐藤さんが自分用のメモとして使うだけなら軽い確認で足ります。上司に提出する表なら一段深く、社外に出る資料なら、さらに深く見る必要があります。

図11-3の右上、つまり間違えやすく、しかも影響の大きい所に、人の手間を集めます。左下は機械的なチェックに任せ、人はほとんど見なくてかまいません。こうして配分を決めておくと、「全部を見なければ不安」という気持ちと、「全部は見ていられない」という現実の間で迷わずに済みます。

11.6繰り返し任せる仕事は「問題集」を作る

ここまでは、1回の仕事をどう確かめるかを考えてきました。しかし実際には、毎月の競合調査や定例の報告のように、同じ種類の仕事を繰り返し任せることがよくあります。こうした仕事には、もう1つ備えておきたい仕組みがあります。

繰り返し任せる仕事では、仕組みの側が少しずつ変わっていきます。頭脳が新しいものに入れ替わる、使う道具が変わる、指示を書き直す。第2章で見たように、同じ頭脳でも答えにはゆらぎがあります。先月うまくいったから今月もうまくいく、とは限らないのです。

そこで役に立つのが、正解の分かっている例題を集めた「問題集」です。佐藤さんのチームなら、たとえば次のような例題が考えられます。

• 過去に人が確かめ、正しいサービス名と開始時期が分かっている会社の調査
• 似た社名の会社が検索結果に混ざりやすい会社の調査（正解は、別会社の情報を拾わないこと）
• 公式発表が見つからない会社の調査（正解は、ほかの情報で埋めずに「未確認」と書くこと）

この問題集を、定期的にエージェントに解かせ、答えを正解と比べます。採点にも11.2節の3段が使えます。サービス名や日付は段1・段2で機械的に照合でき、要約の質のような段3の部分は、採点の観点を決めて人が見ます。このように、正解の分かった例題で仕組みの出来を確かめることを、業界では「評価」と呼びます。

問題集のいちばんの価値は、図11-4のように、仕組みが入れ替わったときに同じ物差しで比べられることです。新しい頭脳が出た、新しい道具が使えるようになった、というときに、評判や発表の数字ではなく、自分の仕事の例題で「本当に良くなったか」「前はできていたのに、できなくなったことはないか」を確かめられます。

頭脳は入れ替わっていきますが、「自分の仕事で何が正解か」という知識は入れ替わりません。問題集は、モデルが変わっても使い続けられる資産です。新しい製品のニュースに右往左往せず、自分の仕事にとっての意味を落ち着いて判断する。その足場になるのが問題集です（第16章）。

問題集を育てるコツは、実際に起きた誤りを例題に加えていくことです。E社の社名の取り違えのように、一度起きた誤りは、また起きうる誤りの最良の見本です。また、時期によって正解が変わる例題（「最新のサービス」など）は、正解のほうを更新する必要があることも覚えておいてください。最初から立派な問題集を作る必要はありません。数問から始めて、仕事を任せるたびに増やしていけば十分です。

確認確認問題