権限は段階で渡す──
取り返しのつく行動、つかない行動

8.1権限とは何か

この教材でいう権限とは、「エージェントが現実に起こせることの範囲」のことです。第4章で見たとおり、頭脳（言語モデル）にできるのは依頼書を書くことだけで、現実に何かを起こすのは頭脳の外側にある実行役でした。ですから、エージェントの権限は次の2つの組み合わせで決まります。

• 渡した道具：読む・調べる・書く・送る・動かす（第4章 表4-1）のうち、どの道具を一覧に入れたか。一覧にない道具は、どれほど頭脳が使いたがっても使えません。
• 実行役の設定：渡した道具を、どの場所に対して、どんな条件で、人の確認つきで使わせるか。同じ「メールを送る」道具でも、「社内宛てだけ、送る前に必ず確認」と設定されていれば、できることはずっと狭くなります。

ここで、ある問いを立ててみます。エージェントが大きな失敗をしたとき、その失敗の大きさを決めているのは何でしょうか。

つい「頭脳が賢ければ失敗しない」と考えたくなります。けれども、第1部で見てきたことを思い出してください。頭脳は机に載った文章をもとに、確率的に続きを書く仕組みでした（第2章）。1手ずつは筋が通っていても、全体として望ましくない結果になることがありました（第3章）。机が混み合えば、最初の条件が要約で落ちることもありました（第5章）。そして読んだ文章に紛れ込んだ指示に操られる危険もあります（第10章）。どれも、頭脳が賢くなれば起きにくくはなりますが、ゼロにはなりません。

図8-1の右側を見てください。エージェントが読む・調べる・下書きを作る道具しか持っていなければ、どんなにひどい判断をしても、起こりうる最悪の結果は「間違った下書きができる」ことです。佐藤さんが読んで直せば済みます。一方、送信や支払いの道具を持たせていれば、たった1回の判断の誤りが、取引先への誤送信や誤った支払いにつながりえます。失敗の大きさの上限、つまり天井を決めているのは、頭脳の賢さではなく権限なのです。

人に仕事を任せるときも、同じ考え方をしているはずです。どれほど優秀な新人でも、入社した日に会社の口座から支払いをする権限は渡しません。その人を疑っているからではなく、どんな人でも間違えることがあり、支払いの誤りは取り返しがつかないからです。

8.22つの軸で仕分ける

「最悪どうなりうるか」を見積もるには、行動を2つの軸で仕分けると整理しやすくなります。

1つめの軸は、取り返しのつきやすさです。間違えたとき、元の状態に戻せるかどうか。第4章の表4-1は、道具をこの軸で並べたものでした。読む・調べるは何も変えないので戻す必要がなく、送る・動かすは相手に届いたり、お金が動いたりした時点で戻せなくなります。

2つめの軸は、影響範囲です。その行動の結果が、誰のところまで届くか。自分だけ（自分の手元のフォルダなど）、社内（チームの共有フォルダや社内の連絡など）、社外（取引先、お客様、公開の場など）の順に広がります。第4章でも、「同じ書く道具でも、共有フォルダに書けば実質的には送るのと同じ」という話をしました。どこに作用するかによって、同じ道具でも重さが変わるのです。

佐藤さんの仕事に出てきそうな行動を、この2つの軸で表にすると次のようになります。

この仕分けから、3つのことが読み取れます。

「戻せる」かどうかは、元の状態が残っているかで決まる

共有フォルダの上書きが「戻しにくい」に入っているのは、上書きした瞬間に元の中身が消えるからです。仮に以前の版が残る仕組みがあっても、上書きされてから気づくまでの間に、同僚がその資料を開いて誤った数字を使っていれば、その影響までは戻せません。戻せるかどうかは、時間がたつほど、読んだ人が増えるほど、難しくなります。

社外に出たものは、ほぼ戻せない

図8-2の右下がほとんど空になっているのは偶然ではありません。いったん社外に届いた情報は、相手の手元に残ります。取り消しの連絡はできても、読まれた事実は消せません。影響範囲が社外に及ぶ行動は、ほぼすべてが「戻せない」側に入ると考えてよいでしょう。

行動の位置は、仕組みで動かせる

ここが権限を設計するうえでいちばん大切な点です。図8-2の上での位置は、行動の名前で固定されているわけではありません。たとえば「上書きではなく、別名で新しいファイルとして保存させる」と決めれば、共有フォルダへの書き込みは「戻しにくい」から「戻せる」側に下がります。「メールは送らず、下書きとして保存するところまで」にすれば、社内や社外に届く行動が「自分だけ」の行動に変わります。

8.3自律性の5段階を、実際の設定に落とす

第1章では、自律性を「スイッチではなくつまみ」と表現し、LEVEL 0からLEVEL 4までの5段階を示しました（図1-2）。ここでは、それぞれの段階が具体的にどんな設定を意味するのかを、「エージェントが自分でしてよいこと」と「人が確認すること」に分けて整理します。

表の最後の行に注目してください。LEVEL 4の「向いている場面」は、仕事の難しさでもエージェントの賢さでもなく、権限の狭さで書かれています。任せきりにしてよいのは、8.1節の問い「最悪の判断を1回したら何が起こるか」に、「困らない」と答えられるときだけです。つまみの位置と権限の広さは、別々に決めるものではなく、組にして決めるものなのです。

段階は、行動の種類ごとに決める

もう1つ大切なのは、段階はエージェント全体に1つ決めるものではなく、行動の種類ごとに決めるものだということです。佐藤さんの調査を例に、実際の設定を考えてみましょう。

• 調べる・読む：任せる。確認は求めない（この行動だけを見ればLEVEL 4）。
• 比較表と要約の下書きを作る：任せる。ただし保存先は、佐藤さん用の下書きフォルダだけ。
• チームの共有フォルダ：下書き用のフォルダにだけ書ける。正式な資料を置くフォルダは読むだけ。
• 上司への提出（メール送信）：送る直前で必ず止まり、佐藤さんが中身を確認してから送る（この行動だけを見ればLEVEL 2）。
• 社外への送信・支払い・削除：この仕事には不要なので、道具そのものを渡さない。

行動ごとのつまみを組み合わせた結果、全体としては第1章で「LEVEL 3」と呼んだ設定になっています。「LEVEL 3」とは、あらゆる行動を同じように扱う1つの設定ではなく、取り返しのつく行動は任せ、つかない行動の前では止める、という組み合わせのことなのです。

最後の項目にも注目してください。「確認つきで渡す」よりも「渡さない」ほうが確実です。確認は人が見落とせば素通りしてしまいますが、一覧にない道具は、そもそも使えません。その仕事に要らない道具は、確認を挟む前に、まず渡さないことを考えます。

そして、これらの設定はすべて、頭脳への指示文ではなく実行役の設定として組み込みます（第4章）。「送る前に私に確認してください」と依頼文に書くだけでは、それは机に載った文章の1つにすぎません。作業が長くなって机が要約されれば落ちることがありますし（第5章）、読んだページの文章に押し流されることもあります（第10章）。止めるべき所は、頭脳がどう判断しても止まる仕組みにしておく必要があります。

8.4最小権限の原則

ここまでの考え方を1つの原則にまとめたものが、情報セキュリティの分野で昔から使われている最小権限の原則です。「仕事に必要な権限だけを、必要な分だけ渡す」という考え方で、エージェントにもそのまま当てはまります。「必要な分だけ」には、3つの方向があります。

• 必要な道具だけ：その仕事で使う種類の道具だけを渡す。調査の仕事なら、調べる・読む・書くまで。
• 必要な範囲だけ：道具が作用する場所と操作を絞る。特定のフォルダだけ、読み取りだけ、下書き保存まで、社内宛てだけ、など。
• 必要な期間だけ：その仕事が終わったら権限を外す。「便利だからそのまま」にしておくと、別の仕事のときにも同じ権限が残り続ける。

佐藤さんの調査で、権限を「全部」渡した場合と「最小」にした場合を比べてみましょう。

どちらの場合も、調査の仕事そのものはこなせます。違うのは最後の行、つまりうまくいかなかったときの結果だけです。最小権限は、うまくいくときには何も変えず、うまくいかないときにだけ効いてきます。だから普段は効果が見えにくく、つい「全部渡しておけば手間がない」という方向に流れがちです。

最小権限には、被害の天井を下げる以外にも、いくつかの効果があります。

• 乗っ取られても被害が限られる：読んだページに悪意ある指示が紛れ込み、頭脳がそれに従ってしまったとしても、持っていない道具は使えません（第10章）。
• 選び間違いが減る：道具が少ないほど、似た道具を取り違えることが減ります（第4章 4.4節）。
• 作業記録が読みやすくなる：できることが限られているので、記録の中の「おかしな動き」が目に付きやすくなります（第3章）。

狭すぎることにも注意する

ただし、権限は狭ければ狭いほどよい、というわけでもありません。必要な資料のフォルダを読めないように設定してしまうと、エージェントはループを回し続けて、別の手段で目標を果たそうとします。第3章で、D社の公式発表が見つからなかったときに業界ニュースの記事で代用したのと同じ動きです。権限の不足は、目に見えない代用を生むことがあります。

ですから、最小権限とあわせて「権限が足りないときは、代わりの手段を探さずに止まって知らせる」という扱いを決めておくことが大切です。止まって知らせてくれれば、人は「権限を足すか」「その部分は人がやるか」を判断できます。黙って回り道をされると、成果物だけを見ても気づけません。

8.5承認の設計──どこで止め、何を見せるか

最小権限で範囲を絞っても、仕事によっては、取り返しのつかない行動をどうしても含みます。佐藤さんの仕事なら、最後に上司へ提出することです。そこで、実行役に「この行動の前では止まり、人の承認を待つ」と設定します。これを承認と呼びます。承認を設計するときに考えるのは、どこで止めるかと、止めたときに何を見せるかの2つです。

どこで止めるか

止める場所は、図8-2の右上、つまり「戻せない」かつ「手元の外に届く」行動の直前です。そして、8.2節で見たように、仕組みの工夫で左下に動かせる行動は先に動かしておきます。そのうえで残った行動だけに承認を置きます。

何を見せるか

承認の場面で「メールを送信しますか？　はい／いいえ」とだけ表示されても、人は判断できません。判断に必要なのは、少なくとも次の3つです。

• 何をするのか：行動の種類と中身。メールなら本文の要点と、添付したものの中身の要約。
• どこへ、誰に届くか：宛先、公開範囲、社内か社外か。何人に届くか。
• 取り消せるか：実行した後に戻せるかどうか。戻せないなら、そうはっきり示す。

佐藤さんの仕事で、比較表と要約ができあがり、エージェントが上司に提出しようとした場面を見てみましょう。第3章の作業記録の続きです。

この場面で佐藤さんが誤りに気づけたのは、確認画面に「情報源」が示されていたからです。もし「送信しますか？」とだけ出ていたら、佐藤さんは比較表のきれいな見た目を信じて承認していたかもしれません。承認の価値は、止まることそのものではなく、止まったときに人が正しく判断できることにあります。

承認疲れ──確認が多すぎると、確認しなくなる

「それなら、すべての行動の前で止めて確認すれば、いちばん安全なのでは」と思うかもしれません。LEVEL 2の設定です。ところが、実際にはそうなりません。

検索するたび、ページを読むたびに「実行してよいですか」と聞かれると、人は最初の数回は丁寧に見ますが、やがて中身を見ずに「はい」を押すようになります。ほとんどの確認が問題のないものなので、確認することに意味を感じなくなるからです。これを承認疲れと呼びます。そして困ったことに、本当に止めるべき1回、たとえば宛先が間違ったメールの送信も、同じ流れのまま「はい」を押してしまいます。

こうなると、確認の仕組みは残っているのに、実際には何も確認されていない状態になります。「確認したことになっている」ぶん、確認がまったくない場合よりも、かえって危ういとさえ言えます。

8.6段階的に広げる・狭める

ここまでで、権限を決める物差しはそろいました。では、最初からどの段階で任せればよいのでしょうか。答えは、最初は狭く始め、実績を見て広げるです。

新しく入った人に仕事を任せるときを思い浮かべてください。最初は資料作りの手伝いから始めてもらい、出来を見て、社内向けの資料を任せる。社内でのやりとりに慣れて信頼できると分かってから、取引先とのやりとりを任せる。いきなり全部は渡しませんし、何か失敗があれば、いったん任せる範囲を戻して一緒に確認します。エージェントへの権限も、これと同じように段階を踏みます。

広げる判断は、作業記録で行う

「実績を見て」というとき、見るべきは成果物の出来だけではありません。第3章で見たように、成果物がきれいでも、途中でD社のような代用が起きていることがあります。広げてよいかどうかは、作業記録を第3章の3つの注目点で読んで判断します。

• 方針を変えたところ：変えた理由は妥当だったか。目標そのものを人の判断なしに変えていなかったか（第6章）。
• 同じことの繰り返し：足踏みしたまま、時間と費用を積み上げていなかったか。
• 「完了」の根拠：終わりにした理由は、依頼した目標に照らして十分だったか。

同じ種類の仕事を何度か任せ、記録に気になる箇所がなく、承認の場面でもほとんど直すところがなかった。そうした実績がそろったら、行動の種類を1つずつ広げます。全部を一度に広げないのは、何か起きたときに、どの変更が原因だったかを見分けられるようにするためです。

狭める判断も、同じくらい大切

反対に、次のような兆しが記録に現れたら、権限を狭めます。

• 同じ種類の失敗が繰り返し出る（失敗の型。第9章で詳しく扱います）
• 依頼した目標を、人に断りなく別のものにすり替えていた
• 止まるはずの場所で止まらなかった、または想定していない道具を使おうとした

3つめは、エージェントではなく設定の側に原因があることも多いので、権限を狭めると同時に実行役の設定を見直します。狭めることは罰ではありません。原因が分かって対策がとれたら、また実績を積んで広げればよいのです。

また、仕事の種類が変わったり、使う頭脳が新しいものに入れ替わったりしたときは、それまでの実績がそのまま通用するとは限りません。頭脳が変われば、同じ依頼でも判断の癖が変わりうるからです。そうしたときは、いったん狭い段階に戻すか、少なくともしばらくは作業記録を丁寧に見直すのが安全です。

そして、どれだけ実績を積んでも、図8-4の上の線、つまり社外への送信や支払いのように取り返しがつかず影響の大きな行動は、人の確認を外さないのが原則です。実績は「間違える頻度が低い」ことの証拠にはなっても、「間違えたときに困らない」ことの証拠にはならないからです。

確認確認問題