ホーム / 第1部 仕組みを知る / 第4章

PART 01 / CHAPTER 04

道具──頭脳は
「依頼書」を書くだけ

エージェントは検索をし、ファイルを作り、メールを送ります。けれども頭脳である言語モデルにできるのは、文章を書くことだけです。この章では、その間をつなぐ仕組みを分解し、「何ができるか」と「何が危ないか」が、どちらも道具で決まることを確かめます。

目安 約20分図解 4点確認問題 3問
この章で分かること
  • 文章しか出せない頭脳が道具を使える仕組みを、「説明書・依頼書・実行役」の3つで説明できる
  • 道具を5つの種類に分け、取り返しのつきやすさから危険度を見積もれる
  • 道具の説明のあいまいさや、道具が返す結果の誤りが、エージェントの失敗につながる理由が分かる

4.1頭脳は文章しか出せない

第2章で見たとおり、頭脳(言語モデル)がしていることは、机に載った文章を読んで、続きの文章を書くことです。入ってくるのも文章、出ていくのも文章です。頭脳そのものには、インターネットにつながる線も、ファイルを開く手も、メールを送るボタンもありません。

ところが、第3章で追った佐藤さんのエージェントは、5社の新サービスを検索し、公式ページを読み、比較表のファイルを作っていました。文章しか出せないはずの頭脳が、どうやって「検索する」「ファイルを作る」といった、現実の世界に作用する行動をとれるのでしょうか。

答えを先に言うと、頭脳は行動そのものをしていません。「この道具を、この条件で使ってください」という依頼書を、文章で書いているだけです。依頼書を読み取って本当に道具を動かすのは、頭脳の外側にある別の仕組みです。

これは、会社の仕事に置き換えると分かりやすくなります。部長は自分で倉庫に行って備品を取ってくるわけではありません。決まった様式の申請書に「品名:プリンター用紙、数量:10箱」と書いて出すだけです。申請書を受け取った総務の担当者が、実際に発注し、届いたら「届きました」と知らせます。部長がしたのは「書く」ことだけですが、結果として備品は手元に届きます。

エージェントの道具も同じ構造です。頭脳は申請書(依頼書)を書く人、外側の仕組みは申請書を処理する担当者です。この分担を押さえると、エージェントが「何をできて、何をできないのか」「どこで止められるのか」が見えるようになります。

4.2道具を使う5つのステップ

頭脳が道具を使うまでの流れは、どのエージェントでも、おおむね次の5つのステップでできています。

  1. 説明書を見せておく:作業を始める前に、「使える道具の一覧」と「それぞれの道具の説明書」を机に載せておきます。説明書には、道具の名前、何をする道具か、何を指定すればよいか(検索語、ファイル名など)が書かれています。
  2. 頭脳が依頼書を書く:頭脳は説明書を読んだうえで、「この道具を、この条件で使いたい」という文章を書きます。ふつうの文章ではなく、外側の仕組みが読み取れるように決まった形式で書きます。
  3. 実行役が読み取って実行する:頭脳の外側にある仕組みが、依頼書を見つけて中身を読み取り、指定された道具を実際に動かします。この教材ではこの仕組みを実行役と呼びます(業界では「ハーネス」などと呼ばれることがあります)。
  4. 結果を文章として机に戻す:道具の結果(検索結果の一覧、ファイルの中身、「送信しました」という知らせなど)を、実行役が文章にして机に載せます。
  5. 頭脳が結果を読んで次を決める:頭脳は机に増えた結果を読み、もう一度検索するか、別の道具を使うか、作業を終えるかを決めます。そして必要なら、また依頼書を書きます。
頭脳が依頼書を書き、実行役が道具を動かし、結果が机に戻って頭脳が読む、という循環を示す図 頭脳の外側で実際に動く 頭脳 言語モデル 依頼書 決まった形式の文章 実行役 依頼書を読み取る仕組み 机 ① 説明書も載っている 結果 文章にしたもの 道具 検索・ファイル操作など ② 書く 渡す ③ 実行 返る ④ 机へ ⑤ 読む 頭脳がするのは「② 書く」と「⑤ 読む」だけ。現実に作用するのは右側の枠の中
図4-1道具を使う流れ。頭脳は依頼書を書き、結果を読む。実際に動かすのは頭脳の外側にある実行役

佐藤さんのエージェントが、D社の新サービスを探している場面を、作業記録で見てみましょう。第3章で読み方を練習した形式です。今回は、頭脳が書いた依頼書の中身に注目してください。

作業記録 / 新サービス調査STEP 07–09
THINK

D社の公式発表が見つからないため、ニュース記事も含めて探し直す。検索の道具を使う。机に載った道具の説明書から「ウェブ検索」を選んでいる

ACT

【依頼書】道具:ウェブ検索 / 検索語:D社 新サービス 発表 / 期間:直近6か月頭脳が出力したのは、この一行の文章だけ。検索はまだ行われていない

EXEC

実行役が依頼書を読み取り、検索の道具に検索語と期間を渡して実行。ここは頭脳の外側。頭脳はこの間、何もしていない

RESULT

検索結果3件(見出し・日付・抜粋)を文章にして机に追加。2件目が「D社、新サービスを発表」という見出しのニュース記事

THINK

2件目が該当しそう。抜粋だけでは内容が足りないので、記事の本文を読む。

ACT

【依頼書】道具:ページを読む / 場所:検索結果2件目のアドレス

RESULT

記事本文を文章にして机に追加。次のループで、頭脳がこれを読んで比較表の項目を埋めるか判断する

図4-2 作業記録に現れる依頼書。頭脳が書くのは「どの道具を、どの条件で」という文章だけ(説明のため日本語の形式で表しています)

実際の依頼書は、日本語の文章ではなく、機械が読み取りやすい決まった書式で書かれます。しかし中身は記録にあるとおりで、「道具の名前」と「その道具に渡す条件」の組み合わせです。

ここから大切なことが2つ分かります。1つめは、頭脳は道具の内部の働きを知らないということです。検索の道具がどのサイトを調べ、どんな順で結果を並べるのか、頭脳には見えていません。頭脳が知っているのは説明書に書かれたことと、戻ってきた結果だけです。2つめは、依頼書が書かれてから実行されるまでの間に、必ず実行役を通るということです。この「間」があるからこそ、危ない依頼書を止めることができます。この点は、章の最後の「もう一歩深く」で改めて取り上げます。

4.3道具の種類と危険度

道具の仕組みは共通でも、道具によって起きることの重さはまったく違います。検索を間違えても調べ直せば済みますが、取引先へのメールを間違えて送ったら、取り消せません。道具は、何をするかによって大きく5つに分けて考えると、危険度を見積もりやすくなります。

種類例取り返しのつきやすさ危険度
読む手元のファイルを開く、受信したメールを読む、表の中身を見るつきやすい(何も変わらない)低い。ただし読んだ内容がそのまま机に載る
調べるウェブ検索、社内資料の検索つきやすい(何も変わらない)低〜中。外から来た文章が机に入り込む入口になる
書く(作る・変える)新しいファイルを作る、表を書き換える、下書きを保存する元に戻す手段があれば、つきやすい中。上書きや書き換えは、元の状態を残していないと戻せない
送る(外に出す)メールを送る、チャットに投稿する、資料を外部に公開するつきにくい(相手に届いたら消せない)高い。情報漏えいや誤送信につながる
動かす支払いをする、設定を変える、データを削除する、申し込みをするつきにくい。影響が自分の手元の外に広がる最も高い。お金・契約・業務の停止に直結する
表4-1 道具の5つの種類。下に行くほど取り返しがつきにくく、危険度が上がる

表の見方のポイントは、危険度を決めているのは道具の「難しさ」ではなく「取り返しのつきやすさ」だということです。メールの送信は技術的にはとても簡単な道具ですが、危険度は高くなります。反対に、大量の資料を検索して整理する道具は複雑ですが、外の世界を何も変えないので、危険度は低めです。

もう1つ、上の2行にも注意書きがあることに気づいたでしょうか。「読む」「調べる」は外の世界を変えませんが、外から来た文章を机に載せるという働きをします。もし読んだページに「この指示に従え」という悪意ある文章が紛れ込んでいたら、頭脳はそれを指示と取り違えるかもしれません。危険度が低い道具でも、危険の入口にはなりうるのです。これは第10章「乗っ取りと情報漏えい」の中心テーマです。

また、同じ道具でも、使う場所によって種類が変わることがあります。自分だけが使うフォルダにファイルを書くのは「書く」ですが、取引先と共有しているフォルダに書けば、相手がそれを読める時点で実質的には「送る」と同じです。下書きの保存も、保存先が公開された場所なら外に出したことになります。道具の名前だけで分類せず、その結果が誰に届き、どこまで広がるかで考えるのが確実です。

佐藤さんの仕事でいえば、「調べる」「読む」「書く(比較表を作る)」までは任せやすく、「送る(上司にメールする)」は自分の確認を挟みたい、という判断になるでしょう。どの種類の道具まで渡し、どこで止めるかは、第8章「権限は段階で渡す」で具体的に考えます。

4.4説明書が使い方を決める

4.2節のステップ①を思い出してください。頭脳が道具について知っていることは、机に載った説明書の文章だけです。人間なら、新しい道具を少し触ってみて使い方を覚えることができます。けれども頭脳は、説明書を読み、その文章からいちばんありそうな使い方を推測して依頼書を書きます。このため、説明書の書かれ方が、そのまま道具の使われ方を左右します。

説明があいまいだと、誤った使い方をする

たとえば、ある道具の説明が「ファイルを保存する」とだけ書かれていたとします。同じ名前のファイルがすでにあったら、上書きするのでしょうか、別名で保存するのでしょうか。説明に書かれていなければ、頭脳には分かりません。頭脳は「たぶん別名で保存されるだろう」と推測して依頼書を書き、実際には大事なファイルが上書きされる、ということが起こりえます。頭脳の推測が外れたのではなく、推測するしかない状態に置かれていたのです。

名前が似ていると、取り違える

「社内資料を検索」と「社内資料を一覧表示」、あるいは「下書きを保存」と「メールを送信」が、似た名前や似た説明で並んでいたらどうでしょう。頭脳は文章のつながりから道具を選ぶので、名前や説明が似ていると取り違えが起きやすくなります。人間でも、似た名前のボタンが隣に並んでいれば押し間違えます。それと同じです。

道具が多すぎると、選び間違いが増える

「道具は多いほど何でもできて便利」と思いがちですが、道具が増えると説明書の量も増えます。説明書はすべて机に載るので、机の場所を取り(第5章)、頭脳が見比べなければならない候補も増えます。似た道具が何十個も並べば、ふさわしい1つを選ぶ難しさは確実に上がります。その仕事に必要な道具だけを渡すほうが、選び間違いは減ります。これは安全のためでもあります(第8章)。

道具の誤用が起きたとき、「頭脳が賢くないから」とだけ考えると、対策を見誤ります。まず「説明書は十分だったか」「似た道具が並んでいなかったか」「道具を渡しすぎていなかったか」を疑う。この順番で考えると、原因に近づきやすくなります。

4.5共通の差し込み口という考え方

以前は、エージェントに道具を持たせるたびに、その道具専用のつなぎ方を一から作る必要がありました。検索の道具はこの書き方、予定表の道具は別の書き方、というように、道具とエージェントの組み合わせごとに、説明書の形式も、依頼書の受け渡し方もばらばらだったのです。

そこで、道具を差し込むための共通の規格が考えられ、広まってきました。家電のコンセントを思い浮かべてください。コンセントの形が決まっているから、どのメーカーの家電でも、どの部屋の壁にでも差し込めます。もし家電ごとに壁の穴の形が違ったら、新しい家電を買うたびに壁を工事しなければなりません。

道具ごとに個別につなぐ場合と、共通の差し込み口でつなぐ場合を比べた図 個別につなぐ 共通の差し込み口でつなぐ エージェントA エージェントB 検索 ファイル 予定表 組み合わせごとに、つなぎ方がばらばら 道具が増えるたびに作り直す エージェントA エージェントB 差し込み口 検索 ファイル 予定表 形式が決まっているので、差すだけで使える
図4-3共通の差し込み口があると、道具とエージェントを組み合わせごとにつなぎ直さなくてよくなる

共通の規格では、説明書の書き方、依頼書の形式、結果の返し方があらかじめ決められています。そのため、規格に沿って作られた道具なら、規格に対応したどのエージェントにも差し込めます。ニュースで「エージェントがつながるサービスが一気に増えた」と聞くことがあれば、その背景にはこうした規格の広まりがあると考えてよいでしょう。

ただし、ここで押さえておきたいのは、規格が変わっても、仕組みの骨組みは変わらないということです。規格が決めているのは、あくまで「説明書・依頼書・結果」の受け渡しの形です。頭脳が説明書を読み、依頼書を書き、実行役が実行し、結果が机に戻る。この構造そのものは、どの規格でも、規格がなかった時代でも同じです。新しい規格の名前が話題になっても、「説明書+依頼書+実行役」という骨組みに当てはめれば、何が変わって何が変わらないのかを落ち着いて判断できます。

反対に、差し込みやすくなったことで新しく生まれる注意点もあります。道具を簡単に追加できるということは、中身をよく確かめないまま道具を増やせてしまうということでもあります。誰が作ったか分からない道具の説明書に、頭脳を誤った方向に導く文章が書かれていないとは限りません。コンセントが共通だからといって、どんな家電でも安心して差してよいわけではないのと同じです(第10章)。

道具の側から見ると、もう1つ大事なことがあります。説明書を書くのは道具を作った側であり、頭脳はその文章を信じるしかありません。説明書の質がばらばらな道具をたくさん差し込めば、4.4節で見た誤用の起きやすさも、そのまま持ち込まれます。差し込み口が共通になっても、説明書の中身まで良くなるわけではないのです。

よくある誤解

エージェントは人間と同じように画面を見て、マウスやキーボードで操作している。だから人間ができることは何でもできる。

画面を操作するエージェントも、仕組みは同じです。画面の様子は「画面を撮影する道具」が画像や文章にして机に載せ、頭脳は「この位置をクリック」「この文字を入力」という依頼書を書きます。それを実行役が受け取り、実際にクリックや入力をします。画面操作も、数ある道具の1つにすぎません。

ですから、画面操作ができるエージェントだからといって、何でもできるわけではありません。できることは、渡された道具と、実行役が許している範囲で決まります。また、画面操作はとても広い範囲に作用できる道具なので、「送る」「動かす」に当たる操作が紛れ込みやすく、表4-1でいえば危険度の高い側に置いて考える必要があります。

4.6道具の結果をうのみにする問題

4.2節のステップ④で、道具の結果は文章として机に戻されました。頭脳はその文章を読んで、次の判断をします。ここに見落としやすい落とし穴があります。道具が返してきたものが、正しいとは限らないのです。

佐藤さんの調査で考えてみましょう。検索の道具は、次のような結果を返すことがあります。

  • 古い情報:2年前に発表されたサービスの記事が、日付の分かりにくい形で上位に出てくる。
  • 別の会社の情報:社名がよく似た別の会社の発表が混ざっている。
  • 不完全な情報:記事の一部だけが抜粋されていて、肝心の条件が書かれていない。
  • 道具自体の不具合:ページの読み込みに失敗し、途中で切れた本文が返ってくる。

頭脳は、机に載った文章を手がかりに続きを書く仕組みでした(第2章)。机に「D社が新サービスを発表」と書かれていれば、頭脳はそれを前提にして比較表を埋めていきます。結果が古いのか、別の会社のものなのかを、頭脳が自分の中だけで確かめる手段はありません。頭脳がもともと持っている知識と照らし合わせることはできますが、その知識自体が古い場合も多く、新しいサービスの調査ではほとんど役に立ちません。

頭脳が結果を確かめる方法は、結局のところ別の道具を使うことだけです。公式ページを読む道具で発表元を確かめる、別の検索語で調べ直して日付を突き合わせる、といった方法です。つまり、確かめる力もまた、道具に頼っています。確かめる道具がなかったり、確かめるよう頼まれていなかったりすれば、エージェントは最初の結果をそのまま使って先に進みます。そして出来上がった比較表は、見た目が整っているぶん、誤りに気づきにくくなります。どう確かめさせるかは、第11章「確かめる仕組み」で扱います。

道具は、エージェントにできることの上限を決めます。検索の道具がなければ検索できず、送信の道具がなければメールは送れません。同時に、道具は危険の上限も決めます。削除の道具を渡していなければ、どれほど判断を誤っても削除は起こりません。「何を任せられるか」と「最悪どうなりうるか」は、どちらも「どの道具を渡したか」で決まるのです。

DEEP DIVE / もう一歩深く

「実行役」が安全の要である理由

頭脳が依頼書を書いても、それだけでは何も起こりません。何かが現実に起こるのは、実行役が依頼書を実行したときだけです。言い換えると、依頼書が書かれてから実行されるまでの間に、必ず実行役という関所を通るということです。

依頼書が実行役の確認を通り、実行されるか、止められて人に確認されるかに分かれる図 依頼書 頭脳が書いた文章 実行役の確認 ① 渡してある道具か ② 条件は許された範囲か ③ 人の確認が要る種類か 道具を実行 問題がなければ通す 止める・人に聞く 実行前なら取り消せる
図4-4依頼書は必ず実行役を通る。止める・確かめるのは、ここで行うのがいちばん確実

安全の仕組みを頭脳の中に置こうとすると、うまくいきません。頭脳に「危ないことはしないでください」と伝えても、それは机に載った文章の1つにすぎず、ほかの文章に押し流されたり、読んだページに紛れ込んだ悪意ある指示に上書きされたりする可能性があります(第9章・第10章)。頭脳の判断は、確率的に「たいてい正しい」ものであって、「必ず守られる」ものではありません。

一方、実行役は頭脳の外側にある、決まったとおりに動く仕組みです。「送信の道具が呼ばれたら、実行前に必ず人に確認を求める」「削除の道具は一覧に入れない」「この共有フォルダ以外は書き換えさせない」と決めておけば、頭脳がどんな依頼書を書いても、そのとおりに止まります。頭脳にお願いする安全ではなく、仕組みで保証する安全です。

第1章の「要所だけ確認」というつまみの位置も、第8章で扱う権限の段階も、実際にはこの実行役の設定として実現されます。エージェントの安全性を考えるときは、「頭脳がどれだけ賢いか」と同じかそれ以上に、「実行役がどこで止めるようになっているか」を確かめることが大切です。

確認確認問題

エージェントがウェブ検索をするとき、頭脳(言語モデル)自身が実際にしていることはどれですか。

解説を見る

頭脳は文章しか出せません。決まった形式の依頼書を書くだけで、それを読み取って実際に検索の道具を動かすのは、頭脳の外側にある実行役です。画面を操作する場合も、画面操作という道具への依頼書を書いている点は同じです。

次の道具のうち、表4-1の考え方で最も危険度が高いものはどれですか。

解説を見る

危険度を決めるのは、道具の難しさではなく取り返しのつきやすさです。削除は「動かす」に当たり、元に戻せないことが多く、影響が自分の手元の外にも広がります。検索は何も変えず、新しいファイルの作成は消せば元に戻ります。

検索の道具が、社名のよく似た別の会社の記事を返してきました。エージェントがこの誤りに気づくには、どうする必要がありますか。

解説を見る

頭脳は机に載った文章を前提に続きを書くため、結果が正しいかを自分の中だけで確かめる手段を持っていません。確かめる方法は、発表元のページを読む、別の言葉で調べ直すといった、別の道具を使うことだけです。

この章のまとめ

  • 頭脳は文章しか出せない。道具を使うときも、頭脳がするのは「この道具を、この条件で」という依頼書を書くことだけ。
  • 道具は「説明書を見せる→依頼書を書く→実行役が実行→結果を机に戻す→頭脳が読んで次を決める」の5ステップで使われる。
  • 道具は「読む・調べる・書く・送る・動かす」に分けられ、取り返しがつきにくいものほど危険度が高い。
  • 頭脳は説明書の文章しか知らない。説明のあいまいさ、似た名前、道具の多すぎが誤用を招く。
  • 共通の差し込み口が広まっても、「説明書+依頼書+実行役」という骨組みは変わらない。
  • 道具の結果は正しいとは限らず、確かめるにも別の道具が要る。できることの上限も危険の上限も、渡した道具と実行役の設定で決まる。
読了の記録は、このブラウザにだけ保存されます