設備メーカーに届いた販売店からの問い合わせを、AIが製品マニュアルと照らし合わせ、回答案にまとめる。たとえば、こうした使い方なら、担当者は一から文章を書く作業を減らし、機種や使用条件に回答が合っているかを確かめることに時間を使えると考えられます。その仕事を任せる土台になるのが、マニュアルを読む権限、顧客情報を書き換える権限、メールを送る権限を別々に扱う設計です。
指示に加えて、操作できる範囲を決める
Anthropicは、Claudeの動作範囲を制限する設計について、利用者が個々の操作を承認する方法と、実行環境・ファイル・外部通信へのアクセスを制限する方法を区別しています。同社の説明では、モデルを適切に振る舞わせる工夫は確率的です。つまり、望ましい振る舞いを促すことと、そもそも手が届く範囲を狭めることには違いがあります。
問い合わせ対応なら、入力は販売店の質問と対象機種のマニュアルです。AIは質問と関連する記述を読み、回答文を組み立て、担当者に下書きを返す流れが考えられます。必要な資料の閲覧を許し、顧客情報の更新やメール送信を許さなければ、下書きづくりまでという担当範囲を、操作の制限にも反映できます。ただし、操作を制限すること自体が、回答の正しさを保証するわけではありません。
同社は、環境、モデル、外部コンテンツの三つに防御を重ねる考え方を示しています。たとえば、データベースを読むだけの権限と、実際の業務で使う本番データベースに書き込む権限では、許される操作と被害の及ぶ範囲が異なると説明しています。
また、連携機能を検査していても、その先で読む外部資料まで検査済みになるわけではないとしています。業務で試す際は、回答の出来に加え、何を読めて、何を変更・送信できるのかを確認する必要があります。これは同社が示す設計の考え方であり、すべてのAI製品が同じ仕組みを備えることや、安全を保証することを意味しません。