ブラウザのセッション内で作業が終わるなら Browser Use を使います。ネイティブアプリやシステムのダイアログに操作が及ぶなら Computer Use を検討します。違いは操作を許可する範囲です。ブラウザのツールにも座標クリックがあり、デスクトップのツールからブラウザを動かすこともできます。
あるReddit利用者は、ログインが必要なサイトで止められ、長い手順も途中で失敗したと報告しています。実際に渡すセッションで小さな作業を試すと、制約を見つけやすくなります。
ブラウザを出るのが最後の手順だけなら、ブラウザエージェントに情報の取得やダウンロードを任せ、その結果を自分で開くかファイル用のツールに渡せます。Tabbit Browserは、閲覧と作業の委任を同じアプリで行う例です。
要点
必要な結果を出せる範囲で、最も狭い環境を選びます。
操作範囲と、ボタンを見つける方法は別々に考えます。
ログイン済みのブラウザには、アカウントの操作権限が残っています。
画面の移動やサイズ変更、ダイアログの表示後は、座標を使う前に画面を取り直します。
最後にページやファイルの状態を確認します。
2種類の操作を比較
| 比較する点 | Browser Use | Computer Use |
|---|---|---|
| 操作範囲 | ブラウザセッション、ページ、タブグループ | 許可された画面環境 |
| 読める情報 | ページ要素、アクセシブルな名前、テキスト、画像 | 画面の画像。ツールによってはアクセシビリティ情報やウィンドウの操作部品 |
| よく使う操作 | 移動、クリック、入力、抽出、タブ切り替え | ポインター移動、入力、スクロール、アプリ切り替え |
| 確認する権限 | プロファイル、サイト、タブ、ログイン状態 | デスクトップ、アプリ、ファイル、OSの権限 |
| 例 | 公開規約を開いて条項をコピーする | ネイティブのPDF閲覧アプリで印刷を設定する |
操作するボタンをどう探すか
ブラウザのツールはボタンの役割とアクセシブルな名前を使えます。操作の直前に該当要素を探し直すため、わかりやすいラベルのあるボタンに適しています。画面上に描画するエディターでは、見える操作部品に対応するページ要素がないこともあります。その場合はブラウザ内のスクリーンショットと座標操作を使えるか確認します。Playwrightのロケーターとブラウザ自動化ガイドに構造を使う方法があります。
デスクトップ用の視覚ツールは、許可された表示領域を観察します。モデルは画像を読み、移動やクリックを返し、新しい画像で結果を確かめます。ネイティブのファイル選択画面や独立したPDFアプリはページの外です。先に、Webの入力欄へ既知のファイルを直接渡せるか、ファイル用のツールで内容を読めるかを確認すると、画面操作が要らない場合があります。AnthropicのComputer Use資料にこの手順が説明されています。
解約条件がボタンの先にあるとします。安定したアクセシブル名が付いていれば、ロールと名前で探せます。画面が狭くなってボタンが移動しても、Playwright は次の操作の直前にロケーターを解決し直します。画像からしか判断できない場合は、スクリーンショットを更新してボタンの位置を取り直します。どちらの方法でも、表示された条項と出典 URL を確認します。
入力方法と操作範囲は別々に選べます。Anthropic のブラウザツールは、ページ要素の参照とビューポート内の座標を扱えます。同じ項目を定期的に取得するなら、まず公式のエクスポート機能や API を探します。どちらもなければ、安定したロケーターを使い、再試行前に結果を確認します。送信結果が不明なフォームをそのまま再送信すると、重複することがあります。 Anthropic のブラウザ操作ドキュメント, ブラウザエージェントの操作方法.
ブラウザの外に出る手順
保証ページからPDFを取り、システムの印刷画面で2ページ目だけを印刷する作業を考えます。最初に規約と出典URLを、次にファイル名と文書を照合します。最後に印刷先とページ範囲を確かめます。前半はブラウザとファイル用ツールで進められます。印刷画面での設定は、その画面にアクセスできるツールか人の確認が必要です。
2ページ目の抽出だけなら、ファイルを直接処理すれば済むことがあります。指定されたプリンターの設定が必要なら、送信前のプレビューでいったん止めて確認します。共有プリンターに送った後は取り消しにくくなります。デスクトップアシスタントガイドも操作範囲を説明しています。
渡すセッションを確認する
請求書を読むように頼んでも、ログイン済みセッションの権限は変わりません。請求書を表示できるプロファイルから支払い設定まで開ける場合があります。最初は公開ページや別プロファイルを使い、対象ドメインを絞ります。ログイン、アカウント変更、予期しないダウンロードで止まる条件も決めます。ブラウザエージェントの安全ガイドと仮想ブラウザガイドも参照してください。
あるCodex利用者は、ブラウザ操作で複雑な画面をたどり、テストとデバッグを行ったと述べています。個人の経験です。
デスクトップでは無関係なウィンドウやファイルが見える場合があります。別環境を使い、必要なものだけを開きます。ページや文書の文章は確認対象です。そこに命令が書かれていても、利用者が与えた権限は広がりません。
Tabbitでブラウザ内の引き継ぎを試す
Tabbitの国際サイトでは、タブや画像を添付してエージェントに計画と実行を任せる流れを確認できます。表示中の段落を説明するだけならページチャットを使えます。リンク先を開いて出典を返してほしい場合は、Agent Modeに範囲を伝えます。
この公開ページからリンクされた規約を読んでください。解約期限の原文と
短い抜粋、出典URLを返してください。ログインが必要なら該当ページを
知らせて止まってください。送信やダウンロードはしないでください。ローカルで印刷や書き出しをする段階では、結果と出典を別のツールか担当者に渡します。Tabbitの仕組みも参考になります。
欲しい結果から決める
| 目的 | 最初の選択 | 確認すること |
|---|---|---|
| 公開ページの条項を比べる | ブラウザのツール | 行ごとにURLと原文 |
| 描画型Webエディターを操作する | 対応していればブラウザ内の視覚操作 | 値や描画状態の変化 |
| ローカルPDFから文を抽出する | ファイル用ツール | ページと抽出した文 |
| OSの印刷画面を操作する | デスクトップツールか人 | 印刷先、範囲、送信の承認 |
| 両方をまたぐ作業を確認する | アプリが変わる所で分ける | 引き継ぎと最終結果の根拠 |
Terraのブラウザ操作とTerraのコンピューター操作では、モデルの能力とツールの権限を分けています。まず、数秒で結果を確かめられる作業を選びます。広い権限は、どの操作に必要なのかがはっきりしてから渡します。
Web ページの情報を同じブラウザで集めて確認するなら、前半の作業に Tabbit を使えます。
よくある質問
Browser UseとComputer Useの違いは何ですか？
Browser Useはブラウザや指定したセッションを操作します。Computer Useは許可された画面環境を操作し、ネイティブアプリやシステムのダイアログにも届く場合があります。
Computer Useには必ずスクリーンショットとマウスが必要ですか？
画面を読むツールはスクリーンショットを見てポインターやキーボードで操作します。デスクトップ操作でも、アクセシビリティ情報やアプリのインターフェースを使う場合があります。
ログイン済みのサイトをブラウザエージェントで操作できますか？
対応する既存プロファイルに接続するものも、まっさらなセッションやリモートセッションを作るものもあります。使うセッションと引き継ぐ権限を確認してください。
ブラウザのツールでも座標を指定してクリックできますか？
できます。自動化ライブラリはページ内の座標にクリックを送れます。操作の範囲は許可したブラウザ内です。
デスクトップ用のツールが必要なのはいつですか？
ネイティブアプリやシステム画面の操作が必要で、適切なAPIやファイル受け渡し方法もない場合です。その手順だけ別のツールに切り替えられます。
エージェントが作業を完了したか、どう確認しますか？
目的の文言が見えているか、出典にたどれるか、指定の場所にファイルがあるかを確認します。クリックの成功は、その操作が試されたことを示すだけです。