GPT-5.4 Computer Use完全ガイド｜PC操作AIの使い方と注意点

Computer Useとは？3行で理解する

GPT-5.4 Computer Useは、モデルが画面を視覚的に理解しながら、クリック、入力、スクロール、アプリ切り替えを行い、指定されたゴールまで作業を進める能力です。OpenAIは公式発表で、Webからローカルアプリまで横断し、applications をまたぐ workflows を実行できることを強調しています。

ここで重要なのは、これが専用の研究プレビューだけでなく、mainline の GPT-5.4 に統合されたことです。以前は browser automation か preview model か、あるいは product surface としての Operator を別々に理解する必要がありました。今は「考える」「調べる」「コードを書く」「PCを触る」が同じタスク設計の中でつながり始めています。

何ができるか・できないか

Computer Useで成果が出るのは、画面上の状態が読みやすく、手順がある程度固定されていて、途中で人間確認を挟める仕事です。逆に、UIの揺れが大きい、1回の誤操作コストが高い、資格情報や法的責任が絡む作業は、まだAIに最後まで握らせるべきではありません。

実務での判断基準

まずは「同じ画面を何度も触る」「途中成果を保存できる」「失敗しても巻き戻せる」業務から始めるのが基本です。逆に、削除、送信、承認、契約、支払いのような irreversible action は Computer Use の対象外に置くか、必ず explicit approval を入れてください。

初期のコミュニティ検証では、3Dプリンタ用の部品案から STL 修正の前工程を回す maker workflow、大量のポータル入力、ブラウザから表計算とメールへつなぐ multi-app workflow が目立ちます。万能な desktop autopilot と捉えるより、「構造化されたPCオペレーションに強いエージェント」と考えるほうが実態に近いです。

OSWorld-Verified 75.0% の意味

OpenAIが前面に出している 75.0% は、OSWorld-Verified というPC操作ベンチマークでの成績です。重要なのは、単にクリックが速いという話ではなく、複数ステップの状態遷移を追いながら、途中のズレを修正してゴールまで到達できるかを測っている点です。

ここで見落としやすいのは、OpenAIの current public Computer use guide がまだ`computer-use-preview`を中心に書かれており、その guide 上の OSWorld は 38.1% だという点です。公開されている実装サンプルは参考になる一方、GPT-5.4 announcement が示す native Computer Use の性能水準はそれよりかなり先に進んでいます。

ただし、75.0% は「人間以上に安全」という意味ではありません。ベンチマークにない独自UI、社内権限モデル、session timeout、prompt injection、監査要件は別問題です。実務では benchmark を信用しつつも、最後は自社の workflow で acceptance test を通す必要があります。

実際の使い方（ChatGPT経由 / API経由）

ChatGPT経由で始める手順

1. ChatGPTの paid plan と agent mode 利用可否を確認する。Free plan では使えない。
2. 新しいチャットで tools menu から Agent を選ぶか、composer で `/agent` と入力する。
3. ゴール、入力データ、止める条件を1プロンプトで明示する。例: 「CSVのA〜F列をフォームに入力し、送信前で止まってください」
4. login、MFA、支払い情報、機密入力が必要になったら Take over browser に切り替えて人間が操作する。
5. 完了後は結果だけでなく、失敗行、要確認箇所、次回使い回すプロンプトを agent に要約させる。

OpenAI Help Center によると、ChatGPT agent は visual browser、terminal、apps を使って 5〜30分程度の複雑タスクを処理できます。フォーム入力や spreadsheet 編集のようなタスクは向いていますが、login が必要な場面では takeover が前提です。takeover 中は screenshots を取得しないため、password や secret の入力は必ずそこで行ってください。

API経由で始める手順

1. 個人PCではなく、sandboxed browser / VM / container のような isolated environment を用意する。
2. Responses API で computer loop を組む。現時点の公開ガイドは `computer-use-preview` と `computer_use_preview` を使う。
3. response の `computer_call` を受け取り、クリック、入力、スクロールなどをコードで実行する。
4. 実行後の screenshot を `computer_call_output` として返し、可能なら `current_url` も送って safety check の精度を上げる。
5. `pending_safety_checks` が返ったら、人間確認を挟んだうえで `acknowledged_safety_checks` を返す。

// Current public guide pattern (2026-03-06)
response = client.responses.create({
  model: "computer-use-preview",
  tools: [{
    type: "computer_use_preview",
    display_width: 1440,
    display_height: 900,
    environment: "browser"
  }],
  input: [{
    role: "user",
    content: [{ type: "input_text", text: "Open the portal and stop before submit." }]
  }],
  reasoning: { summary: "concise" },
  truncation: "auto"
})

// Loop
// 1. Read computer_call
// 2. Execute click/type/scroll in sandbox
// 3. Send computer_call_output with screenshot + current_url
// 4. If pending_safety_checks exists, ask human and pass acknowledged_safety_checks

公開ガイドでは `current_url` と `acknowledged_safety_checks` を送る設計が推奨されています。これは prompt injection や irrelevant domain の検出精度を上げるためです。

活用シーン5選

「何に使うと一番効くのか」が分からないまま導入すると、Computer Use はすぐに過大評価か過小評価に振れます。最初は、成果物、止める条件、責任分界が明確な作業から始めるべきです。

特に大量フォーム入力と複数アプリまたぎは、初期の反応が最も熱い領域です。逆に、Computer Use を「どんなPC作業でも丸ごと任せられる」と捉えると事故率が上がります。価値が出るのは、手順があり、途中レビューがあり、巻き戻しできる workflow です。

セキュリティ・プライバシーの注意点

企業利用で最初に見るべきは精度ではなく、screenshots と secrets の取り扱いです。ChatGPT agent は visual browser の screenshots を使ってページを理解します。画面に出した情報の範囲が、そのままモデルの判断材料になります。

• パスワード、APIキー、個人情報をメッセージ本文に貼らない。機密入力は takeover 中に人が行う。
• 必要な apps / connectors だけ有効化し、使わない権限は外す。
• agent が使う browser / VM は個人端末から分離し、履歴、cookie、downloads の扱いを決める。
• Plus / Pro では screenshots を含むデータが privacy policy に従って扱われる。Business / Enterprise / Edu は既定で学習に使われない点を分けて理解する。
• screenshots と browsing history は chat を削除するまで残る。機密タスク後は retention と削除フローを必ず回す。
• workspace 単位で RBAC、app controls、website blocking を使い、agent が触れてよい範囲を狭める。

OpenAI Help Center では、Plus / Pro と Business / Enterprise / Edu でデータの扱いが分かれています。業務で顧客情報や未公開情報を扱うなら、consumer plan の延長ではなく、workspace controls と retention policy を前提に設計すべきです。特に website blocking、RBAC、enabled apps の制御は導入初期から決めてください。

FAQ