GitHub公式のプレビューカード
OpenAIのAIに仮想デスクトップを触らせ、画面操作の自動化を試せる。
#PC操作#仮想環境
※この説明はAIが公式READMEから自動生成したものです。内容は必ず公式ページでもご確認ください。
これは何？黒い画面（ターミナル）で動かすツール
できること
仮想デスクトップを起動し、自然文の指示でAIにブラウザ操作やクリック、入力を実行させられる。画面とチャットで動作を見ながら試せる。
誰に効く？
PC操作を自動化したい人
用意するもの
OpenAI 、E2B環境
時間のめやす
30分〜(AIに聞きながらで可)
使うとこうなる
- 1Sandboxを開始すると仮想PCが開く
- 2指示を送るとAIが操作を考える
- 3画面上でクリックや入力が実行される
作れるもの・できることの例
「Firefoxでgoogle.comを開いて」と送ると、仮想画面上でブラウザを開きページ移動する様子を確認できる。
使えるようになるまでの手順をひらく
- 「」という文字だけの画面を使います（Windowsなら PowerShell）
- GitHubページの「Installation」に書かれたコマンドを順番に実行
- つまずいたら、いつも使っているAIチャットに「(ツール名)のインストールを手伝って」と聞くのがおすすめ
こんな人には向かないかも
- 黒い画面（ターミナル）にまだ抵抗がある人
- 登録やAPIキーの設定を一切やりたくない人
🔑 必要な鍵（APIキー）
OpenAI（ChatGPT） の発行ページ↗発行は無料。APIはChatGPT Plus（月額）とは別勘定で、使った分だけの課金。※Codex等の一部公式ツールは、キーの代わりにChatGPTの月額プランでログインして使える
鍵は「合鍵」の文字列。発行→コピー→ツールの設定に貼り付け、の3手です。迷ったらAIチャットに「画面つきで教えて」と。
迷ったらこれ：いつも使っているAIチャット（ChatGPT・Claude・Geminiなど）にこのツールのGitHubリンクを貼って 「これを使いたい。私のPCでの始め方を一歩ずつ教えて」と頼むのが一番の近道です。
むずかしそう？ 同じジャンルで、もっと始めやすいのはこちら
注意点
実験向けで利用料金と安全確認が必要。
ひとことメモ
として公開されています。内容は公式ページでもご確認ください。
このツールが活躍する場所