プロンプトでPCを操作できるClaude「computer use」を使ってみた

公開：2024年11月19日更新：2024年11月19日

だーだい

フリーランスWebライター兼Web製作者。Webライターとしてガジェットメディアやプログラミングに関する記事を執筆する傍ら、LP制作とWordPressの改修案件もこなしつつ、活動しています。 profile

ClaudeのComputer Useとは

「Computer Use」はAnthropic社が開発したAIモデル「Claude」の新しい機能。AIが人間と同じようにコンピュータを操作できるのが特徴です。

仮想画面を表示してマウスカーソル操作やボタンクリック、テキストを入力したりできます。このように通常だと人間が行う操作をAIに任せられることから注目を集めています。

Claude「Computer Use」は現在ベータ版として提供されており、開発者はAPIを通じて活用できます。ただし機能はまだ試験段階にあり、予期せぬエラーが発生する可能性があるため、安全性を重視して低リスクのタスクから始めることがおすすめです。

ClaudeのComputer Useでできること

Web検索の効率化

Claudeの「Computer Use」では、AIが指定されたキーワードを基にWeb検索できるのが特徴です。たとえば、特定のトピックに関する最新記事を探し出し、その要点をまとめられます。

この機能により手作業での検索を省き、必要な情報を素早く取得することが可能です。

アプリケーションの起動と実行

プロンプトを用いてソフトウェアの軌道を支持することで、AIが指定されたソフトウェアを起動し、その中で特定の操作を行えます。

たとえばスプレッドシートを開いてデータを入力したり、設定されたタスクを自動的に進めたりすることが可能です。

入力作業の自動化

AIを使ってWebフォームやアプリケーション内の入力フィールドに情報を記入できるのも特徴のひとつです。たとえばオンラインでの申し込みフォームに必要な個人情報を入力させることが挙げられます。

入力作業を自動化することで人的ミスを減らし、作業スピードを向上させられます。

ClaudeのComputer Useを利用するための条件

「Computer Use」では、AIが仮想デスクトップ環境を操作することで機能を実現しています。この仮想環境を簡単に構築し、安定的に動作させるためはDockerの利用が最適です。

Dockerは仮想的な実行環境をコンテナという形で提供し、異なる環境でも一貫した動作を保証するのが特徴。開発者が複雑な設定をせずにスムーズに実行環境を準備できます。

【2024年版】Dockerのインストール方法（Windows）を手順ごとに詳しく解説

また、ClaudeのComputer useをを動作させるためには、Anthropicが提供するClaudeのAPIの使用が必須です。

Claude「Computer Use」の使い方

Claude Computer useを使うにあたり、下記の環境を用意できているか事前に確認しておきましょう。

Docker Desktopのインストール
ClaudeのAPIキー取得
Gitのインストール

上記の環境が整っているいことを前提に解説します。はじめにClaudeのAPIキーを取得します。

Claudeより

Claudeへアクセスして左下のアカウント名をクリック。表示内容から「API Console」をクリックしてください。

Claudeより

表示内容から「Get API keys」をクリックします。

Claudeより

APIキーの作成画面が標示されるので、右上にある「Create Key」をクリックしてください。

Claudeより

「Create in Workspace」欄は「Default」を指定し「Name your key」は任意の名称を英字で入力しましょう。これでAPIキーの取得は完了です。

つぎにDocker Desktopを起動します。そしてPower Shell（Macだとターミナル）を開き、下記のコマンドを実行してください。

git clone https://github.com/anthropics/anthropic-quickstarts

そのあとは下記のコマンドを実行し、ClaudeのComputer useを立ち上げます。

Windows(Power Shell)の場合

$env:ANTHROPIC_API_KEY = "your_api_key"

docker run `
-e ANTHROPIC_API_KEY=$env:ANTHROPIC_API_KEY `
-v ${HOME}\.anthropic:/home/computeruse/.anthropic `
-p 5900:5900 `
-p 8501:8501 `
-p 6080:6080 `
-p 8080:8080 `
-it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest

Macの場合

export ANTHROPIC_API_KEY=%your_api_key%
docker run \
    -e ANTHROPIC_API_KEY=$ANTHROPIC_API_KEY \
    -v $HOME/.anthropic:/home/computeruse/.anthropic \
    -p 5900:5900 \
    -p 8501:8501 \
    -p 6080:6080 \
    -p 8080:8080 \
    -it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest

上記コマンドの「"your_api_key"」欄へ先ほど取得したAPIキーを入力してください。たとえばAPIキーが「hogehoge」だった場合「"hogehoge"」と入力しましょう。