スクリーンリーダーを通してAIがWindows/Macを操作⁉
～「Computer Use」のご紹介～

※本記事でご紹介しているツールの利用には、各種AIサービスで発行されるAPIキーが必要となります。多くの場合、少額ではありますが有料機能への登録が求められますこと、ご了承ください。

□Windows向けダウンロード

それでは早速、Windows版Computer Useのダウンロード・インストール方法についてご説明します。

まずWindows版はNVDAのアドオンとしてのみリリースされているため、未利用の方は公式サイトから最新版のNVDA日本語版をダウンロード・インストールしましょう。また本アドオンは先日公開されたばかりの最新バージョン(2026.1)以降が要件となっているため、既にNVDAをお使いの方でもアップデートが必要となります。

※記事執筆時(2026年5月現在)、NVDA2026.1では多くのアドオンが未対応となっており、アップデートにより機能が利用できなくなってしまう場合があります。必ずお使いのアドオンの対応状況を確認してから更新するようにしましょう。

事前準備ができたら、GitHubの「NVDA Computer Use」リリースページへアクセスし、「Assets」欄から最新版のアドオンをダウンロードしてください。ダウンロード後、通常通り起動すると規約への同意・NVDAへのインストールが進められます。

アドオンのインストールが完了したら、続いて利用するAIサービスのAPIを登録します。NVDAメニューから「設定」⇒「設定」へと進み、「Computer Use」を選択後、「API Key」欄にOpenAIのAPIキーを入力、ChatGPT以外のサービスを利用したい場合には「URL」欄に任意のAIサービスのアドレスを入力して保存します。

なお、参考までにOpenAIでのAPIキー発行手順を以下に示します。他サービスを利用されたい場合は、各サイトで操作を行ってください。

• (1) OpenAIプラットフォームへアクセスし、OpenAI/Google/Apple/Microsoftアカウントのいずれかでログインします。
• ※アカウントが未登録の場合にはメールアドレスを入力し、「Continue」を選択後表示される指示に従ってユーザ登録を行ってください。
• (2) ダッシュボードへログインできたら、続いてページ上部の「Settings」を選択し、更に遷移後のページで「API keys」に切り替えます。
• (3) APIキーの管理画面に遷移できたら、ページ最下部までスクロールして「Create new secret key」ボタンを選択し、新規キーを作成します。
• (4) 続いてAPIキーの登録情報を求められますので、下記の情報を入力します。
• • ・Name(任意): APIキーの用途等を表す名前(例: ComputerUse)
  • ・Project: プラットフォーム上でプロジェクトを作成している場合に指定、特になければ「Default project」を選択
  • ・Permissions: APIキーに与える権限、今回の用途では「All」を選択
• (5) 「Create Secret Key」ボタンを押下するとAPIキーが作成・表示されます。閉じてしまうと再表示させることはできませんので、コピーして安全な場所に保存してください。
• (6) 「Done」ボタンを選択するとSettingsページに戻りますので、次はページ上部から「Billing」を選び遷移します。
• (7) ページ下方へスクロールし、「Add payment method」リンクを選択、表示される指示に従ってクレジットカード情報や月当たりの限度額を設定します。
• ※クレジットカード登録後、「Billing」画面に戻るとプリペイドチャージ式の「Pay as you go」やオートチャージの設定等も変更できますので、使い過ぎが不安な方はこちらを利用しましょう。
• (8) 支払い方法を登録すると、先ほどのAPIキーが効力を持ち、通常通り利用できるようになります。
• ※記事執筆時、GPT5.4を使った場合の出力にかかる金額は$15/100万トークン、一般的に1分程度の処理をComputer Useに任せた時の利用額は約$0.20(30円)程度です。

□Mac向けダウンロード

Mac版Computer UseについてはNVDAとは違い「VOCR」という文字認識アプリの一機能としての提供となっているため、事前に公式ダウンロードページからアプリ本体をダウンロードする必要があります。

ダウンロードしたZipファイルを解凍、出力されたappファイルを「アプリケーション」フォルダへ移動すればインストールは完了となります。

初回起動時には通知、画面収録等各種プライバシー権限の許可を求めるダイアログが表示されますので、それぞれ「システム設定を開く」や「許可する」から設定しましょう。全権限を許可し終えるとVOCRが再起動されます。

続いて、VOCRが問題なく再起動したことを確認したら、状況メニューバーの「VOCR」を開き、「プリセット」⇒「プリセットマネージャー」へ進みます。初期状態ではデフォルトプリセットのみ登録されている状態なので、「編集」ボタンから詳細編集画面を開きましょう。

Windows版と同様、URL欄・APIキー欄に必要な情報を入力し保存すれば、Computer Useの事前準備は完了です。

□使い方・使用例

さて、APIキー等少し難しい事前準備もありましたが、上記手順で設定を終えれば、いつでもComputer Useを呼び出せる状況となります。本項では続けて、Computer Useの使い方・実際の使用例についてご紹介します。

○実行方法

Windows/NVDAでは「NVDA+Ctrl+Shift+u」、Macでは「Cmd+Ctrl+Shift+u」のショートカットキーでプロンプトの入力画面を開くことができます。初回起動時には「自己責任で利用すること」等注意事項が表示されますので、同意しダイアログへ進みましょう。

表示されたダイアログ内のテキストフィールドには、実際にAIにこなしてほしい作業に関する指示を、できる限り詳細に記載しましょう。なお隣の「Approve All actions for this task」をチェックすると、実行する作業の手順ごとに許可を求められることがなくなり円滑に作業を実施させることができますが、その分適度な段階で作業を止めさせるといったことができなくなりますので、ご注意ください。

続いて「Perform」ボタンを選択すると、入力した指示に沿って作業が開始されます。なおComputer Useは定期的にスクリーンショットを撮りながらクリックする位置等を判定するため、スクリーンカーテン・キャプション・拡大鏡等画面表示に影響を与えてしまう機能は事前に無効化しておく必要があります。

AIによる作業が始まると自動的にマウス・キーボード操作が実行され始め、同時にスクリーンリーダーにより作業内容・進捗状況が通知されるようになります。この間はウィンドウの切り替え・フォーカス移動などはせず、処理を中止したい場合には再度上記のショートカットキーを入力するようにしてください。

作業が完了・中止されると、手順ごとの操作内容・かかったトークン数が記載されたログ画面が表示されます。

...と、文章でご説明しても少しわかりづらいかと思いますので、ここからは実際の使用例と画面収録を共有したいと思います。

○使用例

管理人LUCAが実際にComputer Useを使ってみて、上手く実行できた作業の例です。

1. ウェブページ操作

・プロンプト: 『今開いているChromeのウィンドウで、アドレスバーから「https://naokiluca.com/」にアクセスし、遷移後のページで「Main Menu」を開いてください。』

・作業内容: ウェブブラウザで特定のアドレスを開く、ウェブページ上で任意の要素をクリックさせる等

2. デスクトップ・エクスプローラGUIの操作

・プロンプト: 『デスクトップ上の「Chrome」アイコンを下方、今「Edge」が配置されている位置より下へドラッグしてください。』

・作業内容: マウスを利用してアイコンをクリック・ドラッグする

3. RECAPTCHAの各種認証突破

・プロンプト: 『現在表示中のウィンドウで、RECAPTCHAのチャレンジを解いてください。』

・作業内容: セキュリティ用の画像認証・パズル認証等を読み込み、目的に合ったマウス・キーボード操作を行う

なお上記使用例3については、実際にGoogleのデモページでComputer Useを利用している画面収録映像を用意していますので、ご参考までにご覧ください。

※利用している音声: Aquestalk

□使用上の注意点

最後に、Computer Useを利用する上での注意点をいくつか記載します。

1. 利用は常に自己責任で

アドオンのインストール時・利用時に度々表示される同意事項にも記載がありますが、Computer Useを利用したことにより発生したいかなるトラブルについても、開発者で保証してくれることはありません。

AIが誤ってファイル消去・誤った情報の登録・フォームの誤送信など元に戻せない失敗を犯してしまった場合を考え、渡す情報等には注意しましょう。

2. 指示の具体性が必須

まだ提供され始めたばかりの機能ということもあり、初期開発段階のAIと同様、できる限り具体的なプロンプトを送ることが重要です。

例えば上記使用例1のようにウェブページを操作させる場合等には、類似したラベルの設定されたボタン・リンクとしっかり識別できるよう、操作対象を詳細に説明する必要があります。

3. 無限ループに陥ることが

操作が上手く行えない状況では、AIがいくつかの対応を延々と繰り返し実行してしまい、無限ループに陥ってしまう場合があります。

このような場合には膨大な量のトークン、つまり利用額が請求されてしまうことになりかねないので、利用時には必ず挙動を見守り、ループしそうになった時にはすぐにショートカットキーで処理を中止させるよう注意しましょう。

4. アイコン操作が苦手?

AIがアイコンの並び替え操作等を正しく理解し切れていない様子があり、上記使用例2でも、正しく操作してくれるまでに以下のような失敗がありました。

※「ChromeとEdgeのアイコンを入れ替えてください。」
→上にあるChromeアイコンをEdgeの下へドラッグした後、再度EdgeをChromeの下へドラッグしてしまうため結果的に元通りの位置になってしまう

※「Chromeのアイコンを、今Edgeのアイコンがある位置までドラッグしてください。」
→ChromeアイコンをEdgeの真上にドラッグしてしまい、アイコンの並び替えではなくEdgeの起動アクションが発火してしまう

5. 時間制限のある操作に注意

Computer Useでは手順ごとに「何をしようとしているか」を詳しく読み上げながら丁寧に作業を進めてくれる仕様上、時間制限のある操作にはあまり向いていません。

上記使用例3でも、デモ映像を撮るために読み上げ速度を下げたところ、認証がタイムアウトしてしまう事象が度々発生していましたので、RECAPTCHAで利用する時などには読み上げ速度を100%に設定した方が確実かもしれません。

□まとめ

さて、今回の記事ではAIが視覚障害ユーザの代わりに様々な作業を代行してくれる便利機能「Computer Use」についてご紹介しましたが、いかがだったでしょうか。

1作業につき30円程度の利用料がかかってしまうとはいえ、晴眼者の力を借りられない状況ではかなり役立ってくれるのではないでしょうか。

他のAIツールと同様、今後コスト面・性能の改善も期待されますので、ぜひ一度試してみてください。