你還在手動操作？|讓AI幫你點滑鼠

你有沒有想過，如果電腦能聽懂你的話，直接幫你點擊、打字、填表單，那該有多好？

現在這個夢想成真了。Google 在最新的 Gemini 3.5 Flash 模型中，推出了一個叫做 Computer Use 的功能。簡單來說，就是你可以用自然語言對 AI 下指令，它會像真人一樣操作你的電腦——移動滑鼠、點擊按鈕、輸入文字、甚至瀏覽網頁。

這不是科幻電影，而是今天就能用的工具。這篇教學會帶你一步步設定，並用實際案例告訴你怎麼用它省下大量時間。

什麼是 Computer Use？為什麼你該馬上學？

Computer Use 是 Gemini 3.5 Flash 的一個實驗性功能。它讓 AI 能夠「看到」你的螢幕畫面，並模擬滑鼠和鍵盤操作。你只需要告訴它「幫我打開 Chrome 瀏覽器，搜尋『香港天氣』，然後把結果截圖」，它就會自動完成。

聽起來很瘋狂？但背後的原理其實不難理解。Gemini 3.5 Flash 是一個多模態模型，它不僅能理解文字，還能分析圖像。當你讓它「看」你的螢幕時，它會分析畫面中的元素（按鈕、輸入框、圖標），然後決定下一步該點哪裡、打什麼字。

這對香港和台灣的讀者來說特別實用。想像一下這些場景：

• 填寫繁瑣的政府表單：稅務申報、簽證申請，那些讓人頭暈的欄位，AI 可以幫你一鍵填完。
• 自動化網頁測試：開發者不用再手動點擊每個按鈕，直接讓 AI 跑一遍流程。
• 資料擷取：從多個網頁中收集比價資訊、新聞標題，AI 會幫你打開、複製、貼上。

但要注意，這個功能目前仍在實驗階段。它可能會犯錯，比如點錯地方或理解錯指令。所以使用時，建議你先從簡單的任務開始，慢慢熟悉它的能力邊界。

第一步：準備你的環境

要開始使用 Computer Use，你需要準備以下幾樣東西：

1. Google AI Studio 帳號：這是 Google 提供的開發者平台，可以免費試用 Gemini 模型。前往 aistudio.google.com 並用你的 Google 帳號登入。
2. Gemini 3.5 Flash API 金鑰：在 AI Studio 中，點擊左側的「Get API key」按鈕，建立一個新的金鑰。複製並保存好。
3. Python 環境：如果你還不會 Python，建議安裝 Anaconda 或直接用 Google Colab（線上版，不用安裝）。
4. 必要的套件：我們需要安裝 google-generativeai 套件。打開終端機或命令提示字元，輸入：

pip install google-generativeai pillow pyautogui

• google-generativeai：用來呼叫 Gemini API。
• pillow：用來處理螢幕截圖。
• pyautogui：用來控制滑鼠和鍵盤。

第二步：寫一個簡單的 Computer Use 腳本

現在我們來寫一個最基本的腳本，讓 Gemini 幫你打開計算機。

首先，建立一個新的 Python 檔案，例如 computer_use_demo.py，然後貼上以下程式碼：

import google.generativeai as genai
import pyautogui
import time
from PIL import Image
import io

# 設定 API 金鑰
genai.configure(api_key="YOUR_API_KEY_HERE")

# 初始化模型
model = genai.GenerativeModel('gemini-3.5-flash')

def take_screenshot():
    """擷取螢幕畫面"""
    screenshot = pyautogui.screenshot()
    return screenshot

def click(x, y):
    """點擊指定座標"""
    pyautogui.click(x, y)
    time.sleep(0.5)

def type_text(text):
    """輸入文字"""
    pyautogui.write(text)
    time.sleep(0.3)

def press_key(key):
    """按下按鍵"""
    pyautogui.press(key)
    time.sleep(0.3)

# 主程式
def main():
    # 1. 先擷取當前螢幕
    screenshot = take_screenshot()
    
    # 2. 告訴 AI 你要做什麼
    prompt = """
    請分析這個螢幕畫面。我想打開 Windows 的計算機應用程式。
    請告訴我：
    1. 開始功能表在哪裡？
    2. 搜尋框在哪裡？
    3. 我應該輸入什麼來搜尋計算機？
    """
    
    # 3. 將截圖轉換為 bytes
    img_bytes = io.BytesIO()
    screenshot.save(img_bytes, format='PNG')
    img_bytes = img_bytes.getvalue()
    
    # 4. 呼叫 Gemini
    response = model.generate_content([prompt, img_bytes])
    print("AI 回應：", response.text)
    
    # 5. 根據回應執行操作（這裡是簡化版本）
    # 假設 AI 說開始功能表在左下角
    click(50, 1080)  # 點擊開始功能表
    time.sleep(1)
    
    # 輸入 "計算機"
    type_text("計算機")
    time.sleep(1)
    press_key("enter")

if __name__ == "__main__":
    main()

重要提醒：請將 YOUR_API_KEY_HERE 替換成你剛才建立的 API 金鑰。

這個腳本會：

1. 擷取你的螢幕畫面。
2. 將畫面傳送給 Gemini，並詢問它如何打開計算機。
3. 根據 AI 的回應（雖然我們在這裡寫死了點擊位置），執行點擊和打字動作。

但這只是最基本的示範。真正的 Computer Use 功能更聰明——它會動態分析畫面，而不是依賴固定的座標。

第三步：使用真正的 Computer Use API

Google 最近在 Gemini 3.5 Flash 中加入了原生支援 Computer Use 的 API。這意味著你不用自己寫邏輯來分析螢幕，AI 會直接告訴你「點擊 (x, y) 座標」或「輸入這段文字」。

以下是更進階的用法：

import google.generativeai as genai
import pyautogui
import time
from PIL import Image
import io

genai.configure(api_key="YOUR_API_KEY_HERE")
model = genai.GenerativeModel('gemini-3.5-flash')

def computer_use_task(task_description):
    """讓 AI 執行電腦操作任務"""
    
    max_iterations = 10  # 避免無限迴圈
    for i in range(max_iterations):
        # 1. 擷取螢幕
        screenshot = pyautogui.screenshot()
        img_bytes = io.BytesIO()
        screenshot.save(img_bytes, format='PNG')
        img_bytes = img_bytes.getvalue()
        
        # 2. 呼叫 API，使用 computer_use 模式
        response = model.generate_content(
            [
                f"任務：{task_description}。\n這是我目前的螢幕畫面。請告訴我下一步該做什麼。如果任務完成，請說 'DONE'。",
                img_bytes
            ],
            generation_config={
                'temperature': 0.2,  # 低溫度讓輸出更穩定
            }
        )
        
        ai_response = response.text.strip()
        print(f"第 {i+1} 步：{ai_response}")
        
        # 3. 檢查是否完成
        if 'DONE' in ai_response.upper():
            print("任務完成！")
            break
        
        # 4. 解析 AI 的指令（這裡是簡化版，實際需要更嚴謹的解析）
        # AI 可能會回傳 "CLICK 500 300" 或 "TYPE Hello" 等格式
        if 'CLICK' in ai_response.upper():
            # 假設格式是 "CLICK x y"
            parts = ai_response.split()
            x = int(parts[1])
            y = int(parts[2])
            pyautogui.click(x, y)
            time.sleep(0.5)
        elif 'TYPE' in ai_response.upper():
            text = ai_response.replace('TYPE', '').strip()
            pyautogui.write(text)
            time.sleep(0.3)
        elif 'PRESS' in ai_response.upper():
            key = ai_response.replace('PRESS', '').strip().lower()
            pyautogui.press(key)
            time.sleep(0.3)
        else:
            print("無法解析 AI 指令，跳過這一步")
            time.sleep(1)

# 實際使用
computer_use_task("打開 Chrome 瀏覽器，然後搜尋「香港今日天氣」")

這個腳本會循環執行，直到 AI 說「DONE」。每次迭代，它都會：

1. 擷取最新螢幕畫面。
2. 詢問 AI 下一步該做什麼。
3. 根據 AI 的指令執行滑鼠或鍵盤操作。

第四步：實戰案例——自動填寫表單

假設你每個月都要填寫一份固定的報表，裡面有姓名、日期、金額等欄位。這份工作雖然簡單，但重複性高，容易出錯。

用 Computer Use，你可以這樣做：

def auto_fill_form():
    task = """
    請執行以下步驟：
    1. 打開 Google Chrome
    2. 前往 https://docs.google.com/forms/d/你的表單ID
    3. 在「姓名」欄位輸入「張小明」
    4. 在「日期」欄位輸入「2026-06-25」
    5. 在「金額」欄位輸入「5000」
    6. 點擊「提交」按鈕
    """
    computer_use_task(task)

AI 會自動識別表單中的欄位名稱，然後逐一填入。如果表單的版面有變動，AI 也會根據螢幕畫面動態調整，不會像傳統的 RPA 腳本那樣因為一個按鈕位移就卡住。

延伸閱讀

• 五分鐘學會！|免費生成AI影片
• 五分鐘學會！|下載開源AI模型
• Google AI Studio 免費入門教學：零成本玩轉 Gemini 最強模型

常見問題

Q: Computer Use 會不會很慢？ A: 每個步驟大約需要 2-5 秒，因為需要擷取螢幕、傳送給 API、等待回應。但對於複雜任務來說，這比人工操作快得多。

Q: 這個功能安全嗎？會不會讓 AI 亂點東西？ A: 目前是實驗功能，建議只用在測試環境或你完全信任的任務上。不要讓 AI 操作包含敏感資料的頁面。

Q: 我可以用 Computer Use 來自動化遊戲嗎？ A: 技術上可以，但違反大多數遊戲的服務條款，且 Google 的 API 使用條款也禁止用於遊戲自動化。

Q: 需要多少 API 費用？ A: Gemini 3.5 Flash 價格很便宜，每百萬 token 約 0.08 美元。一次 Computer Use 任務通常花費不到 0.01 美元。

Q: 如果 AI 點錯地方怎麼辦？ A: 你可以在腳本中加入「人工確認」步驟，例如讓 AI 先描述它要點哪裡，你確認後再執行。

現在就打開 AI Studio，試試讓 Gemini 幫你操作電腦吧！從簡單的任務開始，你會發現原來自動化可以這麼簡單。未來當你看到同事還在手動填表單時，你就可以微笑著說：「讓 AI 幫你點滑鼠就好啦。」