你有沒有想過,如果有一天 ChatGPT 突然掛掉、或者網路不穩,你的工作是不是馬上停擺?或者,你擔心把公司機密文件丟上雲端 AI 會被偷看?其實,你完全可以在自己的電腦上跑一個免費又強大的 AI 模型,而且不用連網、不用付月費。
今天我們要介紹的主角,就是 Google 剛剛開源的 Gemma 3。這可不是什麼陽春玩具——它是一個真正能寫程式、翻譯文件、分析資料的「本地 AI 助手」。更棒的是,整個設定過程只要 10 分鐘,連程式碼都不用寫一行。
為什麼你該自己跑 AI?三個殘酷真相
你可能會問:「我用手機 App 用得好好的,幹嘛要自己搞這些?」
真相一:你的對話紀錄正在被訓練。 每次你問 ChatGPT「幫我擬一封給客戶的郵件」,這些對話都可能被拿去餵給下一代模型。如果你用的是免費版,你的資料就是他們的養分。
真相二:網路斷了你就廢了。 想像一下,你在高鐵上、飛機上,或者你家網路剛好掛掉——這時你需要緊急回覆一封英文郵件,結果 AI 叫不動。自己跑本地 AI,這問題直接消失。
真相三:大公司隨時可以改規則。 昨天還能免費用的功能,今天突然變成付費牆。你還記得 Midjourney 從免費變成收費的那天嗎?自己掌握模型,永遠不怕被收割。
本地 AI 不是什麼駭客專利,它只是把 AI 的「主控權」從雲端搬回你的電腦。而 Gemma 3 正是目前最適合入門的選擇——它夠輕量、夠聰明、而且完全免費。
第一步:安裝 Ollama——你的 AI 管理員
要跑 Gemma 3,我們需要一個叫做 Ollama 的工具。你可以把它想像成一個「AI 模型管理員」:它負責下載模型、啟動服務、而且幫你處理所有複雜的底層設定。
Step 1:下載 Ollama
打開你的瀏覽器,前往 ollama.com,點擊大大的「Download」按鈕。它會自動偵測你的作業系統——無論你是 Windows、macOS 還是 Linux,都能一鍵下載。
Step 2:安裝並啟動
下載完成後,雙擊安裝檔案,一路按「下一步」就好。安裝完之後,你的電腦右下角(或選單列)會出現一個羊駝圖示——那就是 Ollama 正在背景運行。
Step 3:測試是否成功
打開你的終端機(Windows 用戶按 Win+R,輸入 cmd;Mac 用戶打開「終端機」),輸入以下指令:
ollama --version
如果你看到類似 ollama version 0.5.0 的數字,恭喜你,安裝成功!
第二步:下載並執行 Gemma 3
現在來到最刺激的部分——讓 AI 模型真正跑起來。
Step 1:選擇模型版本
Gemma 3 有幾種不同大小的版本,取決於你的電腦效能:
- Gemma 3 2B(20億參數):最輕量,適合 8GB RAM 的舊電腦,反應最快
- Gemma 3 7B(70億參數):平衡型,推薦 16GB RAM 以上的電腦使用
- Gemma 3 27B(270億參數):最強悍,需要 32GB RAM 或以上,適合追求極致品質的用戶
如果你是新手,強烈建議從 Gemma 3 2B 開始——它快得像閃電,而且對一般問答、翻譯、寫作來說已經非常夠用。
Step 2:一鍵下載
在終端機輸入以下指令(以 2B 版本為例):
ollama run gemma3:2b
就是這麼簡單。Ollama 會自動從 HuggingFace 下載模型檔案(大約 1.6GB,視網路速度約 3-5 分鐘)。下載完成後,你會看到一個 >>> 的提示符——這表示 AI 已經準備好回答你的問題了。
Step 3:開始對話
試著輸入你的第一個問題:
用繁體中文解釋什麼是量子糾纏,用一個生活化的比喻
你會看到 AI 開始逐字生成回答,速度取決於你的電腦效能。在 2B 版本上,即使是五年前的筆電,每秒也能生成 20-30 個字——比打字還快。
貼心小提醒: 如果你想要更快的速度,可以試試 Gemma 3 1B(10億參數)版本,指令改為 ollama run gemma3:1b。雖然智慧程度稍降,但反應時間幾乎是即時的。
第三步:讓 AI 真正幫你做事——實戰技巧
光會啟動模型還不夠,接下來我要分享幾個讓 Gemma 3 工作效率翻倍的「咒語」。
技巧一:給角色,不要給指令
很多人問 AI 時只會說「幫我寫一封信」,但這樣效果通常很差。試試這個:
你是一位有10年經驗的商業律師,擅長撰寫英文商業書信。請幫我寫一封給美國客戶的道歉信,內容是關於出貨延遲兩週,語氣要專業且誠懇。
Gemma 3 對「角色設定」非常敏感,給它一個明確的身份,它給出的答案品質直接跳兩級。
技巧二:分段提問,不要一次問完
如果你需要 AI 分析一份長文件(比如一篇 3000 字的文章),不要直接把整篇貼上去問「總結給我」。Gemma 3 的上下文長度雖然有 8K token,但分段處理效果更好:
- 先問:「請用 50 字總結這篇文章的第一段」
- 再問:「請用 50 字總結第二段」
- 最後問:「請根據以上分段總結,給出整篇文章的 200 字摘要」
這樣做,AI 的準確度會大幅提升,而且不會漏掉關鍵資訊。
技巧三:用「溫度」控制創意
在 Ollama 中,你可以調整模型的「溫度」(temperature)——數值越低越保守,越高越有創意。預設值是 0.7,但如果你要寫正式文件,建議調到 0.3;如果要寫小說或 brainstorming,調到 0.9 會有驚喜。
設定方式是在對話中輸入:
/set parameter temperature 0.3
試試看,你會發現同樣的問題,回答風格完全不同。
進階玩法:把 Gemma 3 變成你的專屬助手
如果你覺得在終端機打字不夠直覺,這裡有兩個超實用的進階應用:
玩法一:用網頁介面聊天
安裝完 Ollama 後,它其實已經在背景開了一個 API 伺服器(預設在 http://localhost:11434)。你可以下載一個叫做 Open WebUI 的工具(開源免費),它會幫你建立一個類似 ChatGPT 的網頁介面,有對話紀錄、有 Markdown 渲染、甚至能上傳檔案。
安裝指令:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
打開瀏覽器輸入 http://localhost:3000,你就擁有了一個屬於自己的 ChatGPT!
玩法二:整合到 VS Code 寫程式
如果你是程式開發者,可以在 VS Code 中安裝 Continue 擴充套件,然後設定它連接到本地的 Ollama。這樣你寫程式時,AI 可以即時幫你補程式碼、解釋程式邏輯、甚至幫你 debug——而且所有資料都不會離開你的電腦。
設定方式:在 Continue 的設定檔中,將模型改成 gemma3:2b 即可。
常見問題
Q: 我的電腦只有 8GB RAM,跑得動嗎? A: 完全沒問題!建議使用 Gemma 3 2B 或 1B 版本,8GB RAM 跑 2B 版本綽綽有餘,反應速度也很快。如果你同時開很多瀏覽器分頁,可能會稍微卡頓,但關掉一些分頁就好了。
Q: 下載的模型檔案放在哪裡?會不會佔很多空間?
A: 模型檔案預設存放在 ~/.ollama/models/ 目錄下。Gemma 3 2B 大約佔 1.6GB,7B 約 4.5GB,27B 約 16GB。你可以隨時用 ollama rm gemma3:2b 刪除不需要的模型。
Q: 這個模型支援繁體中文嗎?效果如何? A: 支援!Gemma 3 在訓練時包含了大量繁體中文資料,繁體中文的表現相當優秀。不過要注意,如果你問它「用繁體中文回答」,它可能會混入少數簡體字——這時只要補一句「請只用繁體中文」就能修正。
Q: 我可以把公司機密文件餵給它嗎?安全嗎? A: 可以,而且這正是本地 AI 的最大優勢。因為所有運算都在你的電腦上完成,資料完全不會上傳到任何伺服器。即使你斷網,AI 依然可以正常運作。對於需要處理客戶資料、合約文件的工作者來說,這是最安全的選擇。
Q: Ollama 和 ChatGPT 比起來,誰比較聰明? A: 如果是複雜的邏輯推理或數學計算,ChatGPT(尤其是 GPT-4)仍然領先。但對於日常的翻譯、寫作、程式輔助、文件摘要等工作,Gemma 3 7B 以上的版本已經非常接近。考量到它是免費且離線運作,這個性價比是無敵的。
<script type="application/ld+json">
{
"@context": "https://schema.org",
"@type": "FAQPage",
"mainEntity": [
{
"@type": "Question",
"name": "我的電腦只有 8GB RAM,跑得動嗎?",
"acceptedAnswer": {
"@type": "Answer",
"text": "完全沒問題!建議使用 Gemma 3 2B 或 1B 版本,8GB RAM 跑 2B 版本綽綽有餘,反應速度也很快。如果你同時開很多瀏覽器分頁,可能會稍微卡頓,但關掉一些分頁就好了。"
}
},
{
"@type": "Question",
"name": "下載的模型檔案放在哪裡?會不會佔很多空間?",
"acceptedAnswer": {
"@type": "Answer",
"text": "模型檔案預設存放在 ~/.ollama/models/ 目錄下。Gemma 3 2B 大約佔 1.6GB,7B 約 4.5GB,27B 約 16GB。你可以隨時用 ollama rm gemma3:2b 刪除不需要的模型。"
}
},
{
"@type": "Question",
"name": "這個模型支援繁體中文嗎?效果如何?",
"acceptedAnswer": {
"@type": "Answer",
"text": "支援!Gemma 3 在訓練時包含了大量繁體中文資料,繁體中文的表現相當優秀。不過要注意,如果你問它「用繁體中文回答」,它可能會混入少數簡體字——這時只要補一句「請只用繁體中文」就能修正。"
}
},
{
"@type": "Question",
"name": "我可以把公司機密文件餵給它嗎?安全嗎?",
"acceptedAnswer": {
"@type": "Answer",
"text": "可以,而且這正是本地 AI 的最大優勢。因為所有運算都在你的電腦上完成,資料完全不會上傳到任何伺服器。即使你斷網,AI 依然可以正常運作。對於需要處理客戶資料、合約文件的工作者來說,這是最安全的選擇。"
}
},
{
"@type": "Question",
"name": "Ollama 和 ChatGPT 比起來,誰比較聰明?",
"acceptedAnswer": {
"@type": "Answer",
"text": "如果是複雜的邏輯推理或數學計算,ChatGPT(尤其是 GPT-4)仍然領先。但對於日常的翻譯、寫作、程式輔助、文件摘要等工作,Gemma 3 7B 以上的版本已經非常接近。考量到它是免費且離線運作,這個性價比是無敵的。"
}
}
]
}
</script>
延伸閱讀
總結:你的第一台個人 AI 就在今天
今天我們學會了三件事:
- 安裝 Ollama——用一個指令就能管理所有 AI 模型
- 下載並執行 Gemma 3——從 1B 到 27B,總有一個適合你的電腦
- 實戰技巧——角色設定、分段提問、調整溫度,讓 AI 產出品質翻倍
從今天開始,你不再需要依賴任何雲端服務。無論是出差、離線、還是處理機密資料,Gemma 3 都會是你的可靠夥伴。而且這只是開始——同樣的方法可以用來跑 Llama 3、Mistral、Phi-3 等等幾十種開源模型。
現在就打開你的電腦,輸入 ollama run gemma3:2b,給自己一個驚喜吧。你很快就會發現,原來「擁有自己的 AI」比想像中簡單太多。