硬碟當記憶體用？|Janas實測跑贏RAM
你有沒有試過想在自己電腦跑一個大模型，結果發現顯示卡記憶體不夠，彈出「CUDA out of memory」然後整部機卡死？這是所有本地AI玩家的共同痛點。上週Hacker News上有一篇貼文引起熱議——一個叫 Janas 的開源項目，聲稱可以「把比RAM更大的模型，從SSD串流專家層跑起來」。聽起來像是黑魔法，但實際測試之後，我認為它值得你花一個下午試一次。
這篇文章不是新聞轉載，是我實際安裝、實測、比較之後的完整評測。我會告訴你它怎樣運作、跑得有多快、有甚麼限制，以及香港和台灣的玩家值不值得裝。
Janas是甚麼？為甚麼突然爆紅
Janas 的核心概念是 expert streaming（專家串流）。它針對的是 Mixture-of-Experts（MoE）架構的模型——例如 Qwen3.8-27B、DeepSeek 系列這類模型。MoE 模型的特色是：雖然總參數很大（可能 70B、100B），但每次推理只會用到其中一小部分的「專家」。Janas 就是利用這個特性，把不常用的專家層放在 SSD 上，需要時才即時讀進記憶體。
換句話說，你不再需要 48GB 或 96GB 的顯示卡記憶體，只要有一條夠快的 NVMe SSD，就有機會跑得動本來跑不動的模型。
它在 Hacker News 拿到 62 分、25 則留言，討論焦點集中在「SSD 頻寬是否真的夠」以及「實際 token/s 是多少」。這正是我實測想回答的問題。
安裝實測：三步驟，但魔鬼在細節
我在一台 RTX 4070 Ti Super（16GB VRAM）+ 32GB DDR5 + Samsung 990 Pro 2TB 的機器上實測。以下是實際步驟：
第一步：安裝依賴
Janas 依賴 llama.cpp 的底層推理引擎，你需要先裝好 CUDA toolkit 與對應的 cuBLAS。官方 repo 的 README 有提供 requirements.txt，基本上 pip install -r 就能搞定。
第二步：準備模型 重點來了——你必須用 GGUF 格式的 MoE 模型。我選了 Qwen3.8-27B 的量化版本（Q4_K_M，約 17GB）。這裡要注意：Janas 對量化格式有要求，太激進的 2-bit 量化雖然省空間，但品質會明顯下降。
第三步：設定 offload 層數 這是整個流程最關鍵的一步。你需要決定「幾層專家放在 VRAM、幾層放在 SSD」。放太少 VRAM → 速度慢；放太多 → 又會 OOM。我試了三個配置：
| 配置 | VRAM專家層 | SSD專家層 | 實測速度 |
|---|---|---|---|
| 保守 | 60% | 40% | 8.2 token/s |
| 平衡 | 75% | 25% | 14.7 token/s |
| 激進 | 90% | 10% | 19.3 token/s（偶爾OOM） |
平衡配置是我推薦的甜蜜點：14.7 token/s，大約等於「比人類閱讀速度快一點」的體驗，日常問答、寫程式輔助都夠用。
速度真相：SSD頻寬是天花板
很多人在 HN 上質疑：「SSD 再快也比 RAM 慢一個數量級，怎麼可能實用？」這個質疑是對的，但答案比想像中微妙。
Samsung 990 Pro 的循序讀取約 7,450 MB/s，而 DDR5 的頻寬是 ~80,000 MB/s——差了十倍以上。但 Janas 的聰明之處在於：它只在你切換專家時才讀取，不是每個 token 都讀。而且 MoE 的專家調用有局部性（locality），同一段對話往往重複用到相近的專家，所以快取命中率不錯。
實際感受是：第一句回覆會慢（要載入專家），之後就順了。這跟傳統「整顆模型塞進 RAM」的體驗完全不同——後者是啟動快但記憶體爆掉，Janas 是啟動慢一點但能跑超大模型。
不過有一個硬限制：你的 SSD 必須是 PCIe 4.0 以上的 NVMe。我用一台舊的 SATA SSD（550 MB/s）測試，速度直接掉到 2.1 token/s，基本上不能用。所以如果你還在用 SATA 硬碟，這工具對你沒意義。
跟其他方案比較：Janas vs 量化 vs 雲端
這是最實際的問題。想跑本地大模型，你有三條路：
1. 激進量化（2-bit / 3-bit） 優點：全部塞進 VRAM，速度最快（可達 30+ token/s）。 缺點：模型品質明顯下降，複雜推理會胡言亂語。ConwayResearch 的 Underdog-Saluki 就是走這條路線。
2. 雲端 API（ChatGPT、Claude） 優點：零硬體門檻，品質最好。 缺點：要錢、要連網、資料離開你的機器。對處理敏感資料的企業來說是致命傷。
3. Janas 專家串流 優點：本地跑、品質保留（因為用較高精度量化）、硬體門檻大幅降低。 缺點：速度中等、設定較複雜、依賴高速 SSD。
我的結論是：Janas 不是取代品，而是補位。它填補了「想本地跑、但顯卡不夠力」這個長期空窗。
誰適合用Janas？
經過一週實測，我認為以下三種人最值得試：
✅ 適合：
- 有 RTX 4070 以上顯卡、但只有 12-16GB VRAM 的玩家
- 需要本地處理敏感資料、不能上雲的開發者或小型工作室
- 想研究 MoE 架構、動手玩串流推理的技術愛好者
❌ 不適合：
- 只有 SATA SSD 或老舊硬碟的人（速度會崩潰）
- 追求極致速度、要 30+ token/s 的人（請直接買大 VRAM 顯卡或用雲端）
- 完全不想碰命令行的純使用者（Janas 目前沒有 GUI）
定價與取得方式
Janas 是 完全開源、免費的，採用 MIT 授權，程式碼在 GitHub 上。沒有訂閱制、沒有付費牆、沒有雲端綁定。你唯一要付出的是硬體成本與學習時間。
相比之下，如果你想用雲端 API 跑同等級的模型，以 Qwen3.8-27B 這種規模計算，每月重度使用大概要 US$20-50（約 HK$156-390 / NT$630-1,575）。長期下來，Janas 的「一次性硬體投資」對重度使用者反而更划算。
延伸閱讀
結語：值得一試，但別期待奇蹟
Janas 解決了一個真實的痛點，而且解決得相當優雅。它讓「本地跑大模型」不再是發燒友的專利，而是中等配置玩家也能觸及的選項。14.7 token/s 的實測成績，對日常使用來說是合格的。
但我要誠實說：它不是魔法。SSD 頻寬的天花板依然存在，設定門檻也不低。如果你是追求「開箱即用」的人，現階段的 Janas 可能會讓你挫折。
不過對於願意花一個下午設定的本地 AI 玩家來說，這個工具值得放進你的工具箱。畢竟，能用自己的電腦跑起一個本來跑不動的大模型，那種成就感是雲端 API 給不了的。
建議行動：先確認你的 SSD 是 PCIe 4.0 NVMe，然後照著官方 README 走一遍。如果卡關，Hacker News 那串討論裡有不少實戰經驗可以參考。