DGX Spark · part 38
DGX Spark 2026 現況:哪些還能跑、哪些已經過時、我現在會怎麼配
❯ cat --toc
TL;DR
2026 年中,我會把這台約 3k-4.7k 美元桌面 AI 盒子當容量機,不是 RTX 5090 替代品。日常用官方 Gemma 4 26B-A4B NVFP4 + stock vLLM;要吞吐再測 MTP,已量過 108 tok/s 路線;長 context 多模態看 12B Unified。雷點沒消失:31B dense 仍只有 7 tok/s、Ollama CPU split 會咬人、NVFP4 不一定比 FP8 快。
白話版:舊文是實驗紀錄,這篇是 2026 年中導航
DGX Spark 這個系列一路寫下來,其實像一疊實驗筆記:這個模型塞得進去嗎?那個量化為什麼反而慢?為什麼照文件跑,結果吐出來一堆驚嘆號?每一篇都有用,但你如果從第一篇照日期讀到第 40 篇,很容易把「當時救火用的做法」誤會成「現在應該照抄的做法」。
所以這篇不是再跑一次 benchmark。這篇是索引:2026 年中我現在會怎麼配、哪些舊結論還成立、哪些做法已經該收起來。要翻完整系列,從 DGX Spark 系列 hub 進去就好。想先拿現況答案,看這篇。
前言:我現在不照時間順序讀這個系列
硬體文老化的方式很討厭。數字還有用,但安裝步驟會變舊。4 月救命的 Docker image,7 月可能只是考古。當時非掛不可的 bind mount,現在反而是你應該刪掉的東西。
所以我現在看自己的 DGX Spark 系列,不是從 Part 1 一路讀。我會先看「現在建議」,再把舊文當 receipts。那些 receipts 還是重要:GB10 還是同一顆 GB10,頻寬牆沒有突然消失,選錯 runtime 還是一樣會痛。只是 2026 年中的答案,已經比 4 月乾淨很多。
2026 年中我會這樣配:先 vLLM,再看用途換模型
如果你的目標是找一條穩的本機 AI 路線,我不會從最大模型開始。我會先找「現在 runtime 原生支援、少補丁、量過速度」的路線。
| 用途 | 我會先試 | 理由 |
|---|---|---|
| 日常聊天 / 本機助理 | nvidia/Gemma-4-26B-A4B-NVFP4 + current vLLM | 同一類路線在 GB10 上量到約 52 tok/s,官方權重也拿掉早期社群量化 shim。 |
| 長 context 文字 | 先用 26B-A4B NVFP4,再量你自己的 context 形狀 | 長 context 不是免費的。KV cache、讀進去的成本、runtime 行為,都比 model card 上的最大數字重要。 |
| 長 context 多模態 | Gemma 4 12B Unified | 這是 2026 年的新選項:encoder-free 多模態,model card 寫 256K context。這種工作我會先測它,不會硬塞給原本偏文字聊天的 26B 路線。 |
| 高吞吐聊天 / 助理 serving | vLLM + MTP 路線,但只在 target/drafter 配對正確時開 | MTP 路線已量到 108 tok/s。現在 vLLM 原生支援,不用舊的 preview image。配對錯一樣會哭。 |
| diffusion 語言模型實驗 | DiffusionGemma on vLLM,但把它當另一類模型 | 它可以很快,但 diffusion 的 tok/s 不能拿來跟一般 AR 模型硬比。先讀 diffusion 那篇再看數字。 |
助理用途尤其不要只盯模型。工具型助理慢,可能是模型慢;也可能是每一輪都把太多 context 重丟一次。換模型救不了壞掉的迴圈。
半年內變最多的是工具鏈,不是 GB10 的物理限制
這半年最大的變化,不是這台機器突然變快。是周邊工具補齊了。
第一個變化是 NVIDIA 官方 nvidia/Gemma-4-26B-A4B-NVFP4 權重在 2026-04-30 發出來,而且 vLLM 支援。這讓預設路線從「社群量化 + gemma4_patched.py」變成「先用官方權重」。早期那篇 52 tok/s 實測 還是速度 receipt,但裡面的安裝路線不該無腦照抄。
第二個變化是 Gemma 4 MTP 從預覽路線變成正常 runtime 功能。vLLM PR #41745 在 2026-05-06 merge,並隨 vLLM v0.21.0 在 2026-05-15 出貨。現在 stable 是 2026-06-29 的 vLLM v0.24.0。MTP 108 tok/s 那篇 還是證明速度存在;preview image 和 bind-mount 則是歷史。
第三個變化是 Google 在 2026-06-03 推出 Gemma 4 12B Unified。這讓 Spark 多了一條長 context 多模態路線,不必什麼都逼 26B-A4B 接。我不會說它取代所有東西;我會說,只要工作是「大 context 加多模態」,它是現在該先列入測試的模型。
仍然沒變:GB10 吃 sparse activation,不愛 dense decode
舊 benchmark 沒有報廢。它們變成護欄。
| 舊數字 | 到現在仍然有用的結論 |
|---|---|
| 26B-A4B NVFP4 on vLLM:約 52 tok/s | 日常聊天夠快,現在官方權重讓路線更乾淨。 |
| MTP 路線:108 tok/s | 高吞吐 serving 值得測 speculative decoding,但 target/drafter 要配對。 |
| E4B NVFP4:約 50 tok/s | 小一點或 PLE 類模型仍有位置,不是每件事都要 26B。 |
| 31B dense:約 7 tok/s | Dense decode 在 GB10 上還是不適合。模型大不代表坐在椅子上用起來比較好。 |
| 同模型 vLLM 比 Ollama 快約 30% | Runtime 不是包裝差異,它會直接改變結果。 |
這其實就是 Gemma 4 選型總表 的主軸:在 DGX Spark 上,我更在乎每個 token 實際搬多少權重,而不是模型總參數寫多大。MoE 會好用,是因為每次只叫一部分專家出來。PLE 類的小模型也有自己的位置。31B dense 紙面上很強,坐下來等它吐字就知道痛。
仍然會咬人:量化、KV cache、runtime 狀態
幾個煩人的坑也還活著。
第一個坑是「NVFP4 一定比較快」。沒有。NVFP4 vs FP8 那篇 會存在,就是因為 GB10 的硬體路線有細節:看起來比較小的格式,不一定走到比較快的 kernel。現在我仍然把官方 26B-A4B NVFP4 當預設起點,但不會把這句話推廣成「NVFP4 到處都比 FP8 快」。
第二個坑是把 Ollama 當無害備案。vLLM vs Ollama 那篇 量到同模型 vLLM 約快 30%,而且 CPU split 那類問題,就是會讓你以為模型壞掉。方便時我會用 Ollama;但要量這台機器的能力,我不拿 Ollama 當效能基準。
第三個坑是把 context window 當免費額度。長 context 代表 KV cache 壓力、讀進去的成本,也代表助理每一輪可能反覆付同一段文字的錢。Gemma 4 12B Unified 帶來 256K context 的多模態新選項,但它沒有讓成本模型消失。要量你的工作形狀,不要只看最大窗口。
別照日期讀:從系列 hub 開始跳
如果你是第一次進來,我會這樣讀:
| 你想問 | 先看這篇 |
|---|---|
| 「Gemma 4 到底選哪顆?」 | Gemma 4 選型總表 |
| 「現在預設文字模型怎麼跑?」 | 26B-A4B NVFP4 at 52 tok/s |
| 「MTP 值不值得開?」 | Gemma 4 MTP at 108 tok/s |
| 「vLLM 還是 Ollama?」 | 同模型 vLLM vs Ollama |
| 「為什麼 NVFP4 有時候反而怪?」 | NVFP4 trap:GB10 FP8 wins |
| 「diffusion / 多模態-ish 怎麼看?」 | DiffusionGemma NVFP4 on vLLM |
| 「整個系列地圖在哪?」 | DGX Spark 系列 hub |
日期可以幫你判斷脈絡,但它不是現在的閱讀順序。
收穫:把 DGX Spark 當容量機,不要把它當 5090
最花時間的地方: 不是「模型能不能跑」。最花時間的是找到模型格式、runtime 支援、GB10 硬體路線三者哪裡互相打架。
可以帶走的診斷方法: 一個 setup 覺得怪,我現在會先看 runtime,再看 active parameter 形狀,再看量化格式,最後看 context 行為。這比盯著模型大小有用。
一句話原則: 2026 年的 DGX Spark,適合拿來做本機 serving 和容量型工作。它不是純速度競賽機。用現在的 vLLM 路線,有官方權重就先用官方權重,吞吐需求再測 MTP,舊文留著當 receipts。
現在地圖大概就這樣。實驗還在那裡;先從 系列 hub 進去,再沿著你真的要做的事往下跳。
常見問題
- 2026 年 DGX Spark 現在該跑什麼?
- 如果是日常聊天或本機助理,我會先用 NVIDIA 官方 Gemma 4 26B-A4B NVFP4 權重加上 stock vLLM。早期社群量化和 gemma4_patched.py shim 的路徑現在比較像歷史紀錄,不是我會先複製的做法。
- Gemma 4 MTP 現在還需要 preview vLLM image 嗎?
- 不用。vLLM PR #41745 在 2026-05-06 merge,並隨 vLLM v0.21.0 在 2026-05-15 出貨。MTP 現在已經是 vLLM 原生支援,不用再靠 preview image 或 bind-mount。
- DGX Spark 上 NVFP4 一定最快嗎?
- 不一定。官方 26B-A4B NVFP4 是我現在的預設起點,但 GB10 上 FP8 和 NVFP4 的故事有坑。不要只看權重比較小就以為一定比較快。
- 長 context 和多模態現在有新選擇嗎?
- 有。Google 在 2026-06-03 推出 Gemma 4 12B Unified,encoder-free 多模態,依 Hugging Face model card 可到 256K context。長 context 加多模態的工作,我會先把它列入測試,而不是硬塞進原本 26B chat 路線。
接著讀
- 2026-05-06火箭起飛:Gemma 4 在 DGX Spark 跑出 670 tok/s 總吞吐(單流 108 tok/s)
Google 2026-05-05 發 Multi-Token Prediction drafter,vLLM PR 同日開、官方 preview docker 同日有。DGX Spark 上實測 Gemma 4 26B-A4B-it FP8 + MTP γ=4:單流 108 tok/s(2.66× baseline)、8 路並行 674 tok/s 總吞吐。一個沒寫進文件的雷:drafter 不能配 base model,要配 -it。
- 2026-04-13[Benchmark] Gemma 4 全家桶 on DGX Spark — 哪個版本適合你?
Gemma 4 E2B / E4B / 26B MoE / 31B Dense 在 DGX Spark、RTX 5090、MacBook Pro 上的完整對照表。一張表看完速度、記憶體、量化格式。附選擇建議。
- 2026-04-05[Benchmark] 同模型 vLLM vs Ollama:為什麼 GB10 上差 30%
同一個 Gemma 4 26B-A4B、同一張 GPU,vLLM NVFP4 跑 52 tok/s,Ollama Q4_K_M 只有 40。根因:Marlin kernel、CUDA graphs,以及 Ollama 靜默的 CPU/GPU split 陷阱。
- 2026-06-13[vLLM] DiffusionGemma 26B NVFP4 上 DGX Spark:158 tok/s,但 diffusion 的 tok/s 會騙你
DiffusionGemma 26B-A4B 用官方現成 image 就能在 128GB DGX Spark 上跑 vLLM,不用等 PR、不用 cherry-pick。NVFP4 單條 158 tok/s、四條同時 257。但單一個 tok/s 數字會騙人:diffusion 的速度取決於 256 token 的畫布有沒有填滿。
不想錯過新文章?
訂閱我確保不漏接!
隨時一鍵退訂。