#mtp — 技術筆記 — ai-muninn

~ / blog / tag / mtp

❯ grep -r "#mtp" ~/blog

17 篇文章

日期閱讀標題
2026-09-2815m
[DGX Spark] 兩台 DGX Spark 跑 Qwen3.8-Flash-Next 從 51.9 到 72.0 tok/s：幅度最大的是補上自己常用的中文詞表
#dgx-spark #qwen3.8-flash-next #vllm #mtp
2026-09-2120m
什麼!?Qwen3.8 27B 居然被壓到 5.9GB，跑起來能力居然有無損模型的 98.2%
#ternary-bonsai #qwen3.8 #2080-ti #llama.cpp
2026-09-0619m
[Benchmark] Qwen3.8-Flash-Next NVFP4 在 DGX Spark 跑 41.7 tok/s：RAM 給流量，硬碟給字典
#dgx-spark #gb10 #vllm #nvfp4
2026-08-2320m
[Benchmark] DGX Spark 跑 Qwen3.8-27B 到 65 tok/s:無投機只有 12.3，差別全在草稿預算
#dgx-spark #gb10 #sm121 #nvfp4
2026-08-2217m
[Benchmark] 兩張改裝 2080 Ti 玩 tensor parallel,Qwen3.8-27B 衝到 59.6 tok/s
#llama.cpp #tensor-parallel #2080-ti #qwen3.8
2026-08-219m
[Benchmark] 換一個檔案、改一個數字,2080 Ti 上的 27B 免費快 15%
#llama.cpp #chat-template #kv-cache #mtp
2026-08-186m
[洋垃圾跑大模型 #5] 一張 22G 老卡跑 Qwen3.8-27B:30 tok/s，還能一次寫出會動的 3D 場景
#qwen3.8 #unsloth #洋垃圾 #2080-ti
2026-07-2920m
[洋垃圾跑大模型 #3] 一張 22G 老卡跑 284B:DeepSeek-V4-Flash 比 DGX Spark 快 18%
#deepseek-v4-flash #moe #洋垃圾 #2080-ti
2026-07-2211m
[LLM 深水區] 一張 24GB 顯卡最強的免費開源模型？我押 ThinkingCap-Qwen3.6-27B——想得少、跑得快、不拒答
#qwen3.6 #thinkingcap #abliterated #在地模型
2026-07-077m
DGX Spark 2026 現況:哪些還能跑、哪些已經過時、我現在會怎麼配
#dgx-spark #gb10 #gemma-4 #vllm
2026-07-0610m
[本地 LLM] V4-Flash 的 depth-1 MTP:agent 回合 +9%、散文 −4%——推測解碼要看工作型態決定開不開
#dgx-spark #gb10 #deepseek-v4-flash #speculative-decoding
2026-06-2512m
[趣味競賽進階 #4] 量化 draft cache 反而更慢:Qwen MTP 投機解碼的反直覺實測(f16 比 q4 快 34%)
#mtp #投機解碼 #本地-llm #qwen3
2026-06-019m
[Benchmark] NVFP4 W4A4 在 DGX Spark 上超車 FP8:拔掉 enforce-eager,MoE 從 23 衝到 67 tok/s
#nvfp4 #w4a4 #fp8 #dgx-spark
2026-05-145m
在 DGX Spark 上 30 行 docker 拿 +34%:huihui Gemma 4 FP8 + vanilla MTP n=1 部署 recipe
#gemma-4 #abliteration #mtp #speculative-decoding
2026-05-0913m
想用 MTP 加速 abliterated Gemma 4?vanilla draft 對不上被改過的 body
#gemma-4 #abliteration #mtp #speculative-decoding
2026-05-0611m
火箭起飛:Gemma 4 在 DGX Spark 跑出 670 tok/s 總吞吐(單流 108 tok/s)
#gemma-4 #mtp #speculative-decoding #vllm
2026-04-2814m
[llm-compressor] 自量化 abliterated 35B FP8 on DGX Spark：4 次 OOM、3 個 prefix bug、最終 51 tok/s
#dgx-spark #gb10 #sm121 #llm-compressor

← 回到所有文章