#kv-cache — 技術筆記

~ / blog / tag / kv-cache

❯ grep -r "#kv-cache" ~/blog

11 篇文章

日期閱讀標題
2026-07-0710m
[地端 LLM] 284B 塞得進 128GB、長 context 還跑得動:DeepSeek-V4-Flash 打的是 KV cache,不是參數量
#dgx-spark #gb10 #deepseek-v4-flash #kv-cache
2026-07-0511m
[本地 LLM] 養了一個月,我的 284B agent 悄悄不再快取——ds4 的 evict 風暴,跟每輪重付的 prefill
#dgx-spark #gb10 #deepseek-v4-flash #kv-cache
2026-07-0313m
[趣味競賽進階 #8] 為什麼 30 tok/s 體感比 14 還慢:TTFT 才是你真正感覺到的速度
#本地-llm #ai-agent #ttft #llama.cpp
2026-06-269m
[趣味競賽進階 #5] 別讓助理每次都重讀整本對話:KV cache 存硬碟,回神快 7 倍
#本地-llm #llama.cpp #kv-cache #ttft
2026-06-2512m
[趣味競賽進階 #4] 量化 draft cache 反而更慢:Qwen MTP 投機解碼的反直覺實測(f16 比 q4 快 34%)
#mtp #投機解碼 #本地-llm #qwen3
2026-06-2414m
[趣味競賽進階 #3] 我把 context 開滿 256K,它載入成功——然後在真實對話裡 crash:一張 22G 改裝卡的 VRAM 偵探故事
#本地-llm #llama.cpp #qwen3 #vram
2026-06-149m
[趣味競賽] 在 GTX 970 上，Flash Attention 讓長 context 的 decode 接近翻倍（24.3 → 42.5 tok/s）
#gemma-4 #gtx-970 #flash-attention #kv-cache
2026-06-1213m
[地端 LLM] 把 15 tok/s 的 284B 當每天的 agent 大腦:DeepSeek-V4-Flash 怎麼設才舒服
#dgx-spark #gb10 #deepseek-v4-flash #kv-cache
2026-04-088m
[Benchmark] 拯救 Gemma 4 31B：在 32GB MacBook Pro 上從 1.5 加速到 12.8 tok/s
#gemma-4 #31b #m1-max #ollama
2026-03-308m
[Benchmark] TurboQuant 實測：KV Cache 3-bit 壓縮，真的零損失？
#turboquant #kv-cache #quantization #vllm
2026-03-216m
[vLLM] GB10 上的 FP8 KV Cache：為什麼輸出會在 500 Token 後崩成重複迴圈
#vllm #fp8 #kv-cache #gb10

← 回到所有文章