~/blog/inkling-varloop-5090-2080ti

[Benchmark] Inkling 可調迴圈模型:24 層權重跑出 48 層深度,RTX 5090 實測 1/3/5 遍答對 39/46/46

❯ cat --toc

TL;DR

Thinking Machines 的 Inkling 2 Mini 實體只有 24 層,中間 12 層用同一份權重重複跑,每個 token 等於跑了 48 層,檔案約 20 GB,32 GB 的卡就放得下。研究版連遍數都能改。我在 RTX 5090 上跑 60 題難題:1 遍答對 39、3 遍 46、5 遍還是 46,跟官方多數評測一樣,到 3 遍就差不多持平。代價是速度:放到常駐 MiniCPM-V 4.7 的改裝 2080 Ti 上,3 遍吐字 38.7 tok/s,約它的三分之一。難題多對 7 題,但常駐卡不換。

RTX 5090 上的 Inkling 研究版:3 遍答對 46/60、每多一遍速度掉一截 的蠟筆資訊卡

Inkling 是什麼:Thinking Machines 做給本地跑的迴圈模型

11 月 20 日 Thinking Machines 放出 Inkling 2 Mini,Hugging Face 的介紹文說它是設計給本地 AI 環境用的。它是 MoE(mixture of experts)模型:每一層裡有 128 組「專家」,每個 token 只挑 8 組來算。整個模型有 26.4B(264 億)個參數,也就是模型裡的權重數字,官方標的 active 參數是 3.4B;因為中間那段跑 3 遍,模型卡把 Inkling 2 Mini 每個 token 的實際計算量算成約 5.4B。輸入可以是文字或圖片,輸出文字,context 最長 1M token,授權 Apache 2.0。

權重直接用訓練時的精度發佈(專家權重是 NVFP4 和 MXFP8,其他 BF16),約 20 GB,不用再量化,32 GB VRAM 的卡或 32 GB 的 Mac 就放得下。

它跟其他模型最不一樣的地方是「迴圈」。

它解決的問題:要更深的模型,不必多存一倍權重

模型是一層一層往下算的,每一層把上一層的結果再加工一次。層數越多通常越強,但每多一層就要多存一份權重,檔案和 VRAM 用量跟著變大。在自己的機器上跑模型,最先卡住的往往就是 VRAM。

Inkling 2 Mini 的做法是讓中間 12 層重複使用。它實體上只有 24 層:前 6 層跑一次,中間 12 層用同一份權重連跑 3 次,最後 6 層跑一次,所以每個 token 一共跑 48 層,跟大一號的 Inkling 2 Small 一樣多。每一趟都從前 6 層的輸出出發,再讀上一趟留下的結果,由一個小開關決定保留多少、加進多少,等於每一趟都在修上一趟算出來的東西。

省下來的是權重,不是計算。48 層每一層還是要真的算一次,每一趟也各有自己的 KV 快取(模型記住前文用的暫存),權重共用讓檔案變小,但本身不會讓推論變快。

研究版多一個旋鈕:遍數可以自己選

同一天還放了研究版 TML-d24-varloop-research。架構一樣,但中間那段要跑幾遍可以在啟動時指定,1 到 5 遍都行。1 遍是每個 token 跑 24 層,3 遍是 48 層,5 遍是 72 層。遍數越多,每個 token 動到的參數也越多:1 遍 3.4B(34 億),每多一遍多約 1.0B,3 遍 5.4B,5 遍 7.4B。檔案大小不會變。

同一份模型檔,只改一個設定,就能選要答得好一點還是跑得快一點。研究版訓練時 1 到 5 遍都練過,但練得最多的是 3 遍,post-training 也用 3 遍。官方模型卡列了 1 到 5 遍的分數,多數評測都是 1 遍到 2 遍進步最多,3 遍之後漲得少或有升有降。也有例外,像 BrowseComp 從 3 遍的 65.7% 一路漲到 5 遍的 71.0%。以 SWE-bench Verified(讓模型修真實程式 bug 的評測)為例,依序是 56.3%、76.5%、78.7%、79.3%、79.6%。官方也提醒,訓練偏重 3 遍,其他遍數的分數可能被低估;正式版和研究版後段的訓練不同,不要直接拿來比。這篇測的全是研究版。

Hugging Face 的介紹文說,1、2 遍會快很多,品質可能稍差,但他們沒有深入評測。我想知道的就是這筆帳在自己的機器上怎麼算:多跑一遍能多答對幾題?又會慢多少?

Inkling 中間 12 層每個 token 跑 N 次;各遍數每 token 要跑的層數與 decode 速度

怎麼跑:啟動時改一個數字

兩張卡用的軟體不一樣(vLLM 和 llama.cpp 都是把模型跑起來、提供服務的軟體)。5090 用 vLLM 直接跑原生精度的檔;2080 Ti 用 llama.cpp 跑 ggml-org 轉好的 IQ4_NL 檔,17.6 GB,22 GB 的卡整個放得下。遍數是啟動時的一個設定,填 1、3 或 5 就好,模型檔不用換。兩張卡的完整啟動指令放在文末「進階」那節,要自己跑可以照抄。

改完要確認真的生效。同一個問題(prompt)、同一個隨機種子(seed),1 遍和 3 遍的輸出不一樣,吐字(decode)速度從 81.6 掉到 37.9 tok/s。另外,它預設會先輸出一段思考再給答案,後面的真實工作題會碰到這點。

實測:5090 上 1、3、5 遍,答對 39、46、46

題目是 60 題難題:競賽數學 30 題、推理 30 題,temperature 0(每次都挑最可能的字,結果可以重現),每題最多輸出 32,768 個 token。5090 上三組遍數都整組跑完。先看「答對」那欄,再看它旁邊的速度跟總時間:

遍數答對(/60)平均輸出 token單路吐字逐題秒數加總
1399,87176.7 tok/s141 分
3468,38831.6 tok/s272 分
5467,70219.9 tok/s390 分

3 遍多對 7 題,輸出的 token 還少了 15%,但每個 token 慢了一倍多,總時間大約翻倍。5 遍分數跟 3 遍一樣,時間再多 43%。這跟官方多數評測一致:3 遍之後,分數就沒什麼增加了。

實戰對照:難題比 MiniCPM-V 4.7 多對 7 題,速度只有它三分之一

接著把它放進實際在用的位置比一比。我家那張改裝 2080 Ti 22G 常駐的是 MiniCPM-V 4.7 35B-A3B(#25 架起來,#30 剛升級過 llama.cpp),平常接的多半是短任務:分類、評分、改標題。這張卡要的是快,單路(一次只送一條請求)約 108 tok/s,也就是每秒產生約 108 個 token(模型一次吐出的一小段字)。

MiniCPM-V 4.7 之前在 2080 Ti 上跑同一組 60 題、同一個上限,答對 39。2080 Ti 上的單路吐字取 9 發中位數:

2080 Ti 22G 上的模型難題答對(60 題)單路吐字
Inkling 研究版 1 遍(IQ4_NL)39(5090 上量)82.6 tok/s
Inkling 研究版 3 遍(IQ4_NL)46(5090 上量)38.7 tok/s
MiniCPM-V 4.7 35B-A3B39約 108 tok/s

分數最好的是 3 遍,多對 7 題,但速度只剩 MiniCPM-V 4.7 的 36%。就算退回 1 遍也還慢 24%,分數卻一樣是 39。正式版 Inkling 2 Mini 固定 3 遍,每個 token 一樣跑 48 層,我推估速度差不多,但沒實測。

2080 Ti 那邊時間不夠,題目沒跑完:1 遍只跑完 41 題、3 遍只跑完 18 題,所以分數用 5090 的。3 遍跑完的那 18 題答對 14,跟 5090 在同樣 18 題上一樣,這 18 題看不出 IQ4_NL 讓答對率下降。

所以常駐的不換。短任務要的是馬上回,真的要拿它解難題時再另外開 Inkling 就好。

決定之前我也拿真實工作的小題庫試過,結果多半量到的是介面問題,不是能力,細節放在後面的進階。事故診斷那七題是照實際交出來的答案打分,Inkling 有三題卡在同一個介面問題、交不出能評的答案,這三題記 0 分,整組 Inkling 還是拿 10/21、MiniCPM-V 4.7 拿 9/21,每題中位數 202 秒對 102 秒。

量化:5090 用原生、2080 Ti 用 IQ4_NL,換更小的大概不會快多少

量化是把權重改用更少的位元存,檔案變小,通常也跑得比較快。5090 跑的是原生 checkpoint,沒有再量化。2080 Ti 用 IQ4_NL,17.6 GB 已經整個塞進 22 GB。

換更小的量化,檔案會變小,但我推估 2080 Ti 不會快多少。這是從實測數字推的,更小的檔我沒跑。看最右邊那欄,1 遍到 3 遍各項變成幾倍:

每個 token1 遍3 遍倍數
用到的參數3.4B5.4B1.6 倍
要跑的層數24482 倍
2080 Ti 實測吐字82.6 tok/s38.7 tok/s慢 2.13 倍

慢下來的幅度對得上層數,對不上權重的量。如果卡在讀權重,多讀 1.6 倍應該只慢 1.6 倍左右,實際卻超過 2 倍。我的解讀是時間大多花在跑每一層,不在讀權重;這要用 profiler(逐步記錄時間花在哪裡的工具)實際量才能確定,我沒做。

5090 的數字也是同一回事。它的記憶體頻寬(每秒能從 VRAM 讀多少資料)接近 2080 Ti 的三倍,1 遍卻比較慢(76.7 對 82.6 tok/s)。它還開了 --enforce-eager,這會關掉 CUDA graphs(把一連串 GPU 工作先錄好、再一次送出的功能),每一層的啟動成本變高。框架和量化都不一樣,只能當旁證。

3 遍要追上 MiniCPM-V 4.7,得快 2.8 倍。我推估只換量化達不到這麼多,這點沒有實測。

想自己試的話,Unsloth 有出 Inkling 2 Mini 的 GGUF,從 7.8 GB(UD-IQ1_S)到 22.9 GB(UD-Q8_K_XL)。UD-Q2_K_XL 9.1 GB,首選字跟 Q8 相同的比例是 91.6%;UD-IQ4_XS 15.7 GB 是 97.7%。他們 README 寫了兩件事要注意:

  • Mainline_Support 資料夾裡保留 NVFP4 縮放係數的檔案,要用含 PR #32704 的 llama.cpp(11 月 21 日已合併進上游),不然第二、三遍會丟掉專家權重的縮放係數,輸出是錯的。
  • 這套 GGUF 附的 DSpark 草稿模型(0.4 GB,給推測解碼用)目前要用 Unsloth 自己的 llama.cpp 版本,上游的 PR #32218 還沒合併。

推測解碼(speculative decoding)會減少每個 token 要跑完整模型的步數,是我最想先試的加速方法,還沒測。

進階:啟動指令、真實工作題、評測台的兩個 bug、量測附註

不打算自己跑的話,不讀這節也沒關係。這裡放兩張卡的完整啟動指令、把 Inkling 丟進真實工作時壞在哪,還有前面每個數字背後的量法。

兩張卡的啟動指令:vLLM 改 --hf-overrides,llama.cpp 改 --override-kv

要改遍數只看每段指令的最後一行,把裡面的 3 換成 1 或 5。

RTX 5090,vLLM。 研究版直接放的就是原生精度:前 20 層的專家 NVFP4、最後四層的專家 MXFP8、其他 BF16,約 19.5 GB。不用再量化,32 GB 的卡放得下。image 用 vllm/vllm-openai:inkling-2-mini,遍數寫在最後一行的 --hf-overrides。我是在 WSL2 下跑,原生 Linux 把那兩行 WSL 掛載換成 --gpus all 就好:

docker run --rm --name inkling-trial-server --network host --ipc host \
  --device /dev/dxg -v /usr/lib/wsl:/usr/lib/wsl:ro \
  -e LD_LIBRARY_PATH=/usr/lib/wsl/lib:/usr/local/cuda/lib64 \
  -v /root/inkling-varloop-2026-11-22:/root/inkling-varloop-2026-11-22 \
  vllm/vllm-openai:inkling-2-mini /root/inkling-varloop-2026-11-22/weights \
  --served-model-name inkling-varloop --port 9498 \
  --max-model-len 36864 --max-num-seqs 32 --gpu-memory-utilization 0.93 \
  --reasoning-parser inkling --no-enable-prefix-caching --enforce-eager \
  --language-model-only \
  --hf-overrides '{"text_config":{"loop_num_passes":3}}'

RTX 2080 Ti 22G,llama.cpp。 用的是 ggml-org 的 GGUF 裡的 TML-d24-varloop-research-IQ4_NL.gguf,17.6 GB:前 20 層的專家是 IQ4_NL(一種 4-bit 量化格式),最後四層的專家和其他部分是 Q8_0,迴圈控制 F32。llama.cpp 用 master 的 afe77e18 自己編,架構指定 sm_75(2080 Ti 的代號)。遍數寫在 --override-kv:

llama-server -m TML-d24-varloop-research-IQ4_NL.gguf \
  --host 127.0.0.1 --port 18122 -ngl 99 -fa on -t 24 --jinja \
  -np 4 -c 147456 -ctk q8_0 -ctv q8_0 -b 1024 -ub 256 --fit off \
  --override-kv inkling2_loop.loop.count=int:3

-np 4 -c 147456 是開 4 路、每路 36,864 token,KV 用 q8_0。這樣 VRAM 用掉 21,296 MiB,全部塞得下,不用 offload(把一部分層搬到 CPU 那邊跑)。

除了前面那組同 seed 對照,5090 上我另外數了迴圈層被呼叫幾次,每個 token 分別是 1 次和 3 次,確認設定真的生效。

預設思考吃光短上限:20 題裡 16–17 題頂到上限

真實工作題庫裡有 20 題短任務,都從產線拿出來:分類、新聞評分、中翻英短標籤、資料抽取、改寫標題。每類用產線本來的輸出上限:分類 250、評分 850、改寫 900、翻譯 1,800、抽取 4,500 token。

對照答案來自現在做這份工作的模型,思考是關的。Inkling 開預設思考,同樣的提示、同樣的上限。思考和答案共用同一份 token 預算,結果 1 遍有 17/20、3 遍有 16/20 頂到上限。有一題分類,250 token 裡 248 個是推理,答案是空白。

短任務 20 題機判通過盲評可直接用
Inkling 1 遍31
Inkling 3 遍41
產線模型(思考關閉)124

所以那個 1/20 量到的是設定,不是模型。公平的重考要關掉思考,或另外把上限加大當成一個變因。我沒跑,速度差這麼多,常駐那張卡本來就不會換。

工具呼叫回成文字:記「不可測」,不算 0 分

其他幾類要用工具:兩題程式修補、七題事故重播、兩題規則檔精簡,走一個有 read 和 bash 工具的 coding agent。工具冒煙測試有過,read 和 bash 各呼叫一次,12.6 秒。

長題就出事了。跑了 3 到 30 次工具之後,最後的回覆變成一段沒執行的工具呼叫字串。vLLM 沒報錯,agent 看到的是正常的 stop。一題規則檔在 9 次工具之後只回了這個:

bash"}}

另一題在 11 次之後回了這個(本機路徑我縮成 <bank>):

bash"name":"bash","args":{"command":"find <bank>/runs/inkling-p3/C2 -name \"*size*inventory*\" ..."}}

服務旗標是 --enable-auto-tool-choice --tool-call-parser inkling --reasoning-parser inkling,取樣用模型預設的 temperature 1.0。我分不出是解析器漏認了正確格式,還是模型吐出壞掉的格式,所以這些題的能力記「不可測」,不算 0 分。唯一的例外是下面的事故重播:那組照實際交出來的答案打分,卡住的那幾題在那裡記 0 分。

七題事故重播有四題完整跑完。和 MiniCPM-V 4.7 匿名盲評,根因給 0–2 分、安全的處理方式給 0–1 分,整組 10/21 對 9/21。Inkling 有兩題拿滿分,MiniCPM-V 4.7 一題都沒有。

評測台的兩個 bug:都在我這邊,不在 Inkling

  1. 工具逾時只殺父 shell。 agent 的 bash 工具逾時時只殺掉父 shell,find | grep | head 繼續跑,把 stdout 卡住。現在改成殺整個 process group,拿 1 秒的探針測,1,007–1,011 ms 結束,沒有殘留。
  2. 沙箱讀得到答案。 一題規則檔第一次跑時,find 摸到那一題的歷史答案檔,讀了兩行。那次作廢,擋掉候選模型自己 workspace 以外的所有路徑,開新 session 重跑,只算重跑那次。

量測附註

  • 5090 開了 --enforce-eager:沒有 CUDA graphs,也沒有 torch.compile。這是這組設定的數字,不是框架的上限。
  • 吐字速度 = (completion tokens − 1) ÷ 第一個到最後一個內容 chunk 的時間,含推理 token。單路 9 發取中位數(中文、英文、程式各 3 發)。
  • 時間用逐題秒數加總(141 / 272 / 390 分)。1 遍那組整組實際跑的總時間,在續跑時少算了 488.7 秒,而且三組的路數不一樣(1 遍開 4 路,3 遍和 5 遍開 2 路),所以整組總時間不能比。
  • 三組都答對的 35 題:平均輸出 3,288 / 2,472 / 3,028 token,平均時間 48 / 81 / 153 秒(1 / 3 / 5 遍)。
  • 2080 Ti 的軟體:llama.cpp master afe77e18,sm_75,Release。這個版本已經包含 PR #32704(GitHub 比對:比合併點新 13 個 commit、沒有落後)。這份 GGUF 也沒有 NVFP4 張量,同樣那 18 題兩張卡都對 14 題,表示輸出正常。
  • 2080 Ti 3 遍開四路,每路吐字 12.9 / 15.2 / 21.7 / 19.9 tok/s。有一次四路測速,其中 3 路產生了 512 token 卻沒有可見內容,原因沒查。

常見問題

Inkling 的迴圈是什麼?解決什麼問題?
Inkling 2 Mini 實體上只有 24 層,前 6 層和後 6 層各跑一次,中間 12 層用同一份權重連跑 3 次,每個 token 一共跑 48 層。要更深的模型不必多存一倍權重,檔案約 20 GB,32 GB 的卡就放得下;省的是權重,不是計算,權重共用本身不會讓它變快。研究版 TML-d24-varloop-research 還能在啟動時改成 1 到 5 遍。
TML-d24-varloop-research 的迴圈遍數要怎麼改?
vLLM 啟動時用 --hf-overrides 把 text_config 裡的 loop_num_passes 設成 3;llama.cpp 用 --override-kv inkling2_loop.loop.count=int:3。研究版訓練時跑過 1 到 5 遍,post-training 用 3 遍;正式版 Inkling 2 Mini 固定 3 遍。
Inkling 跑 3 遍值不值得?
我在 RTX 5090 上跑 60 題競賽數學與推理,1 遍答對 39、3 遍 46、5 遍還是 46,單路吐字從 76.7 掉到 31.6 再掉到 19.9 tok/s。3 遍多對 7 題,總時間大約翻倍;5 遍分數沒變,只多花 43% 的時間。拿來跟常駐在 2080 Ti 上的 MiniCPM-V 4.7 比,3 遍難題多對 7 題,速度只有它三分之一,所以那張要快的卡沒換,要難題能力時再開 Inkling。
換更小的量化,2080 Ti 跑 Inkling 會變快嗎?
我推估不會快多少,更小的檔我沒跑。從 1 遍到 3 遍,每個 token 用到的參數是 1.6 倍、要跑的層數是 2 倍,2080 Ti 吐字實測慢了 2.13 倍,比較接近層數的倍數。更小的量化縮的是權重,不是層數;3 遍要追上 MiniCPM-V 4.7 得快 2.8 倍,我推估只換量化達不到,沒有實測。

接著讀

不想錯過新文章?

訂閱我確保不漏接!

隨時一鍵退訂。