AI Workflow · part 31
[Benchmark] 同一顆地端模型接 Pi、dsh、Hermes 跑我的派工票:小題 dsh 的輸入 token 是 Pi 的 1.97 倍,長題三套都到百萬級
❯ cat --toc
TL;DR
同一顆 DeepSeek V4.1 Flash 跑我的派工票,小題 dsh/Pi 輸入中位數比為 1.97 倍。長題三套回到同一成本數量級,滿分與準時交件則要分開看。用自己的工單、伺服器端用量與隱藏測試比,才能決定派工流程要不要換。這是我的工作量與當天版本的實測。

前言
我每天把程式工作交給自架的地端模型,外面負責讀檔、改程式、跑工具的那套 agent harness,一直用 Pi。DeepSeek 推出自己的 dsh 後,我看到有人轉述:同模型跑下來,dsh 的輸入 token 大約是 Pi 的十倍。token 是模型讀寫文字的計量單位,輸入 token 越多,同一件事要花的算力和時間就越多。那我的派工流程有沒有必要換?
換 harness 會牽動工單怎麼送、檔案怎麼隔離、結果怎麼收。我想先拿自己會派的工作量一遍。這裡比較的是我在 2026-11-22 跑的那組工作,以及那天的版本與設定,每格各跑兩次;你的專案、工具與設定可能跑出另一組結果。前一篇的新聞產線 也是同一個問題:模型沒換,外面的流程仍然會改變它要做多少工作。
先用自己的工單做對照,再決定派工流程要不要換
如果你也在考慮換 harness,先挑會反覆派出去、答案又能驗的工作。修 bug、依文件寫報告、寫資料處理腳本都合適。不要讓 agent 自己說「做完了」就算過,先把驗收寫成另一支程式。
這一節是給想自己動手比的人看的準備清單,只想看結果可以直接跳到下一節。整件事其實只有三個要求:三套用同一個模型、做得對不對由另一支程式來判、每次都從乾淨的資料夾開始。
我會照下面的順序準備。你可以請平常用的程式助理幫忙搭這套實驗,自己先定好題目、驗收與時間上限。
- 固定模型與入口。 三套都接同一個模型服務。中間放一個只轉發、只記錄的小程式(代理),記下每個請求實際送出的模型 ID、推理參數(要模型想多深的設定)與伺服器回報的 token 用量。設定檔寫的一樣還不夠,要看送出去的請求。
- 先做好判分器,再給 agent 題目。 公開測試讓它能自己修,隱藏測試留在它讀不到的目錄。資料題要換一份輸入重跑,擋掉硬編碼答案;修 bug 題要核對測試檔沒被改。
- 用參考解與空骨架驗判分器。 前者應該滿分,後者應該零分。若有原本就帶 bug 的版本,也拿來當基準。
- 每次給全新的目錄與設定。 同一份工單、同一份起始檔案,另外開工作副本和設定目錄;擋掉同批其他實驗的目錄、既有記憶與公網。先用探針確認隔離有效,再跑正式題目。
- 同批啟動,保留整次執行紀錄。 有足夠服務容量時,讓同題的三套一起跑,降低時段差異;若排隊或共享負載會互相影響,也要記下來。時間到就停,拿留下的檔案去判分,分開記程式分數、報告是否交回,以及是否準時結束。
這張表是我收結果時會保留的欄位。先看能否驗收,再看花多少 token。
| 要回答的事 | 怎麼記 |
|---|---|
| 產物對不對 | 外部判分器分數、隱藏測試結果 |
| 有沒有準時交件 | 啟動到退出耗時、逾時、報告狀態 |
| 模型做了多少工作 | 每次所有請求的輸入與輸出 token,加總,並標明有沒有算進快取 |
| 哪裡不能直接比 | 原生工具、系統提示、推理預算、啟動成本與共享負載 |
輸入 token 會把每一輪重新送出的歷史一起算進去。累計百萬 token,不代表單次 context 有百萬長;更不能直接拿它當電費或 API 帳單。要比帳單,還得另外算快取價格;這次我比的是模型用量。
小題的輸入中位數比是 1.97 倍,Pi 在這組工作耗用較少
我用同一顆 DeepSeek V4.1 Flash,三種小題各跑兩次:修 bug 過測試、讀六份 Markdown 寫指定事實的報告、寫腳本處理 CSV 並對答案。三套都完成 6/6。先看最後一欄,那是每完成一題耗掉的總 token,計算方式是整組輸入加輸出,再除以完成題數。
| Harness | 完成 | 輸入 token 中位數 | 每完成一題總 token |
|---|---|---|---|
| Pi | 6/6 | 19,352.5 | 22,755 |
| dsh | 6/6 | 38,071 | 41,506.8 |
| Hermes | 6/6 | 58,365.5 | 72,127 |
這組小題裡,dsh/Pi 的輸入中位數比為 1.97 倍。在我挑的小題上,換 harness 的確會改變輸入量,但沒有出現十倍差距。Hermes 在這組小題的用量更高,也沒有因此多通過題目。
網路那筆不能直接拿來判誰量錯。Justin3go 的文章 轉述一位開發者的初測,提到 dsh 約 47.6K、Pi 約 4.5K 的未快取輸入;我的表格則包含快取。我沒有拿到外部那份工單與完整量測紀錄,所以這次是在回答我的派工要花多少,沒有重現外部那筆實驗。
長題要同時看分數、準時結束與用量界限
如果你的工作要改一整個小專案,前面的小題還不夠。我又加了從頭寫庫存帳本 CLI,以及修改既有包裹服務兩種長題,每題各跑兩次,每次上限 45 分鐘。這一輪每批讓三套同時起跑。
先看最後一欄。滿分的程式也可能還在繼續跑工具,直到時間到才被停止。dsh 的 2/4 沒有把那次第 16.78 分鐘就停、卻沒做完的零分算進去。
| Harness | 長題平均分數 | 滿分次數 | 上限內正常收尾 |
|---|---|---|---|
| Pi | 100% | 4/4 | 2/4 |
| dsh | 75% | 3/4 | 2/4 |
| Hermes | 100% | 4/4 | 3/4 |
Pi 逾時的那兩次,其實早在時限前就寫好完成報告,之後還在自己加跑檢查,直到時間用完才被停止。
token 用量方面,三套跑一次長題都要用掉上百萬 token,小題那種「dsh 是 Pi 兩倍」的固定差距沒有延續。被強制停止的那幾次,最後一個請求來不及回報用量,所以長題的數字只能給一個範圍,寫不出單一平均。dsh 那次零分用的 token 也很少;如果只看用量,會把沒做完誤當成省。
我的判斷是先保留現有 Pi 派工流程。小題這批它用量較低,長題產物也都滿分;但長題有一半沒準時結束,我不會把它寫成全面勝出。Hermes 的長題分數與準時結束值得繼續觀察,dsh 則需要先針對那次生成上限耗盡的工作重測。這組資料還不足以讓我花力氣換掉整條流程。
進階:逐次紀錄、判分與尚未對齊的設定
不讀這節不影響照前面的流程做比較。這裡把原始數據與量測限制留下來,方便核對同一個詞在兩輪實驗裡到底怎麼算。
版本與推理設定只能盡量對齊
模型服務實際回報的 ID 是 DeepSeek-V4.1-Flash-1017,自架在兩台 DGX Spark,以 TP=2 分攤模型。部署背景見雙機 DeepSeek V4.1 Flash。實驗版本是 Pi 1.0.2、dsh 0.2.2-rc.1、Hermes v0.23.1。這些是實驗安裝紀錄,沒有宣稱是目前最新版。
小題的 Pi 用原生 medium 推理,dsh 沒有指定相同設定。長題才從代理紀錄確認三套都實送 reasoning_effort=medium。即使如此,Pi 還會送 8192 的思考 token 預算,dsh 會送 thinking enabled,不能當成內部預算已一致。
原生工具和系統提示也沒有改寫成同一套。Pi 開讀檔、shell、編輯與寫檔;dsh 用獨立設定,關掉搜尋、skills、子代理與標題模型;Hermes 選 terminal/file,但仍有工具查詢功能,也會自己啟動 gateway,也就是 CLI 背後的服務。長題的 Hermes 為了載入原生 provider,取消實驗 safe-mode;作業系統隔離和工具限制仍保留。
我比較的是這三套設定跑整張票的表現。哪一段輸入來自系統提示、哪幾輪來自工具選擇,需要另一組拆開變因的實驗;這份資料不能把差異全算到某一個核心機制上。
小題逐次數據,以及快取怎麼算
A 是修 bug,B 是文件報告,C 是 CSV 腳本。以下輸入包含快取,耗時從啟動到退出,包含啟動和該次清理、不含排隊。每列都通過判分。
| Harness | 題目/次數 | 輸入 token | 輸出 token | 秒 | 請求數 |
|---|---|---|---|---|---|
| dsh | A/1 | 25,738 | 971 | 19.2 | 6 |
| dsh | A/2 | 25,086 | 878 | 18.7 | 6 |
| dsh | B/1 | 31,194 | 2,072 | 34.9 | 7 |
| dsh | B/2 | 44,948 | 3,167 | 47.8 | 9 |
| dsh | C/1 | 57,979 | 4,706 | 69.4 | 9 |
| dsh | C/2 | 49,305 | 2,997 | 45.4 | 9 |
| hermes | A/1 | 88,669 | 1,452 | 37.9 | 12 |
| hermes | A/2 | 56,159 | 844 | 31.0 | 8 |
| hermes | B/1 | 54,320 | 1,873 | 40.2 | 8 |
| hermes | B/2 | 44,651 | 1,757 | 42.6 | 7 |
| hermes | C/1 | 115,573 | 4,252 | 68.7 | 13 |
| hermes | C/2 | 60,572 | 2,640 | 46.5 | 8 |
| pi | A/1 | 17,435 | 945 | 18.2 | 6 |
| pi | A/2 | 21,270 | 948 | 19.7 | 7 |
| pi | B/1 | 13,510 | 1,531 | 23.6 | 5 |
| pi | B/2 | 13,657 | 1,872 | 30.2 | 5 |
| pi | C/1 | 25,937 | 3,555 | 52.1 | 6 |
| pi | C/2 | 32,017 | 3,853 | 51.5 | 7 |
三套的輸出 token 中位數依序為 Pi 1,701.5、dsh 2,534.5、Hermes 1,815;耗時中位數為 Pi 26.9 秒、dsh 40.2 秒、Hermes 41.4 秒。輸入中位數和輸出中位數各自排序,兩者相加不一定等於總 token 中位數,更不等於整組平均成本。
伺服器用量與三套自報逐次交叉核對,18/18 一致,前提是 Pi、dsh 自報輸入要加回快取;Hermes 自報輸入已經包含快取。若直接抄三套 CLI 畫面上的 input,會拿算法不同的數字相比。
這一輪依序跑,沒有做到同批並行;啟動校正後也保留了已完成的 Pi 第一輪,順序沒有完整平衡。服務快取沒有清。Hermes 第一發的 gateway 是後續才清理,沒算進該次耗時,其餘多了約一秒清理,秒級差距不宜放大。
CSV 判分器曾把多出來的 by_order 欄位當錯,但票面要求是包含指定欄位,沒有禁止額外欄位。我修正後,把同一批輸出全部重判,沒有重跑模型;仍要求換輸入能得到正確答案。校正與中斷紀錄沒混入正式分母,中斷的 Pi 校正額外記到輸入 4,159、輸出 278 token,另列為準備成本。
長題的參考解先通過,空骨架必須拿零分
L1 給約 1.5–3 頁規格,從頭寫庫存帳本 CLI,要讀三種格式、合併去重、用 FIFO 計價。它有 8 個公開測試、40 個隱藏測試,正式分數取隱藏測試通過比例。
L2 是既有包裹服務,連測試共 23 份檔案、1,622 行,要修五個 bug,再加一個跨模組的批次出貨功能。它有 185 個公開測試、40 個隱藏測試,分數是五個 bug 的公開修復比例乘 0.5,加上隱藏測試通過比例乘 0.5,沒有把全部公開測試直接平均。
兩題參考解都是 100%、空骨架都是 0%;L2 帶 bug 的原版是 16.25%。這能檢查判分器有沒有把原本就通過的測試,誤算成 agent 修好的成果。
長題逐次結果:測試滿分與交件要各記一欄
下面 K 代表一千 token,範圍是用量下界到上界。四次被停止的請求缺少最後 usage,下界是已收到的用量,上界再加尚未結算請求的模型與請求限制;區間內沒有填入猜測值。時間略超過 45 分鐘包含停止與清理的收尾。
| Harness | 題目/次數 | 分數 | 分鐘 | 請求/工具 | 總 token(K) | 結束狀態 |
|---|---|---|---|---|---|---|
| dsh | L1/1 | 100% | 45.02 | 25/28 | 1266.9–1561.8 | 逾時 |
| dsh | L1/2 | 0% | 16.78 | 4/5 | 54.2 | 生成上限、缺報告 |
| dsh | L2/1 | 100% | 23.97 | 24/33 | 1060.0 | 結束 |
| dsh | L2/2 | 100% | 19.78 | 29/47 | 1248.2 | 結束 |
| hermes | L1/1 | 100% | 19.25 | 26/53 | 1045.9 | 結束 |
| hermes | L1/2 | 100% | 45.03 | 41/63 | 2687.7–3212.0 | 逾時 |
| hermes | L2/1 | 100% | 21.07 | 27/49 | 1019.5 | 結束 |
| hermes | L2/2 | 100% | 15.51 | 23/54 | 1044.6 | 結束 |
| pi | L1/1 | 100% | 45.02 | 32/32 | 1797.0–2092.0 | 逾時 |
| pi | L1/2 | 100% | 45.02 | 39/40 | 2106.8–2401.7 | 逾時 |
| pi | L2/1 | 100% | 22.36 | 23/31 | 891.0 | 結束 |
| pi | L2/2 | 100% | 14.37 | 15/21 | 450.2 | 結束 |
L1/1 的 Pi 與 dsh、L1/2 的 Pi 與 Hermes 都到時限才被停止,工作副本最後仍是滿分。Pi L1/1 在第 27.5 分鐘寫出 STATUS: done 報告,L1/2 在第 38.1 分鐘寫出,後面還在加跑稽核、隨機測試和清暫存檔。dsh 與 Hermes 那兩次到時限仍在跑測試、修改自己加的測試,沒有報告。
後段單一請求要等 70–290 秒,觀察到的 context 約 9–12 萬 token,三套同時共用模型服務。這會拉長工具迴圈,但這份紀錄沒有把共享負載與 harness 各自造成的延遲拆開量。摘要的最大 context 262.1K 是未結算請求的上界;實際看得到的最大值約 9.6–12.4 萬,不能拿上界當實測。
dsh L1/2 發了四個請求,其中一個回答碰到 32,768 輸出 token 上限,原生 log 記了 max-tokens;整次在 16.78 分鐘停止,留下零分產物,沒有報告。從這筆紀錄只能看出,它是輸出撞到上限、還沒寫完就結束,不能說成 context 撞牆。它的四次長題是三次滿分、一次零分,平均才會是 75%。
原判分還有「停下問」欄,會把非 done 或缺報告算進去,共三次;字面提問偵測是零次。我不把那三次寫成 agent 問了使用者三次問題。紀錄也沒有觀察到原生壓縮事件,但 Pi 1.0.2 預設有自動壓縮,零事件不能證明沒有這個功能。
長題成本:每拿 1.0 分花多少 token
長題把每組所有輸入加輸出,再除以累計分數,可得「每 1.0 分成本」。這能把零分那次花掉的 token 留在成本裡;它仍然不等於每準時交一張滿分工單的成本。
| Harness | 每 1.0 分總 token |
|---|---|
| Pi | 1,311.3–1,458.7K |
| dsh | 1,209.8–1,308.1K |
| Hermes | 1,449.5–1,580.5K |
用長題「總 token 中位數」相比,dsh/Pi 為 0.77–0.86 倍,Hermes/Pi 為 0.70–0.78 倍。這個統計量跟上表不同,不能混成誰每完成一題比較省。題型拆開也會換順序:L1 的 dsh/Pi 為 0.29–0.41 倍,L2 為 1.72 倍。dsh 的零分發生在 L1,讀成本時得帶著分數一起看。
這組結果還不能套到別人的工作上
每格只跑兩次,稱不上有統計顯著性。長題四批各三套同時啟動,降低了時段差異,也讓三套同時共用模型服務的容量。服務快取沒清,共享負載也會影響時間;要看懂這組並行測試的結果,還得知道當時服務有多少容量,不能當成消除了所有不公平。
外掛、既有記憶與正式 skills 沒有載入,公網與其他工作目錄也被擋掉。若你平常大量靠這些東西工作,就應該再加一輪符合日常設定的實驗。這次讓我先保留 Pi;要重測,我會先拿 L1 看能否在時間內交回滿分產物與報告。
同系列:用工單檔派工 · 地端新聞產線的 harness 調整。
常見問題
- 同一顆模型換成 dsh,輸入 token 會是 Pi 的十倍嗎?
- 我的三種小題各跑兩次,dsh/Pi 輸入 token 中位數比為 1.97 倍,輸入包含快取。網路流傳案例提到的是未快取輸入,題目也不同,兩筆不能直接當成重跑對照。
- 長題測試滿分,代表 agent 有準時完成嗎?
- 不一定。Pi 與 Hermes 的四次長題都滿分,但在 45 分鐘上限內結束的次數分別是 2/4 與 3/4。逾時後,我還是拿當時留下的檔案去跑測試算分。
接著讀
- 2026-11-09[AI Workflow] 讓家裡的 AI 每天自己做新聞短片:本地模型當導演,80.6 分鐘壓到 5–10 分鐘
兩台 DGX Spark 跑本地模型,每天自己選新聞、寫稿、查核、用我的聲音配音、做成動畫短片上 YouTube。火柴人版本地導演 89.3 分高過 Sonnet,harness 把導演時間從 80.6 分鐘壓到 5–10 分鐘;做了約 240 支後發現產量拉高不會多人看,改成一天最多 4 則。
- 2026-07-27[Dev Workflow] agent 把自己講錯的話存進了長期記憶——連 /new 都殺不掉
一個有長期記憶的 AI agent,把自己答錯的結論自動寫進記憶,之後每個新對話都翻出來當事實。/new 清不掉,因為幻覺住進了記憶層。五回合探針加三刀解毒的完整病歷。
- 2026-05-19[Claude Code] 規則我會跳過,hook 我跳不過 — 我替自己裝了一個發文閘
我有一條「發文前要查證」的規則,還是寫了三次說錯。問題不在規則,在它放在哪一層。這篇講我怎麼把它從 skill 升級成 hook — 一段守在「按下送出」那一刻的小程式,沒查證連嘗試都不准。
- 2026-05-05[Skill] 我的繁中不夠台 — zhtw-mcp 掃 72 篇文章修了 128 處陸用詞
sysprog21/zhtw-mcp 把繁中規則編譯成執行檔。掃 ai-muninn 全部 72 篇繁中文章三輪修了 128 處陸用詞,但真正的收穫不是修了多少 — 是發現我的盲點不是「不知道台灣怎麼說」,是「碰到陸用詞時預設不會主動懷疑」。
不想錯過新文章?
訂閱我確保不漏接!
隨時一鍵退訂。