~/blog/pi-dsh-hermes-local-model-ticket-benchmark

AI Workflow · part 31

[Benchmark] 同一顆地端模型接 Pi、dsh、Hermes 跑我的派工票:小題 dsh 的輸入 token 是 Pi 的 1.97 倍,長題三套都到百萬級

❯ cat --toc

TL;DR

同一顆 DeepSeek V4.1 Flash 跑我的派工票,小題 dsh/Pi 輸入中位數比為 1.97 倍。長題三套回到同一成本數量級,滿分與準時交件則要分開看。用自己的工單、伺服器端用量與隱藏測試比,才能決定派工流程要不要換。這是我的工作量與當天版本的實測。

Pi、dsh、Hermes 同模型派工比較:同入口、伺服器端用量、隱藏測試與全新目錄

前言

我每天把程式工作交給自架的地端模型,外面負責讀檔、改程式、跑工具的那套 agent harness,一直用 Pi。DeepSeek 推出自己的 dsh 後,我看到有人轉述:同模型跑下來,dsh 的輸入 token 大約是 Pi 的十倍。token 是模型讀寫文字的計量單位,輸入 token 越多,同一件事要花的算力和時間就越多。那我的派工流程有沒有必要換?

換 harness 會牽動工單怎麼送、檔案怎麼隔離、結果怎麼收。我想先拿自己會派的工作量一遍。這裡比較的是我在 2026-11-22 跑的那組工作,以及那天的版本與設定,每格各跑兩次;你的專案、工具與設定可能跑出另一組結果。前一篇的新聞產線 也是同一個問題:模型沒換,外面的流程仍然會改變它要做多少工作。

先用自己的工單做對照,再決定派工流程要不要換

如果你也在考慮換 harness,先挑會反覆派出去、答案又能驗的工作。修 bug、依文件寫報告、寫資料處理腳本都合適。不要讓 agent 自己說「做完了」就算過,先把驗收寫成另一支程式。

這一節是給想自己動手比的人看的準備清單,只想看結果可以直接跳到下一節。整件事其實只有三個要求:三套用同一個模型、做得對不對由另一支程式來判、每次都從乾淨的資料夾開始。

我會照下面的順序準備。你可以請平常用的程式助理幫忙搭這套實驗,自己先定好題目、驗收與時間上限。

  1. 固定模型與入口。 三套都接同一個模型服務。中間放一個只轉發、只記錄的小程式(代理),記下每個請求實際送出的模型 ID、推理參數(要模型想多深的設定)與伺服器回報的 token 用量。設定檔寫的一樣還不夠,要看送出去的請求。
  2. 先做好判分器,再給 agent 題目。 公開測試讓它能自己修,隱藏測試留在它讀不到的目錄。資料題要換一份輸入重跑,擋掉硬編碼答案;修 bug 題要核對測試檔沒被改。
  3. 用參考解與空骨架驗判分器。 前者應該滿分,後者應該零分。若有原本就帶 bug 的版本,也拿來當基準。
  4. 每次給全新的目錄與設定。 同一份工單、同一份起始檔案,另外開工作副本和設定目錄;擋掉同批其他實驗的目錄、既有記憶與公網。先用探針確認隔離有效,再跑正式題目。
  5. 同批啟動,保留整次執行紀錄。 有足夠服務容量時,讓同題的三套一起跑,降低時段差異;若排隊或共享負載會互相影響,也要記下來。時間到就停,拿留下的檔案去判分,分開記程式分數、報告是否交回,以及是否準時結束。

這張表是我收結果時會保留的欄位。先看能否驗收,再看花多少 token。

要回答的事怎麼記
產物對不對外部判分器分數、隱藏測試結果
有沒有準時交件啟動到退出耗時、逾時、報告狀態
模型做了多少工作每次所有請求的輸入與輸出 token,加總,並標明有沒有算進快取
哪裡不能直接比原生工具、系統提示、推理預算、啟動成本與共享負載

輸入 token 會把每一輪重新送出的歷史一起算進去。累計百萬 token,不代表單次 context 有百萬長;更不能直接拿它當電費或 API 帳單。要比帳單,還得另外算快取價格;這次我比的是模型用量。

小題的輸入中位數比是 1.97 倍,Pi 在這組工作耗用較少

我用同一顆 DeepSeek V4.1 Flash,三種小題各跑兩次:修 bug 過測試、讀六份 Markdown 寫指定事實的報告、寫腳本處理 CSV 並對答案。三套都完成 6/6。先看最後一欄,那是每完成一題耗掉的總 token,計算方式是整組輸入加輸出,再除以完成題數。

Harness完成輸入 token 中位數每完成一題總 token
Pi6/619,352.522,755
dsh6/638,07141,506.8
Hermes6/658,365.572,127

這組小題裡,dsh/Pi 的輸入中位數比為 1.97 倍。在我挑的小題上,換 harness 的確會改變輸入量,但沒有出現十倍差距。Hermes 在這組小題的用量更高,也沒有因此多通過題目。

網路那筆不能直接拿來判誰量錯。Justin3go 的文章 轉述一位開發者的初測,提到 dsh 約 47.6K、Pi 約 4.5K 的未快取輸入;我的表格則包含快取。我沒有拿到外部那份工單與完整量測紀錄,所以這次是在回答我的派工要花多少,沒有重現外部那筆實驗。

長題要同時看分數、準時結束與用量界限

如果你的工作要改一整個小專案,前面的小題還不夠。我又加了從頭寫庫存帳本 CLI,以及修改既有包裹服務兩種長題,每題各跑兩次,每次上限 45 分鐘。這一輪每批讓三套同時起跑。

先看最後一欄。滿分的程式也可能還在繼續跑工具,直到時間到才被停止。dsh 的 2/4 沒有把那次第 16.78 分鐘就停、卻沒做完的零分算進去。

Harness長題平均分數滿分次數上限內正常收尾
Pi100%4/42/4
dsh75%3/42/4
Hermes100%4/43/4

Pi 逾時的那兩次,其實早在時限前就寫好完成報告,之後還在自己加跑檢查,直到時間用完才被停止。

token 用量方面,三套跑一次長題都要用掉上百萬 token,小題那種「dsh 是 Pi 兩倍」的固定差距沒有延續。被強制停止的那幾次,最後一個請求來不及回報用量,所以長題的數字只能給一個範圍,寫不出單一平均。dsh 那次零分用的 token 也很少;如果只看用量,會把沒做完誤當成省。

我的判斷是先保留現有 Pi 派工流程。小題這批它用量較低,長題產物也都滿分;但長題有一半沒準時結束,我不會把它寫成全面勝出。Hermes 的長題分數與準時結束值得繼續觀察,dsh 則需要先針對那次生成上限耗盡的工作重測。這組資料還不足以讓我花力氣換掉整條流程。

進階:逐次紀錄、判分與尚未對齊的設定

不讀這節不影響照前面的流程做比較。這裡把原始數據與量測限制留下來,方便核對同一個詞在兩輪實驗裡到底怎麼算。

版本與推理設定只能盡量對齊

模型服務實際回報的 ID 是 DeepSeek-V4.1-Flash-1017,自架在兩台 DGX Spark,以 TP=2 分攤模型。部署背景見雙機 DeepSeek V4.1 Flash。實驗版本是 Pi 1.0.2、dsh 0.2.2-rc.1、Hermes v0.23.1。這些是實驗安裝紀錄,沒有宣稱是目前最新版。

小題的 Pi 用原生 medium 推理,dsh 沒有指定相同設定。長題才從代理紀錄確認三套都實送 reasoning_effort=medium。即使如此,Pi 還會送 8192 的思考 token 預算,dsh 會送 thinking enabled,不能當成內部預算已一致。

原生工具和系統提示也沒有改寫成同一套。Pi 開讀檔、shell、編輯與寫檔;dsh 用獨立設定,關掉搜尋、skills、子代理與標題模型;Hermes 選 terminal/file,但仍有工具查詢功能,也會自己啟動 gateway,也就是 CLI 背後的服務。長題的 Hermes 為了載入原生 provider,取消實驗 safe-mode;作業系統隔離和工具限制仍保留。

我比較的是這三套設定跑整張票的表現。哪一段輸入來自系統提示、哪幾輪來自工具選擇,需要另一組拆開變因的實驗;這份資料不能把差異全算到某一個核心機制上。

小題逐次數據,以及快取怎麼算

A 是修 bug,B 是文件報告,C 是 CSV 腳本。以下輸入包含快取,耗時從啟動到退出,包含啟動和該次清理、不含排隊。每列都通過判分。

Harness題目/次數輸入 token輸出 token秒請求數
dshA/125,73897119.26
dshA/225,08687818.76
dshB/131,1942,07234.97
dshB/244,9483,16747.89
dshC/157,9794,70669.49
dshC/249,3052,99745.49
hermesA/188,6691,45237.912
hermesA/256,15984431.08
hermesB/154,3201,87340.28
hermesB/244,6511,75742.67
hermesC/1115,5734,25268.713
hermesC/260,5722,64046.58
piA/117,43594518.26
piA/221,27094819.77
piB/113,5101,53123.65
piB/213,6571,87230.25
piC/125,9373,55552.16
piC/232,0173,85351.57

三套的輸出 token 中位數依序為 Pi 1,701.5、dsh 2,534.5、Hermes 1,815;耗時中位數為 Pi 26.9 秒、dsh 40.2 秒、Hermes 41.4 秒。輸入中位數和輸出中位數各自排序,兩者相加不一定等於總 token 中位數,更不等於整組平均成本。

伺服器用量與三套自報逐次交叉核對,18/18 一致,前提是 Pi、dsh 自報輸入要加回快取;Hermes 自報輸入已經包含快取。若直接抄三套 CLI 畫面上的 input,會拿算法不同的數字相比。

這一輪依序跑,沒有做到同批並行;啟動校正後也保留了已完成的 Pi 第一輪,順序沒有完整平衡。服務快取沒有清。Hermes 第一發的 gateway 是後續才清理,沒算進該次耗時,其餘多了約一秒清理,秒級差距不宜放大。

CSV 判分器曾把多出來的 by_order 欄位當錯,但票面要求是包含指定欄位,沒有禁止額外欄位。我修正後,把同一批輸出全部重判,沒有重跑模型;仍要求換輸入能得到正確答案。校正與中斷紀錄沒混入正式分母,中斷的 Pi 校正額外記到輸入 4,159、輸出 278 token,另列為準備成本。

長題的參考解先通過,空骨架必須拿零分

L1 給約 1.5–3 頁規格,從頭寫庫存帳本 CLI,要讀三種格式、合併去重、用 FIFO 計價。它有 8 個公開測試、40 個隱藏測試,正式分數取隱藏測試通過比例。

L2 是既有包裹服務,連測試共 23 份檔案、1,622 行,要修五個 bug,再加一個跨模組的批次出貨功能。它有 185 個公開測試、40 個隱藏測試,分數是五個 bug 的公開修復比例乘 0.5,加上隱藏測試通過比例乘 0.5,沒有把全部公開測試直接平均。

兩題參考解都是 100%、空骨架都是 0%;L2 帶 bug 的原版是 16.25%。這能檢查判分器有沒有把原本就通過的測試,誤算成 agent 修好的成果。

長題逐次結果:測試滿分與交件要各記一欄

下面 K 代表一千 token,範圍是用量下界到上界。四次被停止的請求缺少最後 usage,下界是已收到的用量,上界再加尚未結算請求的模型與請求限制;區間內沒有填入猜測值。時間略超過 45 分鐘包含停止與清理的收尾。

Harness題目/次數分數分鐘請求/工具總 token(K)結束狀態
dshL1/1100%45.0225/281266.9–1561.8逾時
dshL1/20%16.784/554.2生成上限、缺報告
dshL2/1100%23.9724/331060.0結束
dshL2/2100%19.7829/471248.2結束
hermesL1/1100%19.2526/531045.9結束
hermesL1/2100%45.0341/632687.7–3212.0逾時
hermesL2/1100%21.0727/491019.5結束
hermesL2/2100%15.5123/541044.6結束
piL1/1100%45.0232/321797.0–2092.0逾時
piL1/2100%45.0239/402106.8–2401.7逾時
piL2/1100%22.3623/31891.0結束
piL2/2100%14.3715/21450.2結束

L1/1 的 Pi 與 dsh、L1/2 的 Pi 與 Hermes 都到時限才被停止,工作副本最後仍是滿分。Pi L1/1 在第 27.5 分鐘寫出 STATUS: done 報告,L1/2 在第 38.1 分鐘寫出,後面還在加跑稽核、隨機測試和清暫存檔。dsh 與 Hermes 那兩次到時限仍在跑測試、修改自己加的測試,沒有報告。

後段單一請求要等 70–290 秒,觀察到的 context 約 9–12 萬 token,三套同時共用模型服務。這會拉長工具迴圈,但這份紀錄沒有把共享負載與 harness 各自造成的延遲拆開量。摘要的最大 context 262.1K 是未結算請求的上界;實際看得到的最大值約 9.6–12.4 萬,不能拿上界當實測。

dsh L1/2 發了四個請求,其中一個回答碰到 32,768 輸出 token 上限,原生 log 記了 max-tokens;整次在 16.78 分鐘停止,留下零分產物,沒有報告。從這筆紀錄只能看出,它是輸出撞到上限、還沒寫完就結束,不能說成 context 撞牆。它的四次長題是三次滿分、一次零分,平均才會是 75%。

原判分還有「停下問」欄,會把非 done 或缺報告算進去,共三次;字面提問偵測是零次。我不把那三次寫成 agent 問了使用者三次問題。紀錄也沒有觀察到原生壓縮事件,但 Pi 1.0.2 預設有自動壓縮,零事件不能證明沒有這個功能。

長題成本:每拿 1.0 分花多少 token

長題把每組所有輸入加輸出,再除以累計分數,可得「每 1.0 分成本」。這能把零分那次花掉的 token 留在成本裡;它仍然不等於每準時交一張滿分工單的成本。

Harness每 1.0 分總 token
Pi1,311.3–1,458.7K
dsh1,209.8–1,308.1K
Hermes1,449.5–1,580.5K

用長題「總 token 中位數」相比,dsh/Pi 為 0.77–0.86 倍,Hermes/Pi 為 0.70–0.78 倍。這個統計量跟上表不同,不能混成誰每完成一題比較省。題型拆開也會換順序:L1 的 dsh/Pi 為 0.29–0.41 倍,L2 為 1.72 倍。dsh 的零分發生在 L1,讀成本時得帶著分數一起看。

這組結果還不能套到別人的工作上

每格只跑兩次,稱不上有統計顯著性。長題四批各三套同時啟動,降低了時段差異,也讓三套同時共用模型服務的容量。服務快取沒清,共享負載也會影響時間;要看懂這組並行測試的結果,還得知道當時服務有多少容量,不能當成消除了所有不公平。

外掛、既有記憶與正式 skills 沒有載入,公網與其他工作目錄也被擋掉。若你平常大量靠這些東西工作,就應該再加一輪符合日常設定的實驗。這次讓我先保留 Pi;要重測,我會先拿 L1 看能否在時間內交回滿分產物與報告。

同系列:用工單檔派工 · 地端新聞產線的 harness 調整。

常見問題

同一顆模型換成 dsh,輸入 token 會是 Pi 的十倍嗎?
我的三種小題各跑兩次,dsh/Pi 輸入 token 中位數比為 1.97 倍,輸入包含快取。網路流傳案例提到的是未快取輸入,題目也不同,兩筆不能直接當成重跑對照。
長題測試滿分,代表 agent 有準時完成嗎?
不一定。Pi 與 Hermes 的四次長題都滿分,但在 45 分鐘上限內結束的次數分別是 2/4 與 3/4。逾時後,我還是拿當時留下的檔案去跑測試算分。

接著讀

不想錯過新文章?

訂閱我確保不漏接!

隨時一鍵退訂。