LLM 101 · part 6
[LLM 101] 為什麼要在自己電腦跑 AI？不是更便宜的 ChatGPT，是完全不同的工具
❯ cat --toc
TL;DR
本地 AI 不是更便宜的 ChatGPT，是完全不同的工具。雲端 AI 最聰明，本地 AI 最自由 — 不花錢、不外洩、不限量。一台 Mac Mini M4 跑 AI 的月電費大約 NT$41，但能跑的模型沒有 ChatGPT 聰明。重點不是取代，是各做各的事：機密文件、程式碼、大量重複處理丟本地；需要聰明回答的丟雲端。這篇有一張決策表幫你判斷。
白話版：你不用花月費也能用 AI
你不需要每個月花 NT$640 訂 ChatGPT，也不需要花 NT$6,400 訂最貴的方案。你家電腦 — 只要記憶體夠 — 裝一個免費軟體就能跑 AI。
但先講清楚：它沒有 ChatGPT 聰明。
你家電腦能跑的模型大概有 70 億到 350 億個「腦細胞」（技術上叫參數）。ChatGPT 背後的模型有幾千億個。聰明度差距是真的。
那為什麼還要在自己電腦跑？因為它做的事跟 ChatGPT 不一樣。ChatGPT 是你的聊天對象 — 你問它問題，它給你答案。本地 AI 更像是你的私人文件處理器：幫你把一堆圖片分類、把 PDF 整理成摘要、在公司程式碼上做搜尋和修改，而且完全不花錢、完全不外洩。
這篇講的是「什麼時候該用哪一種」。
前言
雲端 AI 像去餐廳吃飯。好吃、方便、有專業廚師幫你做。但你得付錢（月費 NT$640 起），菜單別人決定（能做什麼、不能做什麼都是平台說了算），而且你的食材（對話內容）預設會進訓練集。
本地 AI 像自己在家煮。食材你自己控制，吃多少不用加錢，沒有人會看你的菜。但你得自己下廚 — 至少要知道怎麼開爐子。
上一篇我們講了 AI 一次能讀多少字。這篇來聊一個更根本的問題：你有沒有必要自己煮？
本地 AI 不是便宜版 ChatGPT — 它根本做不同的事
很多人第一次聽到「自己電腦跑 AI」，想的是：「這樣就不用付 ChatGPT 月費了！」
可以，但你會失望。因為你的電腦跑出來的 AI，回答品質通常不如 ChatGPT。不是軟體的問題 — 是你的電腦塞不下那麼大的模型。
ChatGPT 背後的 GPT-5 有幾千億個腦細胞，跑在 OpenAI 專門的伺服器叢集上。你的 MacBook 或 Mac Mini 能跑的模型大概只有 70 到 350 億個腦細胞（取決於你的記憶體有多大 — 想知道怎麼算？看 Part 3 的 B×0.6 公式）。
一台 16GB 記憶體的電腦跑 140 億腦細胞的模型 — 日常問答 OK，但你不會想拿它做複雜的分析或長篇寫作。
那為什麼還要跑？ 因為本地 AI 能做四件雲端 AI 做不到（或做了很貴）的事。
四個只有本地 AI 才合理的場景
知識萃取：不花錢把圖片和文件變成結構化資料
你有 200 張客戶提供的參考圖片，想把每張的風格、色調、構圖分類整理好。用 ChatGPT？一張一張傳、等回覆、手動複製結果。200 張要花你一整天。
用本地 AI？寫一個簡單的批次指令（或請會寫程式的同事幫你），讓 AI 自動跑完 200 張，輸出一份表格。花的時間：按下 Enter 後去泡杯咖啡。花的錢：零。
同樣的邏輯適用於：
- 100 頁合約 PDF → 自動萃取關鍵條款
- 一年份的會議記錄 → 整理成主題索引
- 大量產品照片 → 自動生成描述文字
重點不是本地 AI 做得比 ChatGPT 好 — 在萃取這種「不需要太聰明、但需要跑很多次」的任務上，它做得夠好。而且完全免費、完全沒有使用量限制。
公司內部程式碼：不能外洩的場景
如果你是工程師，公司的程式碼就是核心資產。把整個程式碼庫丟上 ChatGPT 問它「幫我找 bug」— 技術上可以，但你的程式碼會進入訓練集（除非公司買了 Enterprise 方案）。
本地 AI 是唯一的選項：裝 Ollama 在開發機上，搭配 VS Code 的 AI 外掛（例如 Continue），就有一個完全私有的程式碼助手。它不會把你的程式碼傳到任何伺服器。
140 億腦細胞的模型寫重複性的程式碼、補測試、解釋老舊的程式碼 — 夠用。需要做架構決策？那個交給雲端（但不要貼完整程式碼庫）。
離線也能用
飛機上、工廠內網、醫院的封閉網路、軍事單位 — 這些地方沒有網路，或者規定不能連外。雲端 AI 直接出局，本地 AI 是唯一的選擇。
同一件事跑一千次也免費
ChatGPT 有使用量限制。免費版一天能問的次數有限，Plus 也有上限，超過就要等。如果你的工作是「同樣的模板跑一千份文件」— 例如一千封客服 email 的情緒分析 — 雲端方案不是不行，而是你會一直撞到天花板。
本地 AI 沒有天花板。跑多久都可以，只要你的電腦開著。
誠實的能力對比 — 本地 AI 什麼做不好
不美化。同樣是 2026 年 4 月的 AI，差距長這樣：
| 能力 | 雲端（ChatGPT / Claude） | 本地（16GB 電腦） | 本地（32GB 電腦） |
|---|---|---|---|
| 日常問答 | 很強 | 堪用 | OK |
| 複雜推理 | 很強 | 明顯差 | 還行 |
| 長篇寫作 | 很強 | 勉強 | 還行 |
| 即時搜尋最新資訊 | 有（預設開） | 沒有 | 沒有 |
| 圖片理解 | 很強 | 堪用 | OK |
| 批次大量處理 | 有限制 / 要付錢 | 無限 / 免費 | 無限 / 免費 |
| 隱私保護 | 預設會訓練 | 完全不外洩 | 完全不外洩 |
| 離線使用 | 不行 | 可以 | 可以 |
| 程式碼輔助（私有） | 要 Enterprise 方案 | 免費 | 免費 |
簡單記：需要聰明的 → 雲端。需要隱私、免費、無限量的 → 本地。 不是二選一 — 最聰明的做法是混合用。
月電費 NT$41 vs 月費 NT$640 — 但便宜不等於好用
先算成本。
雲端方案月費（2026 年 4 月）：
- ChatGPT Plus：美金 $20 / 月 ≈ NT$640
- Claude Pro：美金 $20 / 月 ≈ NT$640
- ChatGPT Pro：美金 $200 / 月 ≈ NT$6,400
本地電費：
- 一台 Mac Mini M4 跑 AI 的平均功耗大約 15 瓦（不跑的時候只有 3-5 瓦）
- 一個月用電：15 瓦 × 24 小時 × 30 天 = 10.8 度
- 台灣住宅電價 一度約 NT$3.78
- 月電費：NT$41
所以本地跑 AI 的成本是 ChatGPT Plus 的 十五分之一。
但這個數字會騙人。因為你用 NT$41 跑出來的 AI，品質不如你用 NT$640 訂的。省了錢，但東西不一樣。
正確的比法是：
- NT$41 的本地 AI → 你拿它做「不需要最聰明、但需要隱私和大量處理」的事
- NT$640 的 ChatGPT Plus → 你拿它做「需要最聰明回答」的事
- 混合用 → 大部分人最務實的選擇
什麼時候用雲端、什麼時候用本地
| 你要做的事 | 用哪個 | 為什麼 |
|---|---|---|
| 問一個需要深度思考的問題 | 雲端 | 模型聰明度差太多 |
| 查最新的新聞 / 價格 / 資訊 | 雲端 | 本地沒有即時搜尋 |
| 寫一篇長文 / 改一份簡報 | 雲端 | 品質差距明顯 |
| 整理 200 張圖片的分類 | 本地 | 免費 + 無限量 |
| 讀公司合約、萃取條款 | 本地 | 隱私 — 內容不外洩 |
| 在公司程式碼庫裡找 bug | 本地 | 程式碼不能傳到別人伺服器 |
| 飛機上 / 沒網路的時候 | 本地 | 唯一選擇 |
| 一千封 email 的情緒分析 | 本地 | 沒有使用量限制 |
| 腦力激盪 / 聊天 / 翻譯 | 都可以 | 16GB 本地也堪用 |
一句話總結：機密的、大量的、離線的 → 本地。需要聰明的、需要最新的 → 雲端。
五分鐘開始：安裝 Ollama，跑你的第一個本地模型
不需要寫程式。不需要技術背景。
第一步：安裝 Ollama
到 ollama.com 下載，按安裝，完成。Mac、Windows、Linux 都支援。
第二步：跑你的第一個模型
打開終端機（Mac 的「終端機」App、Windows 的 PowerShell），輸入：
ollama run gemma3:4b
等它下載完（大約 3GB），你就可以開始跟 AI 對話了。這個模型有 40 億個腦細胞，任何現代電腦都跑得動。
第三步：試試看更大的模型
如果你的電腦有 16GB 記憶體，試試：
ollama run qwen3.5:14b
140 億腦細胞。回答品質明顯比 40 億好，但速度會慢一些。
如果你有 32GB 記憶體，可以直接跑：
ollama run gemma4:e2b
這是 Google 的 Gemma 4 系列裡最快的版本 — 我在自己的 MacBook Pro 上跑到每秒 81 個字，日常使用完全流暢。
想深入了解 Ollama 跟另一種工具 vLLM 的差別？看 Part 1：微波爐 vs 專業烤箱。想知道怎麼根據你的記憶體挑模型？看 Part 3：怎麼選模型。
今天就試一件事
如果你的電腦有 16GB 以上的記憶體：
- 花兩分鐘裝 Ollama
- 打開終端機，輸入
ollama run gemma3:4b - 問它一個問題 — 任何問題
你會發現：原來 AI 可以跑在你自己的電腦上，不用帳號、不用付錢、不用網路。
然後問自己：你工作上有沒有那種「不需要太聰明、但需要跑很多次、或者不能外洩」的任務？那就是本地 AI 真正的主場。
這篇的一句話
本地 AI 不是更便宜的 ChatGPT — 它是完全不同的工具。雲端做聰明的事，本地做私密的、大量的、免費的事。
下一篇：怎麼用本地 AI 當知識萃取器 — 把散落的圖片、PDF、筆記變成結構化的知識，一毛錢都不用花。
這是「LLM 101」系列的第六篇。上一篇：Context Window — AI 一次能讀多少字？。系列中的相關文章：怎麼選模型、什麼是量化。
常見問題
- 本地 AI 跟 ChatGPT 有什麼不一樣？
- ChatGPT 是雲端服務 — 你問問題，它的伺服器幫你算答案，月費 NT$640 起。本地 AI 是跑在你自己電腦上的軟體 — 免費、不連網、資料不外洩，但通常沒有 ChatGPT 聰明。兩者不是替代關係，更像餐廳 vs 自己煮 — 各有適合的場合。
- 在自己電腦跑 AI 要花多少錢？
- 軟體免費（Ollama 是開源的），只花電費。一台 Mac Mini M4 全天開著跑 AI，月電費大約 NT$41 — 比一杯超商咖啡便宜。但你要有一台至少 16GB 記憶體的電腦，這是硬體門檻。
- Mac Mini 或 MacBook 跑 AI 夠力嗎？
- 看記憶體。16GB 能跑 70 億到 140 億腦細胞的壓縮模型 — 日常問答、翻譯、整理文件堪用，複雜推理明顯不如 ChatGPT。32GB 能跑到 350 億腦細胞，大部分事情 OK。64GB 以上才接近雲端水準。
- 本地 AI 跟 ChatGPT 誰比較聰明？
- 雲端贏。ChatGPT 和 Claude 用的模型有幾千億腦細胞，還搭配專屬優化和即時搜尋。你的電腦能跑的模型通常只有 70-350 億，差距明顯。本地 AI 的優勢不是比聰明，而是不花錢、不外洩、不限量。
- 公司能不能用本地 AI 取代 ChatGPT？
- 不能完全取代，但特定場景只有本地 AI 能做 — 處理機密文件、讀公司內部程式碼、在沒有網路的環境使用。建議混合用：機密丟本地、日常用雲端。
- Ollama 是什麼？
- Ollama 是一個免費開源軟體，讓你的 Mac、Windows 或 Linux 電腦變成 AI 伺服器。安裝只要一行指令，下載模型也只要一行。不需要寫程式、不需要技術背景。裝好後你可以在終端機（或任何支援的軟體）跟 AI 對話。