Ask AI Right Express · part 5
[AI 速成] AI 答案是不是亂編?三招 30 秒驗證
❯ cat --toc
TL;DR
AI 一樣自信地給你對的答案跟編的答案,靠語氣分不出來。三招 30 秒驗: 具體事實 Google 一次、叫 AI 補連結點開看那段話真的有寫、換家問或開 臨時聊天 再問一次。 答案不穩就是該回去查的訊號 — 文末有可以直接抄的 prompt。

情境
ChatGPT 給你一個答案,引用了某教授某年的論文、語氣超肯定、連結看起來也對 ⋯⋯ 你照做了,後來被打臉:那篇論文不存在。
這就是 AI 幻覺。它不是惡意騙你,是它在猜「長得像對的答案」 — 它的「我很確定」跟「真的答對」沒對應關係,所以你不能靠它的語氣判斷對錯。下面三招,30 秒就能擋掉大部分坑。
招 1:看到具體事實,30 秒 Google 一次
「具體」= 越精確越要驗:
- 具體人名、書名、ISBN
- 法條編號、條文號、文件編號
- 百分比、版本號、年月日
- 「某某教授在 X 年的論文指出 ⋯⋯」這種句型
為什麼:AI 讀過的東西很多,籠統的概念講得很準;但要它吐一個「精確到某條某項某頁」的事實,會湊一個格式對、語氣對、但內容是編的版本。
動作:把那個具體事實複製,丟 Google 搜一次。30 秒內找不到,先當它是編的。
招 2:叫 AI 補原始連結,然後點進去看
AI 給你引用,順手追問:「這段引用的原始來源是?給我可點的連結。」
它通常會給你一個網址。三種狀況:
- ❌ 連結 404 / 域名不存在 → 編的,明顯
- ⚠️ 連結真的存在,網站名也對 → 不要急著相信,點進去用 Ctrl+F 搜 AI 引用的那句話。常見狀況是網站對、文章對、但 AI 講的那段內容沒在裡面
- ✅ 點進去能找到那段原文 → 可信
為什麼:AI 最會的把戲是「引一個真的網站,但內容是它湊的」。連結存在 ≠ 內容存在。真正的驗證在點開之後那 10 秒。
招 3:換家問,或開「臨時聊天」再問一次
AI 在猜答案時帶隨機性。這招只是粗篩、不算證明 — 答案越不穩,越值得回去查;答案剛好兩次一樣也不保證對。當作前哨站用。
兩種做法:
- 換家:原本問 ChatGPT,貼同樣問題給 Claude 或 Gemini
- 開「臨時聊天」:ChatGPT 上方有個
Temporary按鈕(中文介面叫「臨時聊天」)、Gemini 也有「臨時聊天」入口。開一個新的,貼一樣的問題
對到的細節(人名、年份、條號)兩邊跳掉 → 至少一邊在瞎掰,回到招 1 + 招 2 查證。對到一樣不代表對,只是少了一個「在亂猜」的訊號。
一個常見錯誤:把「AI 講得超有自信」當成可信
最常見誤區:「它語氣那麼篤定,應該是對的吧?」
反了。AI 的自信跟「真的答對」沒對應關係 — 它對「自己答對的題」跟「自己亂猜的題」都用一樣肯定的語氣。自信不是證明,自信是預設值。語氣篤定反而要警覺,特別是它給的東西「精確到不像它會記得的程度」時。
真實案例:Anthropic 自家律師在 2025 年 5 月法庭上交了一份證詞,律師用 Claude 把引用格式化,Claude 編了一個格式完美但作者標題完全不存在的引用。法官直接把那份證詞裡相關的一段砍掉。用 Claude 的公司請的律師用 Claude 做事,照樣踩坑。
直接抄的 prompt 範本
問完問題覺得需要驗,貼這段給 AI:
針對你剛剛回答裡的每一個具體事實(人名、書名、年份、數字、法條、引用),
請按下面格式重新整理一次:
| 事實 | 信心 (高/中/低) | 原始來源 (網站名 + 文章標題 + 該文章裡的原文一句) | 可點連結 |
規則:
- 信心「低」的事實,請改寫成「我不確定」或標註「需查證」
- 找不到原始來源的事實,請直接標「無公開來源」,不要硬補連結
- 「原文一句」一定要從原始來源逐字抄,不要意譯也不要自己改寫
⚠️ 這個表格只是「先幫你分高低風險」,不是最後驗證本身。AI 自評的信心跟它列的連結都不能直接信 — 信心可能也是猜的、連結可能網址對但內容沒寫。你還是要點開連結、用 Ctrl+F 搜「原文一句」,確認那句話真的在裡面。要 AI 列「原文一句」是讓幻覺更難掩飾 — 編連結容易,編一段它沒讀過的原文比較會出包。
收尾:信一半、查一半
AI 不是答案機器,是會瞎掰的協作工具。三招的核心其實是同一件事:把懷疑變成 30 秒的小動作,不是放棄用 AI。
從這篇開始,每次 AI 給你具體事實,順手丟一句「給我可點的原始連結」 — 一次多花 30 秒,少踩一個坑。
這是 Ask AI Right Express 速成系列的最後一篇。想看完整版的「AI 還在踩的四個地雷」(幻覺、資料過時、記性、隱私 + 我自己被 Gemini 幻覺擺兩次的故事),看深度版:AI 做不好哪些事?四個地雷。
同系列:
常見問題
- AI 真的會編答案嗎?
- 會,而且不是故意。AI 在做的事是「猜下一個字長得像對的答案」,大部分時候猜得很準,但碰到具體人名、書名、法條、冷門主題時會自信地瞎掰一個。Anthropic 自家律師在 2025 年因為 Claude 編造法律引用,提交給法院的那段書面證詞被法官砍掉,發生機率不低。
- 怎麼最快判斷 AI 在不在瞎掰?
- 看三個訊號:(1) 具體事實 — 人名、書名、ISBN、法條編號、百分比、年月日;(2) 冷門主題 — 在地、小眾、新出的東西;(3) 語氣太自信 — AI 的「我很確定」跟「真的答對」沒對應關係,自信本身不能當證明。任何一個中了,順手 30 秒 Google 一次。
- 為什麼同一個問題問 AI 兩次,答案會不一樣?
- 因為 AI 在猜答案時帶隨機性。這招只是粗篩、不是證明 — 答案越不穩,越值得回去查具體事實;答案兩次都一樣也不代表對,但至少少了一個「亂猜」訊號。換家問或開臨時聊天再問一次,當作初步篩網用。
- AI 給的連結是真的嗎?
- 連結本身可能是真的(網址打開能進入),但 AI 引用那段話的內容不一定真的在裡面。最常見的是引對網站、引錯段落,或網址對但文章已被刪。最保險:點進去搜關鍵詞,確認那句話真的有寫。
- 我每次都要驗證很累,有沒有更省事的做法?
- 不用每句都驗,用「分級」省力氣:寫程式範例、改錯字、腦力激盪可以直接信(你能立刻檢查);具體事實要驗(30 秒 Google);法律醫療投資不要只信 AI(找專業人士)。重要決定才下功夫,雜事直接用。