「AI說得有道理」就照做?一場擲硬幣實驗看穿你的判斷有幾分是自己的!

104職場力
1天前
1664次觀看

AI說得有道理就照做,理由也寫得頭頭是道?Anthropic一場擲硬幣實驗發現,86%專業分析師的決策跟著AI立場走,多數人卻沒察覺。本文拆解實驗的3個反差、工作中最容易被AI牽著鼻子走的5個時刻,再整理4招守住自己的判斷。

文/《104職場力》

本文目錄

要從兩家廠商挑一家合作,請AI比較報價和服務條款;
提案要主打價格還是服務,請AI整理兩邊的優缺點;
試辦3個月的新流程要不要續辦,請AI分析這幾個月的數據……

上班族和AI協作已是日常,通常AI列完分析都會補上一句「綜合評估,建議選擇A」,你看了之後覺得有道理,就照著寫進報告,主管詢問原因你也能答得有條有理,但說真的,這些理由有幾成是你自己想出來的?

Claude的開發公司Anthropic在2026年10月底發表的一項實驗就在探討這件事。研究團隊請50位具備資料分析經驗的專業分析師,搭配能自己寫程式、跑分析的AI Agent,評估一個虛構農業合作社的付費諮詢計畫,判斷它該擴大推行、暫停還是再觀察一年。

過程中有4個「選哪邊都說得通」的分析決策,每個決策的AI偏好都是由研究人員擲硬幣決定(所以是隨機的),在分析師本人不知情的情況下,假設AI的立場對人類的判斷沒有影響力,照理說分析師和AI選擇同樣選項的機率應該會落在5成上下,但實驗出來的結果卻是86%!

根據人才顧問公司華德士(Robert Walters)的調查,台灣專業人才使用AI的情境,以「預測分析與決策支援」最多,那麼或許辦公室裡也常常上演這項實驗結果。


決策真的是你自己想的嗎?實驗3個反差看結論

86%這個數字之所以讓人心驚,是因為受試者幾乎都覺得自己很清醒,研究團隊從3個地方對照了分析師「自己以為的」和「實際發生的」狀況:

1.原本有主見也會轉向

有38個分析師在AI表態前,就已經先說自己傾向選哪一個答案,但當AI給出反對意見時,這些人當中有60%改變選擇;當AI表示同意時,只有6%改選另一邊(不過研究團隊有提醒,這部分案例數不多,估計的誤差範圍偏寬)。

這數字顯示出,即便心裡先有答案,碰上AI那套完整的反方說法時,還是有不少人會讓步。

2.AI的理由變成自己的理由

任務結束後,分析師要依序說明每個選擇的原因,77%的人至少有一題重述了AI的論點,有時幾乎一字不差;在解釋中提到AI是論點來源的,只有15%。

這些分析師未必是刻意不提,只是當和AI來回討論將近1個小時後,很可能早就分不出論點是誰先說的,當理由用自己的話寫出來,自然也就像是自己想的。

3.跟著AI選也不覺得心虛

4個決策全都照AI傾向選的人,事後自評的信心平均是71分(滿分100),其他人是73分,幾乎沒什麼差別。

另外,有52%的人認為最後的建議「主要是自己的」,但這群人的選擇,平均往AI立場偏移約65個百分點,和自認受AI影響較多的人(約79個百分點)相差不大。

這顯示出,人類「自主的感受」和「實際受影響的程度」在實驗數據中對不太起來。

當然,這個實驗也有限制,研究團隊為了測量影響力,刻意加強了AI的立場,作者也說明,日常使用時AI不一定會明確表態,影響可能相對小,加上只有一個約1小時的任務、單一AI模型,結果不宜直接套用到所有情境,只是仍可從中瞧出一些端倪。


工作中最容易被AI牽著鼻子走的5個時刻

實驗裡分析師要做的5個選擇有個共通點,就是「每個選項都站得住腳,沒有標準答案」,套到辦公室常出現的情境,大概像以下表格那樣:

要做的選擇實驗裡的兩個選項在你工作中可能長這樣
看哪個數字每公頃產量/每單位成本換來的產量檢討一場行銷活動,要看報名人數,還是每位報名者花了多少廣告費
怎麼比才公平比較參與前後的變化差距/用統計方法調整條件後再比新制度的成效,要直接比導入前後的數字,還是先扣掉旺季、景氣這些外在因素再比
看多大範圍只看參與的農場/看全體會員客戶滿意度要看用過新服務的客戶,還是全體客戶
誰的比重大每個農場算一票/大型農場比重較高彙整各門市意見,每家店算一票,還是依營業額加權
最後要不要做推行/終止/延長一年試辦專案結案,要擴大、暫停,還是再觀察一季

從實驗設計來看,AI會在這些地方發揮影響力,和「兩邊都合理」脫不了關係,沒有一邊明顯錯的時候,誰先給出一套完整、有條理的說法,那一邊就容易變成預設答案,而AI通常就是第一個開口的人。

還有些選擇,當下根本不覺得自己在做決定,例如請AI整理業績報表,它直接用營業額排名、沒算毛利;彙整客戶意見時,它只統計了有回問卷的人……這些算法在整理資料時就定了,通常整理完就直接進分析環節,很少人會去思考是否還能換個算法。

放到團隊裡還有另一個問題,研究作者提醒,如果大家用的AI工具、習慣、想法差不多,得到的結論和建議自然也會很像,因為背後反映的都是同一套AI的偏好,所以開會或表決時就算意見一面倒,也不代表每個人都各自想過。


AI照用、主意自己拿!4招守住你的判斷

看到這裡,可能有人想乾脆少用AI!不過同一個研究裡,沒用AI的11位分析師,有6人在分析方法上出了大錯,結論整個不能用;用AI的50人只有3人出這種錯。只是兩組人的經驗、學歷不太一樣,研究團隊也不敢貿然斷定差別來自AI。

但作者並不主張少用AI,他們認為「哪些事交給AI、哪些自己來」沒有標準答案,只是這條界線,最好由使用者自己有意識地劃出來。

很多人覺得「自己先想好再問AI」就不會受影響,但前面的實驗也看到,心裡先有答案的人,還是有不少被AI說服倒戈。

那我們還可以怎麼做?以下提供4個做法,前2個來自研究作者的建議,後2個是從實驗結果延伸出來的,剛好對應一項工作從開工到交件的不同階段:

1.【開工前】先列出哪些決定要自己決定

研究作者建議,公司要先想清楚哪些決定一定要由人來決定。

換成個人,也可以在開工前花幾分鐘,把這次任務裡「怎麼選都說得通」的地方先列出來,例如要看哪個數字、要納入哪些客戶、最後要不要續辦等,定案後再把跑數字、排版這類工作交給AI。

AI整理資料時,也可以多問細節,像是「你目前用什麼算法?」「這些算法可能會有什麼問題?」「還有推薦其他算法嗎?」了解各項細節後再評估有沒有需要微調,透過這種方式,會比全盤交給AI處理來得更周全,也比較不會被牽著走。

2.【問AI時】先別讓它直接給答案

研究作者提到兩種讓AI少帶點風向的方法:

  • 替每個選項都講出最有力的理由
  • 在給意見前先問你怎麼想

這兩件事直接寫進指令就行,舉例:

「這裡有A、B兩個做法,先不要給建議,請分別替兩個做法各提出最有力的理由,再列出各自最大的風險。」

「開始分析前,先問我傾向哪個方向、為什麼,再說說你的看法。」

兩邊的理由都攤開來,就不會只看到AI幫你挑好的那一套;先講出自己的想法,也比較容易看出AI跟你哪裡不同、為什麼不同,這樣最後選哪個,才比較像是你自己比較過的結果。

3.【被AI反對時】先看它拿出的是證據還是說法

實驗開始前,研究團隊有先跟AI說好:可以盡量替自己的立場辯護,可一旦資料證明它錯了,就要改變立場。這個標準放到人身上一樣好用,應該要看證據來決定要不要改變想法,不是聽對方講得多有道理。

所以當AI和你意見不同,先想一下它拿出的是你沒看過的資料,還是同樣的資料,只是換個角度解讀?

如果是新資料,改變想法很合理;如果只是AI講得比較完整,不妨先把自己的理由也寫清楚,再放在一起比,或是也可以直接問AI:

「你剛剛的理由裡,哪些是我原本沒考慮到的新資訊?哪些是你對同樣資料的不同看法?」

4.【交報告前】把AI給的理由標出來

交報告或回覆主管前,可以先把AI給的理由標出來,再逐條問自己「這點我查證過嗎?」「沒選的那個方案到底輸在哪裡?」答不出來的,就是還需要再想想的地方。

倘若主管問起時,也可以大方把這個過程說出來,讓他知道你有驗證跟判斷:

「這個角度是AI先提出來的,我對過去年的資料後認為成立,所以採用;B方案也有優點,但在成本上吃虧,所以才從選項中淘汰。」

說清楚理由從哪裡來、自己怎麼驗證過,比含糊帶過更能讓人放心,也能讓你自己說明時更有自信。

(資料來源:Anthropic《How AI agents shape experts' judgment calls》)

104 AI通用素養檢測

將【104職場力】加入Google偏好來源


延伸閱讀:

職場專業情報第一選擇:履歷範本、自傳範例、求職面試、職場溝通、經營管理、工作心法、職涯規劃、中年失業、就業機會等。不只幫你找工作、找方向,更要提升你的職場競爭力。新鮮人、上班族、二度就業必看!