跟AI多聊兩句就偏題?研究發現:語言模型有4點致命傷

104職場力
2025.05.23
2535次觀看

最近,Microsoft和Salesforce發表的一項研究報告顯示,初步對話時AI的表現都沒問題,但在進行多輪對話後,成功率竟下降高達35%。這不禁讓人想納悶,是不是目前的AI技術還不夠成熟?

文/《104職場力

本文導覽

在這個科技迅速發展的時代,人工智慧(AI)已經成為我們生活中不可或缺的一部分,無論是寫文章、翻譯,還是客服對話,AI都在努力學習如何更好地跟我們溝通。但是,你有沒有發現,當我們和AI聊天的時候,它剛開始對話時會表現得像個小天才,但隨著對話慢慢深入,卻漸漸變得「迷糊」,甚至胡亂回答,這到底是怎麼回事呢?

數據證實,多聊幾句AI就會破功

在研究中,科學家們模擬了20萬筆對話,檢測了15種主要的語言模型,發現和這些AI首次對話,回覆準確的成功率高達90%,表現好到簡直像個小天才,可一旦進入第2次或第3次對話後,它們就開始像迷失在語言黑洞一樣節節敗退,無法保持對話的一致性和邏輯性,最後成功率降到只剩下約60%

這引發了研究人員的好奇,明明是「越聊越深入」,給出的訊息和指令應是越來越完整,但為什麼這種聊天模式卻成了這些智慧型夥伴翻不過去的阻礙?


AI的「急性子」是致命傷

其實背後的原因不在於AI的記憶力差,而是它太「急於表現」所導致,從研究人員歸納出的4種回覆行為就能瞧出端倪:

1. 過早提供最終解決方案(Premature Answer Attempt)

在指令尚未完全明確時,AI們就早早生成完整答案或程式碼。這可能是來自語言模型被訓練成必須「盡快給出完整回應」所產生的慣性。

2. 做出錯誤假設(Incorrect Assumptions) 

在資訊不足的情況下,AI會根據不完整的提示做出猜測性假設,這些假設如果與使用者後續揭示的真實意圖不符,就會導致整個對話偏離正軌。

3. 過度依賴先前的內容(Over-Reliance on Previous Attempts)

AI語言模型會過度依賴自己先前對話中所生成的內容,包含那些基於錯誤假設而得出的結論,所以就算使用者在下一輪對話中提供新資訊,甚至出言糾正先前的錯誤,AI還是難以有效地整合並推翻自己舊的假設。

4. 回答過於冗長(Overly Verbose Responses)與「答案膨脹」(Answer Bloat)

研究發現,AI生成的回覆越冗長,表現往往越差,因為冗長的答案更容易包含錯誤的假設或不相關的內容。而多輪的對話中,隨著語言模型不斷嘗試修正先前的錯誤,最終答案可能會比單輪設定下的解決方案長20%到300%,這種異常現象就是所謂的「答案膨脹」。

綜合上述4點,也許AI在初回覆時命中率高達9成,但隨著對話的深入,偏離的軌跡會越發明顯,這點就跟人類不一樣,人類在思考或對話的過程中,能意識到自己說錯話或認知錯誤進而及時調整,但AI目前無法做到這點,所以當起始點錯,就會一路錯到底

可以想像一下,跟一位同事討論問題時,對方在釐清問題核心跟意圖之前就急著給出答案或總結,因為本身理解錯誤,或使用不對的邏輯思考,加上難以根據後續的對話進行調整,就算越講越多,最後給出的答案卻還是偏離發問者的預想,讓人摸不著頭緒,這就是AI模型在多輪對話中經常出現的情況。


所以AI到底聰不聰明?

A語言模型在對話中迷失的研究數據圖。

研究者使用常見的語言模型進行測試,將AI在多輪對話中性能下降歸因於「能力(Aptitude)的輕微損失」和「不可靠性(Unreliability)的顯著增加」。

  • 在模擬的過程中,語言模型的能力(Aptitude)平均下降了16%。
  • 而從最佳和最差情況之間的表現差距可看出,無論其首輪回覆的能力有多強,所有語言模型最後都表現出極高的不可靠性(Unreliability),平均增加了112%。

從研究結果來看,在對話中語言模型並非「變笨」,而是AI在處理複雜會話時,會變得非常不穩定且不可預測,以至於重點失焦、表現大打折扣。

這些問題的根源,主要在於過去對語言模型的訓練方式太過於依賴單句的問答,而人類的對話通常是逐漸深入並不斷澄清的過程,AI在一次對話中無法自如地處理這樣的變化,是因為沒學會如何在對話中靈活應變,才無法像人們預期的那樣穩定地提供解決方案。


什麼情況下AI語言模型迷失的機率更高?如何改善?

研究報告指出,並非所有任務都會讓AI迷失,例如像「翻譯」這樣明確單一的任務,有既定的內容且可分解成獨立的句子級別,表現就比較不容易歪掉,而容易讓AI迷失的任務通常具備以下特性:

1. 生成性任務(Generative Tasks)

比起統整資訊這種有特定資訊來源可提取或分類的任務,需要生成新的內容對AI來說挑戰更大,類似於考試寫申論題一樣。

2. 足夠複雜(Sufficiently Complex)

給出的指令如果太多太複雜,即便有明確的規格,還是會被AI分解成「碎片」,每一片都稍微偏離一點點,最終就會給出奇怪的結論。

3. 非可分解的解決方案(Non-decomposable Solution)

如果沒有在一開始就給齊所有指令,而是在後來的對話中修正或逐步新增,對AI來說,每一個新的資訊碎片都會打亂整個結構,讓它在重整的過程中偏離軌道。

在AI能處理複雜對話前,可以怎麼做?

針對以上挑戰,研究人員提出了一些解決方法,比如:

  • 將問題拆分成小塊,讓模型在每一步對話中一次只處理一小段資訊。這種方法被稱為「分片模擬」,主要是在幫助AI更好理解問題。

另一種策略叫「重述回顧(Recap)」:

  • 在每次的對話結尾回顧之前提到的訊息,幫助AI抓住整體脈絡,就像一位老師在跟學生溝通時,不斷地重申重點,讓學生不會在解答時迷失方向。

這項研究讓我們看清目前語言模型的局限性,AI雖然聰明,但在實際對話中還是無法盡善盡美,報告提出,開發者需要把重點放在讓AI更具「耐心」,學會如何等待、提問和澄清,而不是單純地回答問題,這樣才有機會讓使這些語言模型成為人類良好的聊天夥伴。

(參考資料、圖片來源:LLMs Get Lost In Multi-Turn Conversation


延伸閱讀:

總是手滑亂花錢?這套預算法讓你徹底擺脫財務焦慮

你是否也曾立下預算卻總是破功?從甜甜圈小開銷到突如其來的重大支出,讓你覺得控管金錢根本是不可能任務。這本暢銷理財書《YNAB》不只教你記帳,更揭露「完美主義」才是預算無法持久的真凶,並提供實用又溫柔的建議,幫助你建立靈活、有彈性的金錢管理習慣,從根本解決財務焦慮。

南科營運火力全開 AI浪潮帶動營收近兆元、年增逾五成

南科營運火力全開 AI浪潮帶動營收近兆元、年增逾五成

根據最新統計,南科今年1至4月營業額已突破9,045億元,較去年同期大幅成長58.6%,營收規模直逼兆元大關,寫下台灣高科技產業發展的新里程碑。

【2026行事曆】春節放9天!清明、中秋放4天│115年連假共9個!

【2026行事曆】春節放9天!清明、中秋放4天│115年連假共9個!

2026(民國115年)行事曆之國定假日、連假請休攻略出爐!《104職場力》整理最新上班族行事曆資訊,同步彙整高鐵、台鐵、飛機訂票連結,助大家完美規劃115年度的9大連假!

面試自我介紹如何驚豔面試官?在工作上「盡力負責」是不夠的!

面試自我介紹如何驚豔面試官?在工作上「盡力負責」是不夠的

面試自我介紹短短幾分鐘,可以聽到應試者的學經歷、興趣專長,而本文作者想了解的其實是應徵者的「工作態度」以及「看待自己工作的角度」。作者認為,最值得讚許的工作態度不是「負責」而是「當責」,其中的差異是什麼?

你也狂加洗衣劑?常見4使用行為縮短洗衣機壽命!5跡象出現該換洗衣機了

你也狂加洗衣劑?常見4使用行為縮短洗衣機壽命!5跡象出現該換洗衣機了

洗衣機是現代人生活中不可或缺的家電之一,有些人甚至天天使用。一台洗衣機通常可以用好幾久,不過清潔達人提醒,一些不好的使用習慣可能加速縮短洗衣機的使用壽命。至於何時該換洗衣機,有些跡象要留意,例如漏水、噪音過大……等,有時換一台節能、高效的新機,都比繼續維修舊機省錢。

【快訊】2025職涯博覽會擴大舉辦!與200家企業人資面對面,免費報名>>

Y25品牌日_職涯博覽會

職場專業情報第一選擇:履歷範本、自傳範例、求職面試、職場溝通、經營管理、工作心法、職涯規劃、中年失業、就業機會等。不只幫你找工作、找方向,更要提升你的職場競爭力。新鮮人、上班族、二度就業必看!