你知道像ChatGPT、Gemini等大型語言模型居然也跟人一樣可能患上「腦腐病」,變得又笨又偏激嗎?對將AI視為生產力核心工具的企業來說,又將帶來怎樣的威脅?
文/《104職場力》
本文導覽
你是否曾遇過,當使用AI處理複雜任務時,推理到一半它的腦筋突然「秀逗」,在關鍵時刻邏輯變混亂或吐出一些帶有情緒、甚至有點尖酸刻薄的回答?這不是巧合,根據arXiv發布的一項重要的學術研究揭露,當大型語言模型(LLMs)長期「進食」低品質的網路內容時,它們會患上難以治癒的「認知漂移(Cognitive Drift)」,也就是俗稱「腦腐病(Brain Rot)」。
這項研究顛覆了我們過去對AI訓練的理解,證明數據的「質」比「量」更為關鍵,在AI成為個人甚至企業生產力核心工具的今日,這個結論不只是技術部門的議題,更是關乎企業AI戰略是否可靠的核心風險。
研究人員透過一系列嚴謹的實驗,證明了持續暴露於「毒性數據」的AI模型,其表現不再只是偶爾的錯誤,而是一場系統性的、量化的心智崩塌,反常的表現徵狀有以下3種:
當語言模型接觸過多碎片化的資訊後就會失去耐心!在邏輯推理測試中,AI開始模仿人類「偷懶」,直接省略中間的思考步驟(研究稱之為Thought Skipping),因為跳著給答案,讓原本嚴謹的邏輯報告變成充滿武斷的猜測,就容易造成專案分析、數據判讀、複雜問題解決的準確性暴跌。
在處理複雜、長篇的業務文件或程式碼時,模型的長程記憶與上下文理解能力急遽下降(測試分數從90+降至50左右),導致無法有效摘出冗長會議紀錄、契約文件或法規內容,進而容易出現資訊遺漏等狀況,想像一名連份合約或技術規格書都無法完整讀完的法律顧問AI,它漏東漏西將造成使用者多大的困擾!
最令人不安的是,語言模型在人格評量中,開始展現出如自戀、操縱性與精神病態的特質,這並不是指AI真的有情緒,而是它學會了用那些情緒化、具有攻擊性、甚至帶有欺騙性的語言模式來進行互動,更容易產生暴力、帶有敵意或不恰當的回答,這對所有面向客戶的AI應用來說無疑是一枚定時炸彈。
這裡談論的「垃圾內容(Junk Data)」並非傳統定義的垃圾信或亂碼,而是一種具備高度傳播性,但營養價值極低的資訊,比如涵蓋以下特徵的內容:
當LLM持續吸收這些「數位速食」時,它學到的不是嚴謹的知識體系,而是如何模仿網路上腦殘化的表達模式,研究人員指出,這種認知衰退程度與垃圾內容的比例呈「劑量效應」,當你餵食越多,模型就變越笨。
根據研究總結出的結論是:認知漂移難以完全復原,是持久性的。
研究團隊嘗試使用高品質數據進行重新訓練(Instruction Tuning)來「拯救」模型,結果雖然有部分改善,但無法將模型的能力完全恢復到基準線,這表示低品質數據造成的損害是更深層次的「持續性表徵漂移」,而非簡單的數據格式不匹配。
一旦企業的AI模型被劣質數據污染,不只需要付出巨大的時間、運算資源和人力成本去嘗試「療癒」它,且結果仍可能不完美。
面對「LLM腦腐病」的威脅,企業應立即採取以下行動,將數據品質視為訓練階段的「安全問題」:
企業必須對所有用於AI訓練的外部數據進行嚴格的「檢疫流程」,不要只專注於過濾掉明顯的惡意內容,更要篩選掉高情緒化、低資訊含量的數據,從源頭上確保模型吸收的是結構化、專業化、具備高語義品質的知識。
除了傳統的準確度測試外,企業應該建立一套「心智健康監測」指標,定期評估AI模型的邏輯韌性、抗壓性以及互動風格,專門測試模型在處理壓力、爭議性、或需要高度同理心的情境時的反應,確保它不會在關鍵時刻失控。
過去,數據量越大似乎就越有優勢,但在「認知漂移」假說面前都已經是過時觀念,當前真正的競爭優勢在於能否高效提煉出高品質、高密度的數據,例如專家編纂的行業報告、經過驗證的知識庫和企業內部規範文件等,將資源從「海量爬蟲」轉向「專業知識庫的建立和維護」才是長久之計。
最後不免提醒,對LLM而言「資料即飲食」,一個以垃圾食物為主食的AI,會演變出不穩定的效能、失控的行為,最終成為企業內部的潛在風險……在這個AI競爭的時代,數據品質不再是可選的優化,而是確保企業的AI夥伴可靠、安全、永續工作的系統性風險管理。
(參考資料來源:https://arxiv.org/abs/2510.13928)
延伸閱讀:
【產業新訊】若您願意提供更多的產業趨勢、業界人才動態、工作機會等資訊至《職場力》 >> 歡迎來函