生成式AI模型越來越大,為了更有效地訓練參數高達10兆的大語言模型,輝達執行長黃仁勳在今年的GTC舞台上,一如預期宣布新款GPU架構Blackwell,採用台積電客製4奈米製程,新架構包括三款新產品,其中最貴的GB200的訓練效能、推論效能,分別是現有H100的4倍、30倍,GB200更是輝達首度採用水冷散熱的產品,共有8家台廠將生產GB200。
文、圖/吳筱雯 由今周刊授權轉載
生成式AI所使用的大語言模型,參數量都多得很驚人,Meta 2的Llama 2三種模型中,最大的使用700億參數,而帶動生成式AI爆紅的Open AI,GPT-3模型便高達1750億個參數,GPT-4參數量則比GPT-3更多,Google對標GPT-4的大語言模型Gemini Ultra,一般估計參數量可能超過GPT-4。
面對大語言模型朝向多模態(同時支援文字、影像、影片、聲音)發展,大語言參數量只會越來越高,就連一般的AI模型訓練參數量也持續走高。為了對應下一世代的大語言模型參數量10兆起跳的趨勢,黃仁勳在今年的開發者大會GTC上,秀出輝達最新的GPU架構Blackwell。
黃仁勳表示,Blackwell架構GPU配備2080億顆電晶體、採用台積電客製化4奈米製程,由兩顆GPU裸晶互連成單個、統一GPU,內建的高頻寬記憶體高達192GB,比起現有的H100,Blackwell架構新產品中價格最高、效能也最強的GB200,訓練效能高4倍、推論效能高30倍,能源利用效率則增加25倍。
黃仁勳透露,參數量為1.8兆的GPT模型,在前一代的Hopper架構下要用到8000個GPU、訓練90天才能完成,耗電量達15MW,但用GB200與同樣的訓練天數,只需要2000個GPU就能完成,耗電量僅為Hopper的四分之一。
黃仁勳強調,比起H100發表時,支持者小貓兩、三隻,目前一線網際網路服務業者中,包括AWS、Google、微軟Azure、Meta都已表態支持,不只輝達DGX伺服器組裝夥伴美超微也繼續成為GB200的夥伴,台灣伺服器業者包括華碩、華擎、鴻海、技嘉、英業達、廣達、緯創都是輝達最新的GB200夥伴,就連新進者和碩也在生產GB200之列。
由於GB200效能強大,黃仁勳在舞台上宣布,GB200將首度採用水冷散熱,水冷液以每秒循環兩公升的速度,將高速運轉而滾燙的AI伺服器,降低至攝氏45度。在GTC登場之前,業界便已預期GB200將採水冷散熱,相關概念股已經大漲一波。
GB200的問世,有機會帶動水冷式散熱提前成為資料中心散熱主流,值得注意的是,Blackwell架構的新產品B100、B200,都不是非水冷散熱不可,其中B100的電源瓦數更與既有的H100相同,不排除成為有AI運算升級需求資料中的首選。換言之,水冷式散熱能不能在黃仁勳登高一呼下,大幅縮短躍居散熱主流的時間,GB200能不能廣受歡迎,將是關鍵因素。
(原文標題:黃仁勳公開輝達效能最強AI晶片GB200,首度採用水冷散熱!鴻海、華碩…8家台廠成代工大贏家)
公司名稱 | 薪資福利 | 工作機會 |
---|---|---|
輝達 | 看薪水 | 看職缺 |
華碩 | 看薪水 | 看職缺 |
和碩 | 看薪水 | 看職缺 |
華擎旗下_永擎 | 看薪水 | 看職缺 |
鴻海 | 看薪水 | 看職缺 |
技嘉 | 看薪水 | 看職缺 |
英業達 | 看薪水 | 看職缺 |
廣達旗下_雲達科技 | 看薪水 | 看職缺 |
緯創 | 看薪水 | 看職缺 |
緯穎 | 看薪水 | 看職缺 |
Eviden台灣艾維登 | 看薪水 | 看職缺 |
雲達國際科技 | 看薪水 | 看職缺 |
台積電 | 看薪水 | 看職缺 |
台達電 | 看薪水 | 看職缺 |
日月光 | 看薪水 | 看職缺 |
廣達 | 看薪水 | 看職缺 |
欣興 | 看薪水 | 看職缺 |
奇鋐 | 看薪水 | 看職缺 |
雙鴻 | 看薪水 | 看職缺 |