跳至主要內容區塊
財經
熱線

AI伺服器需求強 研調:2024年先進封裝產能增4成

CoWoS AI伺服器 AI
台積電擁有用於AI晶片的先進封裝CoWoS產能。(圖/報系資料照)

台積電擁有用於AI晶片的先進封裝CoWoS產能。(圖/報系資料照)

研調機構TrendForce觀察AI應用帶動AI伺服器成長熱潮,對高階AI晶片及HBM(高頻寬記憶體)強烈需求、台積電2023年底CoWoS月產能有望達12K,NVIDIA在A100及H100等相關AI Server需求帶動下,對CoWoS產能較年初需求量,估提升近5成,加上AMD、Google等高階AI晶片需求成長下,將使下半年CoWoS產能吃緊,至2024年先進封裝產能將再成長3~4成。

2023年由ChatBOT等生成式AI應用帶動AI伺服器成長熱潮,又以大型雲端業者最積極投入,包含Microsoft、Google、AWS或其他中系業者如Baidu、ByteDance等陸續採購高階AI伺服器,以持續訓練及優化AI分析模型。

TrendForce指出,為提升整體AI伺服器的系統運算效能,以及記憶體傳輸頻寬等,NVIDIA、AMD、Intel等高階AI晶片中大多選擇搭載HBM。目前NVIDIA的A100及H100,各搭載達80GB的HBM2e及HBM3,在其最新整合CPU及GPU的Grace Hopper晶片中,單顆晶片HBM搭載容量再提升20%,達96GB。另外,AMD的MI300也搭配HBM3,其中,MI300A容量與前一代相同為128GB,更高階MI300X則達192GB,提升了50%。同時預期Google將於2023年下半年積極擴大與Broadcom合作開發AISC AI加速晶片TPU亦採搭載HBM記憶體,以擴建AI基礎設施。

TrendForce指出,在AI較急促需求下,無論是HBM或CoWoS生產過程中,得後續觀察周邊配套措施,例如直通矽晶穿孔封裝技術(TSV)、中介層電路板(Interposer)以及相關設備(如濕製程設備)等是否能到位,如前置時間(Lead Time)等考量。而在AI強勁需求持續下,估NVIDIA針對CoWoS相關製程,亦不排除將評估其他類似先進封裝外援,例如Amkor或Samsung等,以因應可能供不應求的情形。

CoWoS AI伺服器 AI