HBM4
」 台積電
全村挺一人1／輝達AI革命引焦慮 半導體巨頭罕見齊聚台北大談矽光子
「那就是輝達呀！如果不是他們的AI晶片需求，台積電根本不需要去研究『矽光子』，這個完全不是他們的專業。」產業專家不諱言地告訴CTWANT記者，台積電去年提及研究「矽光子」，今年罕見攜手日月光，在9月3日宣布成立矽光子產業聯盟，號召30家廠商一起制定矽光子封裝產業標準，合作面對這項大挑戰。2022年底ChatGPT崛起而引爆的生成式AI，以及因應而生的大量GPU晶片需求後，對整體半導體的架構產生翻天覆地的變化，也是為因應「全村的希望」、AI晶片龍頭輝達執行長黃仁勳的需求。9月11日的高盛技術會上，黃仁勳講了兩個「難以置信」，一是客戶對最新一代Blackwell晶片的需求難以置信地旺，二是台積電在這領域裡的「敏捷性和響應需求能力，令人難以置信」。然而這場AI掀起史無前例的機會與焦慮，不但讓台灣最強的業者總動員，還引發全球科技廠的集體焦慮。9月初，全球半導體巨擘齊聚台北南港展覽館的SEMICON Taiwan國際半導體展，各國媒體蜂擁而至、彭博社還設攤直播，就連昔日「王不見王」的台積電與三星這兩家國家級護國神山，也破天荒坐在一起談未來。CTWANT記者三天觀察發現，包括歐洲、美國及韓國等各國最頂尖的廠商來台結盟綁樁，演講中不像以往大幅吹捧產品，反而把握機會在半導體產業盛會上敞開自家遇上的瓶頸與困難。邁威爾Marvell公司首席技術官Noam Mizrahi認為，光學是唯一可連結技術，去符合AI算力傳輸需求。（圖／陳曼儂攝）「輝達的GPU和所耗費的電力真的很貴，要確保頻寬、電力、延遲沒問題，不然錢就白花了。」邁威爾Marvell公司首席技術官Noam Mizrahi在半導體論壇上表示，目前用GPU做AI運算，有57%時間在等資料交換，對時間和金錢都是一大損失，「光學是唯一可以連結技術，去符合這麼大規模需求，以及解決頻寬延遲等問題，不同數據中心的串聯，也要靠光纖才能辦到。」「現在GPU和AI加速器是用電連結，若要變成光傳輸，要有不同調變方式、要縮小產品、不同的頻寬密度，才能減少耗能、達到率與成本問題，但這技術沒這麼容易，可能要等兩代之後，才會摸索出對的方向，進入光學無所不在的世界。」Noam Mizrahi提到矽光子技術的困難，是當前最大的挑戰。微軟全球副總裁 Rani Borkar在論壇說，「我從事這產業30年，第一次看到所有業者都在辯論未來，因為AI是半導體的文藝復興！」就算是龍頭微軟，他們也面臨三大瓶頸，第一是硬體系統沒有趕上AI模型需求，「前端需要的運算，每兩年成長十倍，這速度是摩爾定律的五倍，目前的基礎建置與產品都無法達到他的需求，整個領域面臨平台的重新設計，需要整個產業動起來，包括晶片、封裝、記憶體、基礎建設、冷卻方案、網路、電力等，才能推動AI所需的數據流動。」微軟全球副總裁 Rani Borkar提到目前AI面臨三大瓶頸，需要全產業鏈的新變革。（圖／翻攝自SEMI國際半導體產業協會臉書）第二個瓶頸就是高耗能，Rani Borkar說，AI導致全球電力會在2020年到2026年成長一倍，運算和冷卻方式都要變革；第三瓶頸就是產能展望，「我們看到AI高速成長，要買更多晶片、高效記憶體、更多加速器，說來容易，做起來一點都不輕鬆，打造工廠是重大投資，三四年前就要決定，但預測需求非常困難。」「現在真正的問題是維持供應鏈的韌性，因為需求起起落落，」Rani Borkar也了解台灣產業在革命的陣痛期，他向在場業者們呼喊「我從心底感謝大家，是你們做出了重大推動。」在克服重大瓶頸的關鍵時刻，「我們現在做的決定，將改變未來。」這些話也證明，台灣業者在這場革命中，已難以置身事外，而且還是在最花錢的第一線。就算是競爭對手，也得坐下來一起面對。4日登場的「大師論壇」，首度請到台積電共同營運長米玉傑和三星電子總裁李禎培（Jung-Bae Lee）同台，儘管他們在台上沒互動、相敬如賓，但也引發日韓媒體熱議。「韓國和台灣半導體業者『罕見』尋求更密切關係」，日經亞洲（Nikkei Asian）報導，李禎培這次在台灣說，「三星努力為我們的客戶提供代工靈活性，這意味著合作不僅限於三星」，儘管三星有一條龍自己來的能力，但也暗示著會與外部業者有更多合作。而韓媒《經濟日報》及《Business Korea》直接加碼報導，三星和台積電要破天荒結盟、共同研發無緩衝(bufferless)的HBM4晶片，計畫2025年下半年量產。而SK海力士總裁金柱善更直接在半導體論壇上「示愛」，這是他今年第10次來台灣，因為台灣半導體重要性與日俱增，台灣與韓國應緊密合作，「如果沒有合作，AI目標不可能達成。」
「人類史上最具野心的計畫」 黃仁勳打造虛擬地球和下一代平台Rubin
輝達（NVIDIA）執行長黃仁勳2日晚間在台大體育館進行主題演講時，首度透露輝達「很多員工不知道的機密」、就是新一代GPU平台，叫做Rubin，引發全場一陣驚呼。他也再度介紹跟台灣合作的「Earth-2 氣候數位孿生雲端平台」，以及「數位人」服務，預計未來所有PC都將變成AI，幫助人們執行多種任務。黃仁勳表示，NVIDIA Earth-2是一個生成式AI模型，以更高解析度生成，速度比傳統物理方法快1000倍，在台灣的中央氣象局，已經用這些模型預測颱風登陸地點，接下來可模擬建築物周圍氣流，預測像是「下沖」現象，了解是否會損壞街道或影響行人，這樣精準地預測天氣、以及氣候變遷帶來的危害，可讓人類事先規劃對天災的對策，期望未來能提供地球每一個角落的氣候預報，讓大眾無時無刻知道氣候現況，是「人類史上最具野心的計畫之一」 。特別的是，黃仁勳在介紹這個野心勃勃的計畫時，影片中他用標準的中文介紹，他還笑著詢問觀眾「我的國語標準嗎？」，然後坦白這是由「Jensen AI」生成的中文影片。除了工業用機器人，輝達也在研發服務業的「數位人」微服務，也就是製作生成式AI數位化身，NVIDIA ACE已在雲端環境裡提供使用，並於RTX AI PC搶先體驗，已獲戴爾科技、ServiceNow、Aww Inc.、英業達、完美世界遊戲等多間客戶服務、遊戲和醫療保健領域的公司採用。另一個演講亮點，包括輝達今年才剛推出Blackwell架構，黃仁勳就曝光新一代的開發產品是Rubin GPU，將採用8顆高頻寬記憶體HBM4，Rubin Ultra GPU將採用12顆HBM4，預計在2025年第4季量產、2026年推出。Rubin的命名來自女性美國天文學家Vera Rubin，是研究暗物質的先驅。
受惠輝達HBM需求增長＋記憶體市場供應緊張 美光股價一年飆漲100％
AI熱潮受益者之一的美光科技隨著支出的增加，加上記憶體市場的廣泛反彈，該股在過去12個月裡上漲了近100%。瑞穗證券表示，美光的「好日」子可能會持續，因為該公司正在提升其高頻寬記憶體（HBM）領域第五代高頻寬記憶體（HBM3E）產品，以獲得市場份額，這可能會推動美光的股價上漲。美光股價最新價格小跌2.03%，報125.29美元。HBM3E是第五代高頻寬記憶體，瑞穗認為這是美光與韓國SK海力士之間的「2匹馬競賽」。瑞穗表示，在輝達不斷增長的需求下，HBM供應緊張，這對美光來說是個好兆頭。瑞穗證券分析師認為，潛在的收益率問題是，在一個關鍵供應商處，其1-alpha HBM3e的堆疊高度綁定延遲，這將使美光和海力士在B100/B200/GB200平台上獲得HBM3e的占比，從而推動從目前的增加路徑上升到2025年的約25%。HBM3E產品耗電量比競爭對手低了30%。分析師重申了對美光的「買進」評級，並將目標價上調至150美元，因為該公司有能力向輝達推銷其HBM3E封裝。同時由於記憶體價格預估上調，瑞穗表示，今年2月開始量產HBM3E晶片的美光公司，2024年和2025年大部分時間的高頻寬記憶體可能已經賣光。由於整個行業仍然「緊張」，供應可能處於最低水平，從而推高價格。下一版的高頻寬記憶體HBM4可能最終需要台積電的CoWoS-L，因為處理器放寬堆疊高度標準。分析師說，美光正在使用一種名為熱壓縮非導電薄膜的技術。美光認為，與SK海力士的產品相比，該技術有助於提高封裝密度、厚度一致性、更快的規格、更小的凸起和更好的堆疊高度間距。瑞穗的分析師認為，美光科技可能會在HBM4之後看到混合/3D鍵合進入商業評估階段，可能會在2027或2028年之後。而這可能有助於HBM市場以約65%的複合年增長率成長，到2026年達170至180億美元。
輝達GPU將升級 郭明錤曝：R100晶片搭8顆HBM4台積電N3製程
近日，天風證券知名分析師郭明錤披露，針對輝達（ Nvidia） 下一代 AI 晶片 R100 進行預測更新。據他所述，該晶片將於2025年第四季進入量產，系統和機架解決方案可能會在2026年開始量產。郭明錤猜測，在工藝方面，R100將採台積電的N3製程與CoWoS-L封裝，今年推出的 B100 則採台積電 N4P 製程，同樣是CoWoS-L 封裝。與此同時，R100採用約4 倍光罩尺寸（reticle）設計。但中介層（Interposer）尺寸方面，輝達尚未定案，但會有2至3種選擇。至於備受關注的記憶體（HBM）方面，R100預計將搭配8顆HBM4。郭明錤預期，GH200 和 GB200 的 CPU 採用台積電 N5 製程，至於 GR200 很可能採台積 N3 製程。輝達將於 2025 年第四季量產 R100 處理器，系統和機架解決方案將於 2026 年上半年投產。另有外媒報導稱，B200 GPU 配置功耗最高可達 1000W，GB200 解決方案功耗最高可達2700W，資料中心運作時，供電和降溫將遇挑戰。因此郭明淇表示，輝達已理解到AI服務器的耗能已成為雲端服務供應商（CSP）和超大規模服務商（Hyperscale）採購與資料中心建置挑戰，故R系列的晶片與系統方案，除提升AI運算能力外，耗能改善亦為設計重點。
海力士攜手台積電 拚2026年量產HBM4晶片
世界第二大記憶體製造商南韓SK海力士上周五（19日）表示，已與全球最大的晶片製造商台積電簽署了一份合作備忘錄，齊力開發生產下一代高頻寬記憶體（HBM）晶片。通過與台積電的合作，SK海力士的目標是在2026年開始量產HBM4晶片。SK海力士和台積電是AI晶片市場領導者輝達的主要供應商。目前全球晶片製造商競相利用人工智慧熱潮，這推動了對處理器和記憶體晶片等邏輯半導體的需求。其中HBM對生成式AI領域至關重要，它是生成式AI的關鍵零組件。目前，只有SK海力士、三星電子和美光能夠提供HBM晶片，這些晶片可以與強大的GPU配對，如輝達的H100系統，用於AI計算。SK海力士是HBM領域龍頭，據集邦（Trendforce）諮詢估計，SK海力士今年可能獲得全球市場52.5%的占比，其次是三星（42.4%）和美光（5.1%）。而台積電的先進封裝技術則有助於HBM晶片和圖形處理單元（GPU）高效協同工作。SK海力士總裁兼AI Infra負責人Justin Kim日前表示，期待與台積電建立牢固的合作伙伴關係，以幫助加快該公司與客戶的開放合作，並開發業界性能最佳的HBM4，「通過此次合作，我們將通過增強客製化記憶體平台領域的競爭力，進一步加強我們作為整體AI記憶體供應商的市場領導地位。」通過與台積電的合作，SK海力士的目標是在2026年開始量產HBM4晶片。這家韓國公司目前向輝達供應其HBM3晶片，並預計今年將向該公司運送更先進的HBM3e晶片。