HBM3
」 輝達 三星 AI伺服器
AI領域再添新兵 外媒：三星通過輝達測試將量產HBM3晶片
首爾經濟日報報導，三星電子已開始大規模生產第三代高頻寬記憶體（HBM3）晶片，此消息援引未具名的業內消息來源。此次生產是在輝達（Nvidia）成功完成資格測試之後進行的，這標誌著三星在先進HBM3E晶片供應給輝達方面邁出了重要一步，預計這些晶片也將達到所需標準。HBM晶片因其卓越的記憶體頻寬和效率，在當前的人工智慧（AI）浪潮中扮演著核心角色，能夠實現資料處理速度的提升和AI應用效能的增強。它們透過提供對大數據集的快速存取並減少延遲，滿足了AI工作負載如深度學習和神經網路訓練所需的高運算需求。若報導屬實，這將是三星的重大突破。此前，路透社曾在今年稍早報導，三星的HBM晶片在熱管理和功耗方面遇到問題，導致無法通過輝達用於AI處理器的測試。相較之下，三星的國內競爭對手SK海力士自2022年6月起，已成功向輝達供應HBM3晶片，並於今年3月底開始向未公開的客戶發貨HBM3E晶片。同時，另一家主要HBM製造商美光科技也宣布計劃向輝達提供HBM3E晶片。對於HBM製造商來說，達到輝達的標準至關重要。鑑於輝達在全球GPU市場中佔約80%的份額，特別是在AI應用領域，因此，能否成功通過輝達的測試不僅關係到企業的聲譽，也是推動利潤成長的關鍵因素。而美光科技目前獲利能力並不亮眼，加上上述消息，美光科技失去在HBM領域的獨佔地位，投資人或需要警惕公司財務表現走弱。
受惠輝達HBM需求增長＋記憶體市場供應緊張 美光股價一年飆漲100％
AI熱潮受益者之一的美光科技隨著支出的增加，加上記憶體市場的廣泛反彈，該股在過去12個月裡上漲了近100%。瑞穗證券表示，美光的「好日」子可能會持續，因為該公司正在提升其高頻寬記憶體（HBM）領域第五代高頻寬記憶體（HBM3E）產品，以獲得市場份額，這可能會推動美光的股價上漲。美光股價最新價格小跌2.03%，報125.29美元。HBM3E是第五代高頻寬記憶體，瑞穗認為這是美光與韓國SK海力士之間的「2匹馬競賽」。瑞穗表示，在輝達不斷增長的需求下，HBM供應緊張，這對美光來說是個好兆頭。瑞穗證券分析師認為，潛在的收益率問題是，在一個關鍵供應商處，其1-alpha HBM3e的堆疊高度綁定延遲，這將使美光和海力士在B100/B200/GB200平台上獲得HBM3e的占比，從而推動從目前的增加路徑上升到2025年的約25%。HBM3E產品耗電量比競爭對手低了30%。分析師重申了對美光的「買進」評級，並將目標價上調至150美元，因為該公司有能力向輝達推銷其HBM3E封裝。同時由於記憶體價格預估上調，瑞穗表示，今年2月開始量產HBM3E晶片的美光公司，2024年和2025年大部分時間的高頻寬記憶體可能已經賣光。由於整個行業仍然「緊張」，供應可能處於最低水平，從而推高價格。下一版的高頻寬記憶體HBM4可能最終需要台積電的CoWoS-L，因為處理器放寬堆疊高度標準。分析師說，美光正在使用一種名為熱壓縮非導電薄膜的技術。美光認為，與SK海力士的產品相比，該技術有助於提高封裝密度、厚度一致性、更快的規格、更小的凸起和更好的堆疊高度間距。瑞穗的分析師認為，美光科技可能會在HBM4之後看到混合/3D鍵合進入商業評估階段，可能會在2027或2028年之後。而這可能有助於HBM市場以約65%的複合年增長率成長，到2026年達170至180億美元。
海力士攜手台積電 拚2026年量產HBM4晶片
世界第二大記憶體製造商南韓SK海力士上周五（19日）表示，已與全球最大的晶片製造商台積電簽署了一份合作備忘錄，齊力開發生產下一代高頻寬記憶體（HBM）晶片。通過與台積電的合作，SK海力士的目標是在2026年開始量產HBM4晶片。SK海力士和台積電是AI晶片市場領導者輝達的主要供應商。目前全球晶片製造商競相利用人工智慧熱潮，這推動了對處理器和記憶體晶片等邏輯半導體的需求。其中HBM對生成式AI領域至關重要，它是生成式AI的關鍵零組件。目前，只有SK海力士、三星電子和美光能夠提供HBM晶片，這些晶片可以與強大的GPU配對，如輝達的H100系統，用於AI計算。SK海力士是HBM領域龍頭，據集邦（Trendforce）諮詢估計，SK海力士今年可能獲得全球市場52.5%的占比，其次是三星（42.4%）和美光（5.1%）。而台積電的先進封裝技術則有助於HBM晶片和圖形處理單元（GPU）高效協同工作。SK海力士總裁兼AI Infra負責人Justin Kim日前表示，期待與台積電建立牢固的合作伙伴關係，以幫助加快該公司與客戶的開放合作，並開發業界性能最佳的HBM4，「通過此次合作，我們將通過增強客製化記憶體平台領域的競爭力，進一步加強我們作為整體AI記憶體供應商的市場領導地位。」通過與台積電的合作，SK海力士的目標是在2026年開始量產HBM4晶片。這家韓國公司目前向輝達供應其HBM3晶片，並預計今年將向該公司運送更先進的HBM3e晶片。
GPU供應瓶頸明年Q1有解？ 台積電＋三星合力解決晶片產能荒
在台積電、三星等廠商合力之下，高頻寬記憶體（HBM）和先進封裝兩大關鍵技術產能荒有望提前結束，產能瓶頸可望較業界預期提早一季至半年，於明年首季打開。輝達（Nvidia）晶片供應難題也將緩解，使得先進封裝所需記憶體供給增加，圖形處理器（GPU）產能即將迎來拐點。據報導，三星將加入輝達HBM3供應鏈，緩解此前SK海力士（SK Hynix）一家獨大導致的HBM3供應難題。HBM3是目前最先進的記憶體晶片技術，主要用於輝達旗艦GPU H100。此外，輝達的先進封裝供應商台積電也通過更改設備、加強外部合作等方式，進一步擴大先進封裝產能。疊加外部需求方變更設計、調整訂單等因素，台積電有望在明年首季突破先進封裝產能瓶頸，比業界預期提早一季至半年。台積電今年9月時表示，認為CoWoS封裝供應短缺需要大概18個月才能緩解，可能拖累輝達GPU的供給。輝達此前在業績電話會上也證實，已認證其他CoWoS先進封裝供應商的產能作為備案。如今先進封裝產能荒可望提前告終，代表輝達AI晶片供應難題也將緩解。除了兩大供應商擴產，輝達的主要客戶雲端服務廠商，也陸續變更設計以減少部分先進封裝用量，加上部分重複下單客戶刪除訂單，也是令GPU產能即將迎來拐點的關鍵因素。業內人士預計，先進封裝產能問題緩解後，從半導體上游傳導到下游系統與零組件預期約需三個月，預計有利相關配套零件大廠供應出貨逐季攀升。
集邦看好今明兩年 AI伺服器出貨成長皆逾37%
全球市場研究機構集邦科技(TrendForce)17日針對明年的科技產業發展做重點整理，可看出AI產業一片欣欣向榮，包括伺服器、高頻寬記憶體、加速晶片等會迎來喜訊，像是今年AI的伺服器（包含搭載GPU、FPGA、ASIC等）出貨量逾120萬台，年增高達37.7%，而預計明年將再成長逾38%。集邦科技表示，CSP（雲端服務供應商）業者如Microsoft、Google、AWS等近期都在加大AI投資力道，推升AI伺服器需求上揚，估算2023年AI伺服器出貨量逾120萬台，年增37.7%，占整體伺服器出貨量達9%，2024年將再成長逾38%，AI伺服器占比將逾12%。除了NVIDIA與AMD的GPU解決方案外，大型CSP業者也擴大自研ASIC晶片將成趨勢，Google自2023年下半加速自研TPU導入AI伺服器，年成長將逾7成，2024年AWS亦將擴大採用自研ASIC，出貨量有望翻倍成長，其他如Microsoft、Meta等亦規劃擴展自研計畫，GPU部分成長潛力恐受到侵蝕。預計在2024年後，將延伸至更多應用領域業者投入專業AI模型及軟體服務開發，帶動搭載中低階GPU（如L40S等系列）等邊緣AI Server成長，預期2023到2026年邊緣AI伺服器出貨平均年成長率將逾兩成。AI伺服器也帶動了AI加速晶片需求，其中高頻寬記憶體（HBM）為加速晶片上的關鍵性DRAM產品。以規格而言，除了現有的市場主流HBM2e外，今年HBM3的需求比重亦隨著NVIDIA H100/H800以及AMD MI300系列的量產而提升。展望2024年，三大記憶體廠商將進一步推出新一代高頻寬記憶體HBM3e，一舉將速度提升至8Gbps，提供2024到2025年新款AI加速晶片更高的性能表現。AI加速晶片市場除了Server GPU龍頭廠商NVIDIA、AMD外，CSP業者也加速開發自研AI晶片的腳步，產品共通點為皆搭載HBM。伴隨訓練模型與應用的複雜性增加，預期將帶動HBM需求大幅成長。HBM相比其他DRAM產品的平均單位售價高出數倍，預期2024年將對記憶體原廠的營收將有顯著挹注，預估2024年HBM營收年增長率將達172%。
三星打入輝達供應鏈 1日股價勁升逾6％創兩年半最大單日漲幅
三星電子（Samsung）韓國股價周五（1日），勁升逾6%，創下2021年1月以來最大單日漲幅。此前有報導稱三星加入輝達（Nvidia）HBM3記憶體供應鏈，而原本是全球唯一正量產HBM3的SK海力士（SK Hynix）則下跌 1.5%。據韓媒報導，花旗集團分析師表示，三星將開始向輝達供應配合人工智慧（AI）晶片使用的高速內存HBM3，而之前的供貨商只有三星競爭對手SK海力士，後者一直是輝達AI晶片高頻寬記憶體的唯一供應商，分析師指出，三星成功打入輝達HBM供應鏈後，將成為HBM3主要供應商之一，也將是記憶體和AI運算市場長期受惠者，因此分析師上調該公司目標價。消息一出，三星股價創下2021年1月以來最大漲幅。根據韓媒報導，三星晶片通過最終品質測試，達成向輝達供應HBM3的協定，最早會從下月開始供應關鍵記憶體晶片。三星電子拒絕就此事發表評論。輝達今年股價已上漲3倍，市值達1.2兆美元，而三星好消息也刺激相關供應商走高，南韓供貨商晶片測試公司Hana Micron Inc周五股價暴漲30%，電路板公司大德電子（Daeduck Electronics）股價上漲7.4%，SK海力士的股價下跌了約1.5%。
賺到手軟！市場估輝達H100賣破165億美元 華爾街喊價上看800美元
輝達（Nvidia）本周將於美國時間23日公布財報，據外媒報導，輝達預計今年會賣出超過50萬個高端H100 GPU，市場則預估其AI晶片H100相關產品有望賣破165億美元。輝達股價今年迄今已上漲約200%，多家華爾街分析師便在其財報公布前夕蓄勢待發，紛紛調高目標價，喊到800至1000美元。輝達的H100是目前訓練大語言模型最需要的圖形處理器（GPU），它可以應用於各種AI場景，如AI聊天機器人、視覺AI、推薦引擎、高性能計算、資料分析等，價值數百億美元。執行長黃仁勳在本月8日時宣布，將推出下一代GH200 Grace Hopper超級晶片平台，該平台由72核Grace處理器和H100 80GB HBM3E GPU組成，不過目前尚未公布H100 SXM、H100 NVL和GH200 Grace Hopper產品的售價。該公司中頂級H100包括H100 SXM 80GB HBM3及H100 NVL 188GB HBM3雙卡解決方案。若將輝達每款基於H100產品的售價訂在3萬美元（約新台幣95萬）左右，光在最新一代GPU上，輝達今年銷售額就將達到165億美元。外媒認為，雖然沒辦法精準確預估輝達GPU的販售收入，但從其數據中心業務所公布的2024財年第一季（截至4月30日）有42.84億美元的收入，若能呈AI熱潮繼續前行，輝達GPU在第二季度的收入可能會更高。巴倫週刊（Barron's）報導，據投行瑞傑金融（Raymond James）估計，輝達每枚H100晶片的製造成本為3320美元，而給客戶的售價卻高達25000至30000美元，利潤率高達1000%。不過有分析師指出，產品開發需要時間和資源，必須考慮到開發過程中，工程師和其他參與者的付出之研發成本。華爾街共59位分析師預期，輝達的目標價平均落在501美元；投資機構Rosenblatt將輝達目標股價調升至800美元，並把股票評等訂在「買進」，Aletheia證券則喊地最高，達1000美元。投資機構Piper Sandler也看好H100系列的資料中心晶片需求快速擴大，預期輝達上季財報優於預期，本季營收及EPS也將優於華爾街預期；Rosenblatt分析師預估，未來幾季輝達的晶片需求量，將比供應量高出50%，預期明年輝達的EPS將落在15至19美元之間，遠高於先前預測的10.35美元。
AI伺服器需求強 研調：2024年先進封裝產能增4成
研調機構TrendForce觀察AI應用帶動AI伺服器成長熱潮，對高階AI晶片及HBM（高頻寬記憶體）強烈需求、台積電2023年底CoWoS月產能有望達12K，NVIDIA在A100及H100等相關AI Server需求帶動下，對CoWoS產能較年初需求量，估提升近5成，加上AMD、Google等高階AI晶片需求成長下，將使下半年CoWoS產能吃緊，至2024年先進封裝產能將再成長3～4成。2023年由ChatBOT等生成式AI應用帶動AI伺服器成長熱潮，又以大型雲端業者最積極投入，包含Microsoft、Google、AWS或其他中系業者如Baidu、ByteDance等陸續採購高階AI伺服器，以持續訓練及優化AI分析模型。TrendForce指出，為提升整體AI伺服器的系統運算效能，以及記憶體傳輸頻寬等，NVIDIA、AMD、Intel等高階AI晶片中大多選擇搭載HBM。目前NVIDIA的A100及H100，各搭載達80GB的HBM2e及HBM3，在其最新整合CPU及GPU的Grace Hopper晶片中，單顆晶片HBM搭載容量再提升20%，達96GB。另外，AMD的MI300也搭配HBM3，其中，MI300A容量與前一代相同為128GB，更高階MI300X則達192GB，提升了50%。同時預期Google將於2023年下半年積極擴大與Broadcom合作開發AISC AI加速晶片TPU亦採搭載HBM記憶體，以擴建AI基礎設施。TrendForce指出，在AI較急促需求下，無論是HBM或CoWoS生產過程中，得後續觀察周邊配套措施，例如直通矽晶穿孔封裝技術（TSV）、中介層電路板（Interposer）以及相關設備（如濕製程設備）等是否能到位，如前置時間（Lead Time）等考量。而在AI強勁需求持續下，估NVIDIA針對CoWoS相關製程，亦不排除將評估其他類似先進封裝外援，例如Amkor或Samsung等，以因應可能供不應求的情形。
半導體女王蘇姿丰1／MI300X發布AMD股價反跌？ Lisa Su七月來台風潮再起
「我超興奮要呈現給你們」，AMD（超微）董事長蘇姿丰6月14日在「AMD資料中心與人工智慧技術發表會」上，手持「MI300X」昭告市場進軍生成式AI戰場；本刊獨家掌握，蘇姿丰（Lisa Su）將在7月中旬抵台舉辦發表會、拜訪供應鏈，預估將帶起不亞於NVIDIA（輝達）創辦人黃仁勳5月訪台的超級旋風。市場抱持AMD「MI300X」叫陣nVIDIA「 H100」的高期望，因此MI300X在登台之前就獲封「怪物晶片」。然而華爾街認為AMD未有如NVIDIA有OPEN AI這樣具體的出海口，較晚上市讓NVIDIA佔盡先機，令AMD股價在發布會後股價走跌、而NVIDIA再創高峰，至16日前者股價收報124.24美元、後者來到426.53美元。台灣供應鏈人士看完AMD的新品發布會，普遍指出MI300X最大賣點為「軟體環境完整、更高的兼容性」，「能夠結合處理器CPU與顯示晶片GPU」，縮短開發時間，加上「進入成本（TCO）相對低」，這對於初期需要快速大量普及的工業電腦、AI伺服器，是很大的誘因。業內專家分析，MI300X有進入成本低、能源效率高等優勢，因為先進封裝CoWoS技術令AMD能夠採用3D小晶片設計，有24個Zen 4內核的高速處理，為掌握生成式AI的關鍵「需有大量記憶體」，設計放進192GB高頻寬記憶體（HBM3），能源效率也比輝達高5倍。AMD已經開始對資料中心客戶送樣。輝達創辦人黃仁勳，5月出席COMPUTEX主題演講。（圖／報系資料照）供應鏈人士指出，黃仁勳與蘇姿丰在發表會後直衝台灣，不僅因為他們出生在台灣，更是因台廠能順利助輝達與AMD晶片上市。AMD、NVIDIA與台灣供應鏈早在20年前就開始進行生成式AI的生產製造與合作；最令人津津樂道的故事是黃仁勳找台積電創辦人張忠謀代工，而廣達AI伺服器採用NVIDIA產品，蘇姿丰即在2019年盛讚：「台灣是高速運算產業體系中心。」搭載生成式AI晶片的載具，從機構件、電源、散熱、配合的軟體等都要重新設計，加上供應鏈正面臨重配置，更要與廠商全面規畫布局。而蘇姿丰預估生成式AI市場以50％年複合成長率（CAGR）高速成長，從現在規模300億美元、2027年成長到1500億美元：「因大型語言模型驅動，AI成為下世代計算的關鍵技術… 一切都剛開始而已，還有好多好多機會和需求。AMD7月台灣發布會後，市場對MI300系列有更清楚了解。半導體產業人士指出：「輝達沒有CPU技術，而AMD因2006年買下具備CPU及GPU實力的加拿大ATI、2020年併入FPGA設計商 Xilinx，除了幫助顯示晶片設計，也多了跨界能力。」「輝達是頂規產品，就像跑車也能夠代步、但很貴，也不是什麼時候都需要寫複雜的文章；在圖形檢測、分類方面，就能用AMD的。」工業電腦樺漢董事長朱復銓表示，生成式AI伺服器比一般伺服器，價格高10～15倍以上；黃仁勳5月曾拜訪樺漢旗下AI伺服器子公司超恩（Vecow），對於記者詢問蘇姿丰會不會也安排前往參觀？朱復銓未置可否。生成式AI伺服器。（圖／取自AMD官網）
美光產品遭中國禁售 陸行之：南亞科等誰受惠？股癌「台模組廠開始拉貨了」
中國國家互聯網信息辦公室（網信辦）昨天（21日）晚間宣布，美光公司（Micron）在中國銷售的產品，具較嚴重網安隱患，影響國安，做出不予通過網安審查結論，消息一出引發市場關注。資深半導體分析師陸行之在其臉書發文分享5大觀察點，知名股市Podcast股癌也分享看法。網信辦表示此次對美光產品啟動網安審查，目的是防範產品網安問題危害國家關鍵資訊基礎設施安全，是維護國安的必要措施。中國政府並宣示，仍堅定推動高水準對外開放，只要遵守法律法規要求，歡迎各國企業、各類平台產品服務進入中國市場。鑒於中國政府開始報復美國半導體公司，陸行之在其臉書發文，分享5大重點觀察：一、陸行之指出，金融時報曾報導美國拜登政府之前要求三星、SK海力士不要補缺口，三星、SK海力士有可能乖乖聽話嗎？二、如果三星，海力士不補缺口，合肥長鑫、長江存儲、台灣南亞科技及kioxia/WDC應該是比較大的受惠公司？三、陸行之要大家猜猜誰會是下一家？還有哪家有結怨的，而且不具獨占性的？四、之前新聞已經報導，而且美光中國大陸銷售佔比好像已經降到不到2%，但搞不清楚香港占比多少，美光股價22日還會反應嗎？五、美光跟伺服器CPU及AI GPU整合一起的高頻寬記憶體（HBM），不知道算不算，這個可能已經在台灣封裝完成，很難拆分，要是不買，就連A800、H800、MI 300都不用買了。股癌也在臉書發文分享其想法：一、股癌認為此舉是對美國禁長鑫存儲（CXMT）、長江存儲（YMTC）的反制裁報復。二、股癌指出，四月時金融時報就報導美國政府希望韓國力促三星、SK海力士等晶片製造商不要填補任何市場缺口，所以此次事件早已預見。三、公司派持續降低對中風險，現在大概小於10%。四、13F有不少基金經理人砍美光科技持股，應是此因。五、記憶體類似大宗商品走風景空氣循環，判斷影響有限公司。六、股癌認為這次制裁類似原油玩法，被制裁的和不怕被制裁的一個圈圈，其他國家以美國為主要的一個圈圈，總體需要還是會繼續增加。七、股癌指出，記憶體最大的隱憂應該是在手機恢復不如預期，資料中心需要修一修會回去、AI需要沒法補漏洞（高效能DRAM HBM3為主美光也沒有出給NVDA）。最後，股癌強調最重要的是台灣模組廠賭開始拉貨了，表示模組廠看過好幾次風景空氣循環，股癌相信模組廠認為這邊是低點。
AI伺服器需求帶動 研調：SK海力士今年HBM市占率將逾五成
AI伺服器出貨動能強勁帶動高寬頻記憶體（high bandwidth memory，HBM）需求提升，TrendForce研究顯示，2022年三大原廠HBM市占率分別為SK海力士（SK hynix）50%、三星（Samsung）約40%、美光（Micron）約10%。SK海力士作為目前唯一量產新世代HBM3產品的供應商，其整體HBM市占率可望藉此提升至53%，而三星、美光則預計陸續在今年底至明年初量產，HBM市占率分別為38%及9%。高階深度學習AI GPU的規格也刺激HBM產品更迭，2023下半年伴隨NVIDIA H100與AMD MI300的搭載，三大原廠也已規劃相對應規格HBM3的量產。目前NVIDIA所定義的DL/ ML型AI伺服器平均每台均搭載4張或8張高階顯卡，搭配兩顆主流型號的x86 伺服器CPU，而主要拉貨力道來自於美系雲端業者Google、AWS、Meta與Microsoft。據TrendForce統計，2022年高階搭載GPGPU的伺服器出貨量年增約9%，其中近80%的出貨量均集中在中、美系八大雲端業者。展望2023年，Microsoft、Meta、Baidu與ByteDance相繼推出基於生成式AI衍生的產品服務而積極加單，預估今年AI伺服器出貨量年增率可望達15.4%，2023~2027年AI 伺服器出貨量年複合成長率約12.2%。TrendForce調查，伺服器Server DRAM普遍配置約為500~600GB左右，而AI伺服器在單條模組上則多採64~128GB，平均容量可達1.2~1.7TB之間。以Enterprise SSD而言，由於AI伺服器追求的速度更高，其要求優先往DRAM或HBM滿足。相較於一般伺服器而言，AI伺服器多增加GPGPU的使用，因此以NVIDIA A100 80GB配置4或8張採計，HBM用量約為320~640GB。未來在AI模型逐漸複雜化的趨勢下，將刺激更多的記憶體用量，並同步帶動Server DRAM、SSD以及HBM的需求成長。