根據 TrendForce 研究指出，2023 年由 ChatBOT 等生成式 AI 應用帶動 AI 伺服器成長熱潮，又以大型雲端業者最積極投入，包含 Microsoft、Google、AWS 或其他中系業者如 Baidu、ByteDance 等陸續採購高階 AI 伺服器，以持續訓練及優化其 AI 分析模型。高階 AI 伺服器需採用的高階 AI 晶片，將推升 2023-2024 年高頻寬記憶體（HBM）的需求，並驅動先進封裝產能 2024 年將成長三到四成。

TrendForce指出，為提升整體AI伺服器的系統運算效能，以及記憶體傳輸頻寬等，NVIDIA、AMD、Intel等高階AI晶片中大多選擇搭載HBM。目前NVIDIA的A100及H100，各搭載達80GB的HBM2e及HBM3，在其最新整合CPU及GPU的Grace Hopper晶片中，單顆晶片HBM搭載容量再提升20%，達96GB。另外，AMD的MI300也搭配HBM3，其中，MI300A容量與前一代相同為128GB，更高階MI300X則達192GB，提升了50%。同時預期Google將於2023年下半年積極擴大與Broadcom合作開發AISC AI加速晶片TPU亦採搭載HBM記憶體，以擴建AI基礎設施。

TrendForce預估，2023年市場上主要搭載HBM的AI加速晶片（如NVIDIA的H100及A100、AMD的MI200及MI300及Google的TPU等），搭載HBM總容量將達2.9億GB，成長率近六成，2024年將持續成長三成以上。

此外，AI及HPC等晶片對先進封裝技術的需求日益提升，其中，以TSMC的CoWoS為目前AI 伺服器晶片主力採用者。CoWoS封裝技術主要分為CoW和oS兩段，其中，CoW主要整合各種Logic IC（如CPU、GPU、AISC等）及HBM記憶體等，另外，oS部分則將上述CoW以凸塊（Solder Bump）等接合，封裝在基板上，最後再整合到PCBA，成為伺服器主機板的主要運算單元，與其他零組件如網路、儲存、電源供應單元（PSU）及其他I/O等組成完整的AI伺服器系統。

TrendForce觀察，估計在高階AI晶片及HBM強烈需求下，TSMC於2023年底CoWoS月產能有望達12K，其中，NVIDIA在A100及H100等相關AI Server需求帶動下，對CoWoS產能較年初需求量，估提升近五成，加上AMD、Google等高階AI晶片需求成長下，將使下半年CoWoS產能較為緊迫，而此強勁需求將延續至2024年，預估若在相關設備齊備下，先進封裝產能將再成長三到四成。

TrendForce指出，值得注意的是，在AI較急促需求下，無論是HBM或CoWoS生產過程中，得後續觀察周邊配套措施，例如直通矽晶穿孔封裝技術（TSV）、中介層電路板（Interposer）以及相關設備（如濕製程設備）等是否能到位，如前置時間（Lead Time）等考量。而在AI強勁需求持續下，估NVIDIA針對CoWoS相關製程，亦不排除將評估其他類似先進封裝外援，例如Amkor或Samsung等，以因應可能供不應求的情形。

註：本文高階AI Server指搭載高階AI晶片的Sever設備， 針對如大型CSPs或HPC等AI模型訓練應用， 高階AI晶片包含如NVIDIA的A100或H100， 或AMD的MI200、MI300，或Intel的Max GPU等。Samsung主力先進封裝技術為Cube系列，如I- Cube、H-Cube、X-Cube等； Amkor先進封裝技術涵蓋晶圓級封裝（WLP）、覆晶封裝、 系統級封裝等。

（首圖來源：shutterstock）