AI服務器：接口互連芯片技術
By Casey
根據Trend Forcerr的數據，AI服務器的出貨量約爲13萬台，約佔全球服務器出貨量的1%。展望2023年，Microsoft、Meta、Baidu、ByteDance等相繼推出基於生成式AI的產品和服務，並積極增加訂單。預計2023年AI服務器出貨量年增長率將達到15.4%，並且隨着ChatGPT未來對AI服務器的需求，預計2023年至2027年AI服務器復合年增長率將達到12.2%。
DGX H100於2022年推出，是NVIDIA DGX系統的最新版本，也是NVIDIA DGX SuperPOD的基礎。DXG服務器配備8個H100 GPU、6400億個晶體管，在全新FP8精度下提供比上一代提升6倍的AI性能，提供900GB/s的帶寬。
圖片來源：NVIDIA
DGX H100服務器內部，藍色塊爲IP網卡，既可以充當網卡，也可以起到PCIe Switch擴展的作用，成爲連接CPU和GPU（H100）之間的橋梁。其在內部使用PCle 5.0標准。另外，CX7被分成2張卡，以網卡芯片的形式插入服務器，每張卡由4個CX7芯片組成，輸出2個800G OSFP光模塊接口。
GPU（H100）之間的互連主要通過NV Switch芯片實現。DGXH100中的每個GPU向外擴展18個NVLink，每個鏈路的雙向帶寬爲50 GB/s，總計18*50GB/s=900GB/s的雙向帶寬，分爲4個板載NV Switch，因此每個NV Switch對應4-5個OSFP光模塊，共18個。每個OSFP光模塊採用8個光通道，每通道傳輸速率爲100Gbps，因此總速率達到800Gbps，可實現高速數據傳輸。
CPU、GPU等組件互連：PCIE Switch、Retimer芯片
PCIe Switch，又稱爲PCIe交換機或PCIe集线器，主要用於互連PCIe設備，PCIe Switch芯片與其設備的通信協議爲PCIe。由於PCIe鏈路通信是一種端到端的數據傳輸，因此Switch需要提供擴展或聚合能力，以允許更多的設備連接到一個PCle端口，解決PCIe通道數不足的問題。目前，PCIe Switch不僅在傳統存儲系統中得到廣泛應用，而且在一些服務器平台中也逐漸普及，以提高數據傳輸的速度。
PCIe總线技術升級，PCIe Switch速度逐代提升。PCIe總线是PCI總线的高速串行替代品。2001年，Intel宣布推出第三代I/O技術來取代PCI總线，稱爲“3GIO”。2002年，該技術經PCI特別興趣小組（PCI-SIG）審查後，正式更名爲“PCI Express”，標志着PCIe的誕生。2003年，PCIe 1.0正式發布，支持每通道250MB/s的傳輸速率，總傳輸速率爲2.5 GT/s。2007年，PCI-SIG宣布推出PCI Express Base 2.0規範。基於PCIe 1.0，總傳輸速率提高了一倍，達到5GT/s，每通道傳輸速率從250MB/s提升至500MB/s。2022年，PCI-SIG正式發布PCIe 6.0規範，將總帶寬提升至64 GT/s。
圖片來源：Wikipedia
隨着PCIe越來越多地應用於服務器，PCIe Switch的市場需求也隨之增加。據QYResearch統計和預測，2021年全球PCIe芯片市場銷售額達到7.9億美元，預計2028年將達到18億美元，復合年增長率（CAGR）爲11.9%。
中國是PCIe Switch最大的市場。隨着服務器對海量數據存儲和傳輸的需求增加，在大數據、雲計算、人工智能等領域，需要大量的高速互連解決方案來實現海量數據傳輸。PCIe Switch作爲一種高速互連解決方案，在中國市場有着巨大的需求。
在AI服務器中，至少需要一顆Retimer芯片來保證GPU和CPU連接時的信號質量。具體點，很多AI服務器都會配置多顆Retimer芯片，比如Astera Labs在AI加速器中配置了4個Retimer芯片。
PCIe Retimer是一個藍海市場，擁有三大領先制造商和許多潛在競爭對手。目前，在PCIe Retimer藍海市場上，Parade Technologies、Astera Labs和Montage Technology是三大廠商，佔據主導地位。其中，Montage Technology較早部署PCIe，是中國大陸唯一一家能夠量產PCIe 4.0 Retimer的供應商，其PCIe 5.0 Retimer开發進展順利。
此外，Renesas、TI、Microchip Technology等芯片廠商也積極參與PCIe Retimer的產品开發。根據官網信息，Renesas可提供兩款PCIe 3.0 Retimer產品，分別是89HT0816AP和89HT0832P；TI可提供16Gbps 8通道PCIe 4.0 Retimer——DS160PT801；同樣，Microchip Technology於2020年11月發布了Xpress Connect系列Retimer芯片，可支持PCIe 5.0的32GT/s速率。
GPU-GPU連接：NVLink、NVSwitch
全球芯片廠商都在關注高速接口的相關技術。除了NVIDIA的NVLink之外，AMD的Infinity Fabric和Intel的CXL（Compute Express Link）也爲服務器內部的高速互連提供了解決方案。
不斷更新的NVlink引發了高速互連技術的一場革命。NVLink是NVIDIA开發的一項高速互連技術，旨在加快CPU與GPU、GPU與GPU之間的數據傳輸速度，提高系統性能。從2016年到2022年，NVLink已經迭代到第四代。2016年，NVIDIA發布了全新的高速接口芯片——NVLink，由Pascal GP100 GPU搭載。這是第一代NVLink。NVLink採用高速信號互連（NVHS）技術，主要用於GPU與GPU、GPU與CPU之間的信號傳輸。GPU以NRZ（不歸零）編碼形式傳輸差分阻抗電信號。第一代NVLink單鏈路可實現40GB/s的雙向帶寬，單芯片可支持4條鏈路，即160GB/s的總雙向帶寬。
NVLink技術經歷了多次迭代和更新，引發了高速互連技術的創新浪潮。2017年，基於Volta架構的第二代NVLink發布，可實現每鏈路50GB/s的雙向帶寬，每芯片支持6條鏈路，即總雙向帶寬300GB/s。2020年，基於Ampere架構的第三代NVLink發布，可實現每鏈路50GB/s的雙向帶寬，每芯片支持12條鏈路，即總雙向帶寬600GB/s。2022年，基於Hopper架構的第四代NVLink發布，將傳輸信號改爲PAM4調制電信號，並且可以實現每鏈路50GB/s的雙向帶寬，每芯片支持18個鏈路，即總雙向帶寬爲900 GB/s。
2018年，NVDIA發布了第一代NVSwitch，爲提高帶寬、降低延遲，以及實現服務器內多個GPU之間的通信提供了解決方案。第一代NVSwitch採用台積電12nm FinFET工藝制造，擁有18個NVLink 2.0接口。一台服務器可以通過12個NVSwitch支持16個V100 GPU，實現與NVLink的最高互連速度。
目前，NVSwitch已經迭代到第三代。第三代NVSwitch採用台積電4N工藝打造，每個NVSwitch芯片有64個NVLink 4.0端口。GPU之間的通信速度可以達到900GB/s，並且這些通過NVLink Switch連接的GPU，可以用作具有深度學習能力的單個高性能加速器。
CPU和DRAM之間的高速互連，推動了對內存接口芯片的需求
服務器內存模組的主要類型是RDIMM和LRDIMM，相對於其他類型的內存模組，這兩種類型對穩定性、糾錯能力和低功耗有更高的要求。內存接口芯片是服務器內存模塊的核心邏輯器件，是服務器CPU訪問內存數據的必經路徑。其主要作用是提高內存數據訪問的速度和穩定性，滿足服務器CPU對內存模塊日益增長的高性能和大容量的需求。
內存接口芯片的速度從DDR4到DDR5不斷提高。自2016年以來，DDR4已成爲內存市場的主流技術。爲了實現更高的傳輸速度，並支持更大的內存容量，JEDEC組織進一步更新和完善了DDR4內存接口芯片的技術規範。在DDR4一代中，從Gen1.0、Gen1.5、Gen2.0到Gen2plus，各子代內存接口芯片支持的最高傳輸速度都在不斷提高。DDR4的最後一個子代產品，Gen2plus，最大支持傳輸速度爲3200MT/s。隨着JEDEC組織不斷完善DDR5內存接口產品的規範定義，DDR5內存技術正在逐步取代DDR4內存技術。
目前，DDR5內存接口芯片已規劃了三個子代，支持速率分別爲4800MT/s、5600MT/s、6400MT/s。業界預計未來可能還會再出現1-2個子代。
內存接口芯片按功能分爲兩種，即寄存器緩衝器（RCD）和數據緩衝器（DB）。RCD用於緩衝來自內存控制器的地址、命令和控制信號，DB用於緩衝來自內存控制器或內存顆粒的數據信號。
DDR5內存模塊的升級，爲內存接口芯片和模塊支持芯片帶來了新的機遇。2016年全球內存接口芯片市場規模約爲2.8億美元，2018年達到約5.7億美元，三年年化增長率達40%。DDR5的升級，將使內存接口芯片的市場規模邁上新台階。與DDR4相比，由於DDR5更高的支持速率和更復雜的設計，第一代DDR5內存接口芯片的起售價要高於DDR4內存接口芯片。同時，隨着DDR5內存在服務器和PC中的滲透率逐漸提高，DDR5相關內存接口芯片的市場規模有望實現快速增長。
內存接口芯片行業壁壘較高，已形成三足鼎立的格局。內存接口芯片屬於技術密集型行業，需要經過CPU、內存、OEM廠商各方面嚴格驗證後才能大規模使用，新玩家很難進入。隨着技術難度的不斷增加，內存接口芯片廠商的數量已經從DDR2代的10多家減少到DDR4代的只有3家。行業出清，三足鼎立的格局已經形成。在DDR5一代中，全球僅有3家供應商能夠提供DDR5第一子代的量產產品，分別是Montage Technology、Renesas Electronics（IDT）和Rambus。
標題：AI服務器：接口互連芯片技術
地址：https://www.utechfun.com/post/316532.html