在華爲於上海舉行的“華爲全聯接”（不是海思全聯接）大會上，輪值董事長徐直軍表示，由於美國對中國的制裁將是長期的，中國半導體制造工藝將長時期處於落後狀態。但是，人工智能爲中國智能算力的發展帶來了挑战，也帶來了機會。
今年的大會主題是共贏行業智能化（Amplify Intelligence）。徐直軍在2018年華爲全聯接大會上發布了華爲人工智能發展战略和全棧全場景AI解決方案，並把AI定位爲通用技術。2021年，徐直軍在華爲全聯接大會上，講述了盤古大模型使能各行各業智能化。
華爲從2018年开始，踏實推進AI發展战略，並在去年的華爲全聯接大會上，進一步明確了公司全面智能化的战略（All Intelligence）。當時，孟晚舟稱要致力於打造中國堅實的算力底座，爲世界構建“第二選擇”；任正非則認爲，我們即將進入第四次工業革命，基礎就是大算力，“直接做比美國更好的標准，除了中國用，全世界都會用。”
徐直軍認爲，對於智能化，每個行業、每個企業都有自己的探索，“我聽到取得了很多成果，同時也注意到還有很多困惑。”
最大的困惑，應該是如何准確客觀地認識中國算力的現狀和發展前景。“首先談一下算力，智能化必將是一個長期過程，而算力是智能化的關鍵基礎，過去是，未來也是。因此，智能化的可持續，首先是算力的可持續。而算力是依賴半導體工藝的，但我們必需要面對一個現實，那就是，美國在AI芯片領域對中國的制裁長期不會取消，而中國半導體制造工藝由於也受美國制裁，將在相當長時間處於落後狀態，這就意味着我們所能制造的芯片的先進性將受到制約。這是我們打造算力解決方案必需面對的挑战。”
但是，AI計算帶來了計算系統結構性的轉變。AI需要的是一個系統的算力，而不是單處理器的算力。這就爲華爲的架構創新和自主創新提供了可能。
徐直軍認爲，要充分抓住AI機會，發揮計算、存儲、網絡的集成優勢，就可能解決中國的算力問題。
“立足中國，只有基於實際可獲得的芯片制造工藝打造的算力才是長期可持續的，否則是不可持續的。華爲看到了挑战，也看到了機會和可能，更激發了我們創新的熱情。因爲人工智能正在成爲主導性算力需求，促使計算系統正在發生結構性變化，需要的是系統算力，而不僅僅是單處理器的算力。這些結構性變化，爲我們通過架構性創新，开創出一條自主可持續的計算產業發展道路，提供了機遇。”
華爲的战略核心就是，充分抓住人工智能變革機遇，基於實際可獲得的芯片制造工藝，計算、存儲和網絡技術協同創新，开創計算架構，打造“超節點+集群”系統算力解決方案，長期持續滿足算力需求。
對於華爲來說，超節點達到了數萬張卡，而集群可以實現去年任正非提出的數十萬張卡的系統算力。
智算系統正處於結構性轉變的活躍期。AI技術的大規模部署，最重需要的是系統的算力，而不是單處理器的算力，甚至不是單個超級數據中心的電力。
華爲的這一策略，其實也符合智能算力正在出現的發展趨勢之一。由於推動擴展定律的持續改進，AI 基礎設施的建設永無止境。在美國，領先的前沿 AI 模型訓練集群今年已擴展到10萬 個 GPU ，預計 2025 年將擴展到 30萬個以上的 GPU集群。考慮到許多物理限制，包括施工時間表、許可、法規和電力可用性，在單個數據中心站點同步訓練大型模型的傳統方法正在達到臨界點。
例如，雖然單個數據中心中在訓練大模型時爲同步梯度下降提供了穩定的收斂，但它也帶來了重大挑战，特別是在單個訓練作業中擴展到 10 萬多個芯片以上時，通信开銷會增加。同步特性還意味着對延遲有嚴格的要求，並且必須有一個連接所有芯片的大管道，因爲數據交換是以巨大的突發方式發生的。
單個數據中心會有利於訓練的同步性。但是，根據阿姆達爾定律，當有大量同步活動時，向工作負載添加更多芯片所帶來的加速效果會逐漸減少。隨着添加更多芯片，並且程序運行時需要同步的部分（即對應於保持串行且無法並行化的計算比例）保持不變，將達到理論極限，即使將 GPU 數量增加一倍，也無法使總體吞吐量增加超過 1%。
除了阿姆達爾定律所描述的將更多 GPU 擴展到單個工作負載的理論限制之外，同步梯度下降還存在實際挑战，例如落後者。當一個芯片慢了 10% 時，就會導致整個訓練運行慢 10%。Meta Llama 3的訓練就出現了大量的中斷情況。GPU的利用率也會下降。
Google、OpenAI 和 Anthropic 已开始實施計劃，將其大型模型訓練從一個站點擴展到多個數據中心園區。而Google擁有當今世界上最先進的計算系統，並率先大規模使用許多關鍵技術，而這些技術現在才被其他公司採用，例如其機架級液冷架構和多數據中心訓練。
爲了高效地連接多個超級節點，需要設計先進的網絡拓撲結構，這些拓撲結構能夠提供高帶寬、低延遲的通信環境。使用高速網絡技術或專用光纖網絡，可以確保超級節點之間的數據高速傳輸。同時也需要开發分布式訓練中的容錯技術。
華爲擁有世界領先的連接技術和光通信技術。而當算力對AI技術發展和部署的支持體現在系統級和基礎設施級時，包括中國的電力系統和可再生能源的發電量，“第二選擇”有可能走通的。
徐直軍展望，華爲的策略將解決中國的算力問題，用華爲雲的方式，也可以服務海外客戶。
標題：徐直軍：中國半導體將在相當長時間落後於美國，但我們有辦法解決算力問題
地址：https://www.utechfun.com/post/423221.html