來源：半導體產業縱橫
00後華裔小哥哈佛輟學組團挑战英偉達。
近日，美國新興的芯片創業公司Etched發布其首款AI芯片——Sohu。
這款芯片在運行大型模型時展現出了驚人的性能，其速度超越了行業巨頭英偉達的H100高達20倍，即便是與今年3月才面世的頂尖芯片B200相比，Sohu也展現出超過10倍的優越性能。
Etched表示，它已在 A 輪融資中籌集了 1.2 億美元，公司計劃利用這筆資金進一步开發其專用芯片。
這家公司成立僅兩年，由兩位哈佛輟學生Gavin Uberti和Chris Zhu創辦。兩人曾在2022年就打賭Transformer將改變世界。領英資料也顯示公司創立時間在2022年10月，比ChatGPT問世還早一個月。
這家總部位於舊金山的公司旨在制造一種專用處理器，用於運行一種特定的人工智能模型，這種模型被 OpenAI 的 ChatGPT 和谷歌廣泛使用。
英偉達在服務器 AI 芯片市場佔據主導地位，約佔銷售額的 80%。英偉達的通用 AI 芯片能夠處理一系列計算應用程序，但比專門用於執行特定功能的處理器消耗更多的能源。按市值計算，英偉達是美國最大的公司。
值得一提的是，該公司的天使投資人包括 Peter Thiel、Stanley Druckenmiller、 David Siegel、Balaji Srinivasan、Amjad Masad、Kyle Vogt、Kevin Hartz、Jason Warner、Thomas Dohmke、Bryan Johnson、Mike Novogratz、Immad Akhund、Jawed Karim 和 Charlie Cheeve。
泰爾獎學金主任亞歷克斯·漢迪 (Alex Handy) 在一份聲明中表示：“投資 Etched 是對人工智能價值的战略押注。他們的芯片解決了競爭對手不敢解決的可擴展性問題，挑战了同行普遍存在的停滯不前現象。Etched 的創始人體現了我們支持的非傳統人才——從哈佛輟學，進軍半導體行業。他們付出了艱苦的努力，以便硅谷的其他人可以繼續安心地編程，而不必擔心他們正在研究的任何底層技術。”
“這家公司有點像是在下賭注。”首席執行官加文·烏貝蒂在接受採訪時說。Etched 與中國台灣半導體制造公司合作制造芯片。Uberti 表示，公司需要 A 輪融資來支付將設計發送給台積電以及制造芯片的成本，這一過程被稱爲流片芯片。
該公司沒有透露其估值。在 2023 年 3 月進行 540 萬美元的種子融資時，投資者對該公司的估值爲 3400 萬美元。
Etched 的芯片
Etched 的芯片名爲 Sohu，是一款 ASIC（專用集成電路）。Uberti 聲稱，Sohu 採用台積電的 4nm 工藝制造，可以提供比 GPU 和其他通用 AI 芯片更好的推理性能，同時消耗更少的能源。
Uberti 表示：“在運行文本、圖像和視頻轉換器時，Sohu 的速度甚至比 Nvidia 的下一代 Blackwell GB200 GPU 快一個數量級，而且成本更低。一台 Sohu 服務器可取代 160 個 H100 GPU。……對於需要專用芯片的企業領導者來說，Sohu 將是一個更經濟、更高效、更環保的選擇。”
Uberti表示，自他們成立以來，每個主要的 AI 模型（ChatGPT、Sora、Gemini、Stable Diffusion 3、Tesla FSD 等）都變成了 transformer。不過，如果 transformer 突然被 SSM、monarch 混合器或任何其他類型的架構取代，Etched 的芯片將毫無用處。
“但如果我們是對的，Sohu將改變世界，”Uber信心滿滿地說。
對於Transformer技術而言，Sohu無疑是目前市場上最快的芯片，其性能與其他產品之間存在顯著的量級差異。一台 Sohu 的服務器運行 Llama 70B 每秒可輸出超過 50 萬個 token，比 H100 服務器（23,000 個 token / 秒）多 20 倍，比 B200 服務器（約 45,000 個 token / 秒）多 10 倍。
據介紹，Sohu 僅支持轉換器推理，無論是 Llama 還是 Stable Diffusion 3。Sohu 支持當今的所有模型（Google、META、Microsoft、OpenAI、Anthropic 等），並且可以處理對未來模型的調整。
由於 Sohu 只能運行一種算法，因此可以刪除絕大多數控制流邏輯，從而允許它擁有更多的數學塊。因此，Sohu 擁有超過 90% 的 FLOPS 利用率（而使用 TRT-LLM 的 GPU7 上約爲 30%）。
Etched提出，GPU在過去四年間效率並沒有變得更好，只是變得更大了：芯片每平方毫米的的TFLOPS幾乎持平。
事實上黃仁勳也在今年GTC大會上提出：“我們需要更大的GPU，如果不能更大，就把更多GPU組合在一起，變成更大的虛擬GPU。”
在Etched看來，隨着摩爾定律放緩，同時在性能和效率上取得突破的方法只剩下專用化。
不過對Etched和Sohu芯片，業界也有人提出質疑。
曾撰寫爆火教程“2023年性價比GPU選購指南”的華盛頓大學博士生Tim Dettmers指出，Etched官方的測試數據中GPU的性能可能並不是當前SOTA方法。
創始人Uberti解釋H100的數據取自英偉達官方測試。
也有人不看好的原因是，Transformer之後還是會有下一個重大架構突破。
曾有投資人透露，至少有6家公司正在祕密开發Transformer專用ASIC芯片，現在看來Etched只是浮出水面的第一家。
*聲明：本文系原作者創作。文章內容系其個人觀點，我方轉載僅爲分享與討論，不代表我方贊成或認同，如有異議，請聯系後台。
標題：史上最快AI芯片Sohu，推理性能超B200十倍
地址：https://www.utechfun.com/post/389849.html