導讀：
NVIDIA 創始人兼首席執行官黃仁勳在 GTC 2024 主題演講上表示：下一波 AI 浪潮將是 AI 對物理世界的學習。
當下，全球範圍內價值超過50萬億美金的行業正在競相實現數字化，數字孿生技術正在賦能千行百業。NVIDIA Omniverse 中國區業務負責人何展表示，AI 正在進入物理世界。每一棟建築、每一個倉庫、每一個工廠，都將實現 AI 化，並持續優化。新一代的數字孿生更需要使用數字化的技術、模擬世界的技術，來訓練和測試 AI。
生成式 AI 有望徹底改變它所觸及的每一個行業，掌握技術是迎接挑战的關鍵。而我們想要的 AI 一定是值得信賴的、高性能的，這樣級別的 AI，需要在一個遵守物理定律的數字孿生世界中進行模擬、驗證和仿真。
來聽 NVIDIA 英偉達的專家們聊聊，如何將物理世界模擬和 AI 融合在一起。
01
NVIDIA 的“三大靈魂”
今年的 GTC 主題演講上，黃仁勳說：“計算機圖形學、物理學引擎模擬仿真和 AI 是 NVIDIA 的靈魂所在。”
1、計算機圖形學
衆所周知，NVIDIA 是靠圖形學起家的。何展表示，不誇張地說，幾乎每一位 NVIDIA 的員工都以此爲傲。利用 NVIDIA 的底層技術，开發者們可以將現實世界中每一個真實存在物品，都極度逼真地渲染及模擬出來。
2、 物理世界模擬技術
有了可以以假亂真的計算機圖形學技術，做出了好的數字資產，要真正賦能到應用，還缺一個要素——物理世界模擬技術。
來看兩個例子，一個是從宏觀的世界去模擬，一個是在極其微小的粒子世界裏做模擬技術，以賦能應用。
通過 Omniverse 渲染引擎模擬粒子爆炸的實際情況，運用大量的計算去模擬真實的粒子分析，並且加速了很多倍，以呈現真實的效果。
微觀世界分子結構異常復雜的設計也需要模擬，且物理准確模擬非常重要。一個簡單的例子，如果模擬精准度不夠真實，那么我們今天的靶向藥物治療等方式，就都是無效的。
3、 AI 技術
過去幾年，AI 技術的變革顛覆了衆多行業。有了 AI 的加持，Omniverse 也帶來了全新的功能和體驗。
怎樣通過 AI 技術快速構建一座數字孿生工廠？首先用 2D 的 PDF 圖紙，通過文字描述生成 3D 結構，用到的工具是 NVIDIA 的 DeepSearch，可以通過深度學習的方式檢索出你想要的模型資產，並放置在數字孿生環境中。接着調用SA軟件 BlenderGPT，通過文字生成工廠系統。再用 Adobe 通過文字生成大理石地面。然後通過其他軟件生成 GIS 數據，最終一個數字孿生工廠的 Demo 便完成了。
這一過程較傳統設計有了巨大的變化，無需操作其他軟件，只需通過文字和 Omniverse 便完成了這樣一個復雜的數字孿生制作過程。過去，如此復雜、專業的設計需要科班出身的設計師以及在工廠的實踐經驗才能完成。現在，NVIDIA 提供的技術和平台可以讓每個用戶，只需輸入文字、會使用 Omniverse 的平台軟件，就可以完成。
這就是 AI 和 Omniverse 結合之後實現的全新設計流程。
以上，NVIDIA 的三大靈魂，融合起來就是 Omniverse 。數據顯示，Omniverse 由超過300萬行的代碼編寫而成，在全球範圍內已經集成和整合了超過240款工具軟件。如今，Omniverse 的數字孿生幾乎無處不在，涵蓋汽車、制造、媒體、建築、能源、科學運算仿真等等各行各業。
02
融合三大靈魂的 Omniverse
能做什么？
“三大靈魂”全部融合在一起，能做什么？
全球氣候模型 Earth-2，需要進行 3D 交互式的天氣和季候數據的數字孿生模型，不僅要訓練大量的數據，還要把它們數字化。在這個模型中，我們可以看氣象的走向、大氣河的流動，還能看到颶風，並且精確到1公裏範圍內，以幫助人類預測它的准確路徑。充分應用了圖形學、物理世界模擬仿真，以及 AI。
能否用“三大靈魂”分析更多事呢？如何把這些技術融入到真實的企業應用環境中至關重要。
比如，用 AMR 小車（自主移動機器人）眼中的數字孿生，同時還制作了大量“場站”數字孿生，以及工作人員視角下的數字孿生，這么多的數字孿生，通過 USD API，連接到 Omniverse Cloud 上，整合背後超強的算力，不斷優化布局，來響應突發事件的管理，以及和 LLM 一系列的交互。
每一個場站的布局背後都有很多的數字孿生模型，就像有一只無形的手在操作，這個手就是 AI Agents，輔助這個標點符號裏每一個場站 ARM 小車最優的路徑，這就是物理世界和數字世界交互的一個非常生動的例子。
給一輛小車布一個最優路徑嘗試一下，再給它一個突發事件，看它如何實時調整路徑。假設這邊貨架突然倒塌，它能否及時調整路徑？可以看到，ARM 小車不但重新規劃了自己的路徑，路過時還對 AI Agents 說：“我感覺出現問題了，你趕緊去處理。”這個過程背後技術的復雜程度其實是非常高的，同時需要數字孿生模型、AI 和算力。
而隨着各行業競相將自己重塑爲軟件驅動的科技公司，每個領域的生成式 AI 也都如雨後春筍般興起，3D 數據正在實現互操作性，高級圖形學以及從邊緣到雲的仿真計算能力的進步，都爲各行業的物理流程數字化帶來了全新機遇。
03
仿真工作流 加速 AI 訓練
今年 GTC 上，Omniverse 帶來的最大更新便是 Omniverse Cloud API，把 Omniverse 放到雲端，提供一個應用程序編程接口 API，讓开發人員可以將 Omniverse 最核心的技術直接集成到已有的應用層和工作流中。
Omniverse 不僅可以幫助全球工業企業加速自動駕駛車輛、人形機器人、智能倉儲、大規模智慧城市等工作流程，Omniverse Cloud API，更將爲基於 AI 的數字孿生仿真工作流的訓練、模擬，以及後階段的部署帶來全新加速。
隨着全球自動駕駛汽車和機器人需求的不斷增加，AI 开發人員可能需要更多的傳感器數據來進行訓練、測試、驗證這些 AI 的感知系統，而這些感知系統可以通過傳感器模擬方式去實現一個合成數據的 1:1 數字孿生世界，在 Omniverse 構架的虛擬世界裏進行訓練、測試、仿真、驗證等。這些合成數據都需要物理上非常精確的、符合物理定律的渲染。
AI 是如何在虛擬世界中進行訓練的？
AI 和仿真最重要的是軟件在環（SIL）和硬件在環（HIL）。將所有機器人、自動駕駛汽車、自主移動設備、傳感器全部仿真放在 Omniverse 裏，環境、場景都是實時渲染出來的，以實時喂料的方式喂給機器人的傳感器，傳感器看到的數據是假的，傳感器本身也是虛擬出來的，汽車傳感器看到的畫面也是合成數據。把虛擬傳感器捕捉到的數據，和汽車傳感器得到的數據融合在一起，放在數字孿生裏渲染，稱之爲 SIL。將 SIL 裏訓練好的模型，部署到硬件設備上，再做物理的路測或環境測試，叫做 HIL。做強化學習的時候，要確保學習環境是真實有效的，訓練好的模型也是真實有效的，最後再到物理世界去部署。
最終，機器人系統、AI 和 Omniverse 形成了技術閉環。
04
Omniverse 登錄 Apple Vision Pro
全球最受矚目的兩家科技巨頭攜手，NVIDIA 與 Apple 一起，把 Omniverse 帶到了 Apple Vision Pro 中去，將許多 3D 工作流尤其是工業環境下的數字孿生的工作流遊戲化，打破了傳統的工業工作流程。
Omniverse 裏的 GPU 是頂尖的 RTX GPU，三大核心點：
1.傳統着色的部分，可以用來做像素的渲染，確保畫面是美輪美奐的；
2.光线追蹤加速，用包裹體便利的方式去做實時光线追蹤，延遲更低，幀率更高，與用戶的互動性也更強；
3. Tensor，RTX GPU 裏有針對張量運算的 tensor 運算，還可以加速 AI 的訓練，如大模型、GenA、neural graphics、NeRF 等，都可以用 AI 去運算。
在雲端 Omniverse API 連接各種應用程序，基於 USD 或 OpenUSD 打通數字資產之間的連接和調用，再通過 RTX GPU 強大的算力和符合物理定律的實時光线追蹤完成畫面渲染，最後呈現在 Apple Vision Pro 用戶眼前的就是真實的 3D 空間場景。
Omniverse 強大的空間計算帶來的全新工作流，使得設計師可以在 Apple Vision Pro 裏實現沉浸式體驗，以及人、產品、流程與物理空間之間的無縫互動。在 MR 裏設計出的虛擬產品將與物理世界中的實際產品一模一樣，所見即所得，想想都令人興奮。
結語：
波士頓咨詢公司（BCG）對企業最高管理層的調查顯示，近四分之三的管理者計劃在今年增加公司的技術投資，89% 的管理者將 AI 和生成式 AI 列爲前三大優先事項中。超半數的企業希望利用 AI 提高生產力、改善客戶服務和提升 IT 效率，以實現降本增效。
“AI 已經進入了物理世界。未來將是可生成的。”
END
圖 | NVIDIA官網
原文標題 : 對話NVIDIA英偉達：AI已照進現實
標題：對話NVIDIA英偉達：AI已照進現實
地址：https://www.utechfun.com/post/368853.html