NVIDIA 在SIGGRAPH大會上重點展示了最新NVIDIARTX 賦能的工具和應用程序,該大會是圖形與AI 交叉領域的年度大展。
這些AI科技提供了先進的光线追蹤和渲染技術,可在遊戲、虛擬現實、動畫和影視級特效中實現超寫實的圖形和身臨其境的體驗。RTXAI 個人電腦和工作站正在助力推動未來的交互式數字媒體、內容創作、生產力以及开發工作。
1 ACE 的AI 魔法
在SIGGRAPH爐邊談話中,NVIDIA創始人兼首席執行官黃仁勳介紹了 “James”—— 一款基於NVIDIANIM微服務構建的交互式數字人,該角色展現了AI驅動用戶交互的潛力。
James 是一個使用NVIDIAACE技術开發的客戶服務工作流虛擬助手,可以通過表情、幽默和上下文准確的響應與人類溝通。很快用戶將可以通過訪問ai.nvidia.com,與James 進行實時互動。
NVIDIA還介紹了用於遠程呈現的NVIDIAMaxine AI 平台的最新進展,以及正在使用NVIDIA ACE 技術的公司。NVIDIAACE 是一套通過生成式AI讓數字人栩栩如生的技術。這些技術通過 AI模型實現數字人類的开發,涵蓋語音和翻譯、視覺、智能、逼真的動畫和行爲,以及栩栩如生的外觀。
Maxine擁有兩項可增強遠程呈現場景下數字人體驗的AI 技術:Maxine 3D 和Audio2Face-2D。
开發者可以利用Maxine 和ACE技術,爲用戶打造更具吸引力、更自然的數字界面交互體驗,適用於客戶服務、遊戲和其他互動場景。這些先進技術將大大提升用戶體驗,讓數字互動更加生動有趣,仿佛與真人對話一般。
借助先進的AI 技術,NVIDIAACE 技術允許开發者設計能夠實時響應用戶的虛擬形象,具備逼真的動畫、語音和情感表現。這些虛擬形象將爲用戶帶來更加真實和互動的體驗。RTXGPU 可提供必要的計算能力和圖形保真度,以令人驚豔的細節和流暢性渲染ACE 虛擬形象。
隨着技術的不斷進步和日益廣泛的採用,ACE正在爲構建虛擬世界樹立新的標杆並激發了各行各業的創新。开發人員利用基於RTX GPU 的ACE技術,可以構建更加身臨其境的應用程序和先進的、基於AI 的交互式數字媒體體驗。
2 RTX更新爲創作者帶來AI 藝術
NVIDIAGeForce RTX 個人電腦和NVIDIA RTX 工作站正通過GPU 加速獲得升級,爲用戶提供增強的AI 內容創作體驗。
對於視頻編輯人員來說,RTXVideo HDR 現在可通過萬興科技旗下視頻創意軟件萬興喵影和 DaVinciResolve使用。有了這項技術,用戶可以將任何內容轉化爲高動態範圍視頻,在明暗場景中都能呈現更豐富的色彩和更多的細節,因此是遊戲、旅行或活動視頻制作的理想選擇。將RTX Video HDR 與RTX視頻超分辨率相結合,通過消除編碼僞影和增強細節,可進一步提高視覺質量。
視頻地址:https://images.nvidia.cn/cn/youtube-replicates/I2ZUGB8JZKc.mp4
RTX VideoHDR 需要將RTX GPU 連接到兼容HDR10 的顯示器或電視上。使用搭載RTX GPU的個人電腦用戶,可以將文件導入到萬興喵影桌面端應用程序,繼續通過本地RTX 加速進行編輯,並在GeForceRTX 4070 Ti 或更強GPU上借助雙編碼器使導出速度提高一倍。進一步了解萬興喵影經AI 賦能後的功能。流行媒體播放器VLC 在6月新增了對RTX 視頻超分辨率和RTX Video HDR 的支持,增加了AI 增強視頻播放功能。
如需了解更多信息,請參閱本博客中關於RTX賦能的視頻編輯部分以及 RTX視頻常見問題解答。進一步了解萬興喵影經AI 賦能後的功能。
此外,3D藝術家獲得了更多簡化和增強工作流的AI 應用和工具,包括Replikant、Adobe、Topaz和 GettyImages 等。
Replikant作爲人工智能輔助3D 動畫平台,目前正在集成一項ACE 技術NVIDIAAudio2Face,以改進脣部同步和面部動畫。通過利用NVIDIA 加速生成模型,用戶可以享受到由RTX 和NVIDIADLSS 技術增強的實時視覺效果。Replikant現已登陸Steam 平台。
AdobeSubstance 3D Modeler 增添了基於形狀檢索資產庫的功能,這一由AI 賦能的功能旨在根據即有3D形狀來簡化復雜形狀的替換和增強。這項新功能大大加快了原型設計的速度,並增強了設計工作流。
AdobeSubstance 3D 中的新AI 功能集成了先進的生成式AI 功能,增強了其紋理和材質創建工具。Adobe首次將其Firefly 生成式AI 功能集成到Substance 3D Sampler 和Stager中,使工業設計師、遊戲开發人員和視覺效果專業人員的三維工作流更加無縫和高效。
通過文本生成紋理和提示詞描述等功能,Substance3D 用戶可以生成逼真或風格化的紋理。這些紋理之後便可直接應用於3D模型。新的文本生成紋理和生成式背景功能顯著加快了傳統上耗時且復雜的3D 紋理繪制和合成的速度。
在NVIDIA RTX Tensor核心的支持下,Substance3D 能夠大大加快計算速度,並可實現更直觀、更具創造性的設計流程。這項开發以 Adobe的創新爲基礎,在Substance 3D 工作流中借助Firefly 進行了Creative Cloud 升級。
Topaz AI引入了NVIDIATensorRT 加速多GPU 工作流,使得多GPU 並行處理成爲可能,大幅提升渲染速度——使用兩塊GPU 比單塊GPU 系統快達2 倍,並且隨着GPU 數量的增加,速度還會進一步提升。
GettyImages 更新了其Generative AI by iStock服務,增加了新功能以改進圖像生成和質量。在NVIDIA Edify模型的加持下,其最新的增強功能可使生成四張圖像的時間達到六秒左右,比前代模型的性能提高了一倍,速度處於行業領先水平。改進後的文本生成圖像(Text-2-Image)和圖像生成圖像(Image-2-Image)功能提供了更高質量的結果,並且更好地符合用戶的提示詞要求。
GenerativeAI by iStock 用戶現在還可以指定攝像頭設置,如焦距(窄、標准或寬)和景深(近或遠)等。通過改進的生成式AI 超分辨率技術,圖像質量得到了顯著提升。該技術使用AI創建新的像素,大幅提高分辨率,同時避免過度銳化圖像。
3 令人驚嘆的LLM AI
ChatRTX是一種將大語言模型(LLM)連接到用戶數據的技術演示,用於快速查詢筆記、文檔或圖片。其目前正在進行UI 改進,以提供更簡潔、更完美的體驗。
ChatRTX還是一個开源參考項目,向开發人員展示如何通過RTX 加速構建功能強大的本地檢索增強生成(RAG) 應用。
今天發布的最新版ChatRTX 採用了Electron + Material UI框架,使开發人員可以更輕松地添加他們自己的UI元素或擴展新功能。這次更新還包括一個新的架構,該架構不僅簡化了不同UI 的集成,還簡化了在ChatRTX後端應用程序編程接口基礎上構建新聊天和檢索增強生成(RAG)應用的過程。
最終用戶可從ChatRTX網頁下載最新版本的ChatRTX。开發人員可在ChatRTXGitHub 代碼庫中找到新版本的源代碼。
MetaLlama 3.1-8B 模型現已針對 NVIDIAGeForce RTX PC 和NVIDIA RTX 工作站的推理進行了優化。這些模型由 NVIDIATensorRT-LLM(一款可加速LLM 推理性能的开源軟件)提供原生支持。
4 戴爾的AI 聊天機器人:利用RTX Rocket Fuel
戴爾展示了企業如何利用NVIDIA AI Workbench 和基於Llama 3 的NVIDIA NIM 微服務,通過優化的檢索增強生成(RAG)聊天機器人來推動AI 开發。借助NVIDIAAI Workbench Hybrid RAG項目,戴爾展示了如何利用聊天機器人與企業數據的本地向量數據庫的進行對話,並以下列三種方式之一進行推理:
- 在本地 Hugging Face TGI 服務器上
- 在雲端使用 NVIDIA 推理端點
- 在自托管的 NVIDIA NIM 微服務上
了解更多關於AIWorkbench Hybrid RAG 項目的信息。SIGGRAPH與會者可在戴爾科技的301展位親身體驗這項技術。
5 HP AIStudio:利用CUDA-X 和Galileo 加速創新
惠普在SIGGRAPH 大會上展示了集中式數據科學平台Z by HP AI Studio。AIStudio 於2023年10月發布,目前借助最新的NVIDIACUDA-X 資源庫以及惠普最近與生成式AI 信任層公司Galileo 的合作得到了增強。主要優勢包括:
- 更快地部署項目: 快速配置、連接和共享本地及遠程項目。
- 輕松協作:輕松訪問和共享數據、模板和實驗。
- 自由工作:選擇在何處處理數據,在在线和離线模式之間輕松切換。
AI Studio旨在提高生產力和簡化AI开發,讓數據科學團隊專注於創新。敬請蒞臨惠普的501展台,了解AI Studio 如何利用RAPIDScuDF 來增強數據預處理,加速AI 工作流。申請提前訪問AIStudio。
6 StableDiffusion 的RTX 速度大增
StableDiffusion 3 是Stability AI 的最新模型,經TensorRT 優化後速度提高了60%。
視頻地址:https://images.nvidia.cn/cn/youtube-replicates/KA8kOsooDcw.mp4
一項針對Stable Diffusion 3 進行性能優化的NIM 微服務目前可通過訪問ai.nvidia.com進行預覽。
現在還來得及與NVIDIA一道參加SIGGRAPH大會,了解RTX AI如何改變內容創作和視覺媒體體驗的未來。此次大會將持續到8 月1 日。
生成式AI正在給各式各樣的圖形和交互體驗帶來變革。請訂閱《解碼AI》時事通訊,我們每周都會將新鮮資訊直接投遞到您的收件箱。
標題:揭祕RTX助力的工具和應用 如何幫助开發者加速AI在PC上的發展
地址:https://www.utechfun.com/post/405717.html