這個技術展示Demo讓任何擁有RTX GPU的人都能享受強大的個人定制化的GPT聊天機器人。

在基於NVIDIAGPU 的雲端服務器支持下，全球每天有數百萬人使用聊天機器人。現在這些开創性的工具將出現在搭載NVIDIARTX的WindowsPC 上，以實現本地、快速、信息定制的生成式AI。

Chatwith RTX技術演示版，現已开放免費下載，用戶可在搭載NVIDIAGeForce RTX 30 系列或更高版本的GPU（至少8GB顯存）進行本地部署，打造個人專屬聊天機器人。

問我一切

Chatwith RTX 借助檢索增強生成（RAG）、NVIDIA TensorRT-LLM軟件及NVIDIARTX 加速技術，將生成式AI功能引入由GeForce賦能的本地WindowsPC。用戶可快速輕松地將桌面端上的資料當成數據集，連接到Mistral或Llama 2這一類开源大型語言模型，以便快速查詢與上下文有關的內容。

用戶只要輸入查詢內容即可，無需搜尋筆記或儲存的內容。例如用戶可以問：「我的合作夥伴推薦拉斯維加斯的哪家餐廳？」Chatwith RTX 工具就會掃描用戶指向的桌面端資料，並且按照上下文提供答案。

Chatwith RTX 工具支持包括.txt、.pdf、.doc/.docx和.xml在內的多種文件格式。將應用程序指向含有這些資料的文件夾，Chatwith RTX 工具就會在幾秒鐘內將它們載入到資料庫中。

用戶還能加入YouTube視頻和播放列表裏的信息。在Chatwith RTX裏加入視頻網址，用戶便能將這些知識與聊天機器人進行整合，進行上下文查詢。例如根據最喜歡的旅遊KOL所發布的視頻內容來詢問推薦的旅遊內容，或是按照頂尖教育資源獲取快速教學和操作方法。

Chatwith RTX 可以將YouTube影片內容的知識加入查詢結果。

Chatwith RTX 可以在WindowsRTX PC 和工作站上以本地部署的方式運行，再加上用戶的數據還是保留在本地設備裝置上，因此能夠快速提供查詢結果。與依賴雲端環境的LLM服務不同，Chatwith RTX 讓用戶能夠在PC桌面端處理敏感資料，無需分享給第三方或是連接到網絡。

除了需要配備GeForceRTX 30 系列或更高版本的GPU（至少8GB顯存），使用Chatwith RTX 還需要搭配操作系統Windows10 或11和最新的NVIDIAGPU 驅動。

編注：目前Chatwith RTX中存在一個問題，用戶選擇不同的安裝目錄時，會造成安裝失敗。我們將在日後的版本中修復這個問題。目前用戶應使用默認的安裝目錄（「C:\Users\<username>\AppData\Local\NVIDIA\ChatWithRTX」）。

使用RTX开發以LLM爲基礎的應用

Chatwith RTX 展現出利用RTXGPU 加速LLM的潛力。這款應用使用GitHub上的TensorRT-LLMRAG 开發者參考項目構建而成。开發者可以使用該參考項目，爲RTX开發和部署私人以RAG爲基礎的應用，並且由TensorRT-LLM進行加速。深入了解如何建立以LLM爲基礎的應用。

深入了解 Chatwith RTX：https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/

標題：Chat With RTX 爲 NVIDIA RTX AI PC 信息定制聊天機器人

地址：https://www.utechfun.com/post/333501.html