NVIDIA近日發布了ChatRTX 0.3版本，爲人工智能對話系統帶來了諸多令人興奮的新功能。作爲基於RTXGPU的本地大語言模型（LLM），NVIDIAChatRTX憑借其卓越的性能和安全的本地處理，已經成爲企業和开發者的理想選擇。此次0.3版本更新，進一步提升了其功能和用戶體驗，增加了照片搜索、AI驅動的語音識別等新特性。本文將詳細介紹NVIDIAChat RTX的安裝與使用方法、新增功能及其優點，並推薦幾款其他本地LLM解決方案。

NVIDIAChat RTX 0.3配置要求

如何安裝和使用NVIDIAChat RTX 0.3

下載地址：https://www.nvidia.com/en-us/ai-on-rtx/chatrtx/

經過漫長的下載和解壓縮之後,您會看到如下圖的內容:

點擊setup.exe,執行安裝。加下來你就會看到:

但這並不是可以隨意添加模型的意思，而是可選擇下載NVIDIA編譯過的模型。

ChatRTX 0.3版本新功能亮點：

照片搜索：

ChatRTX0.3版本引入了強大的照片搜索功能。用戶可以上傳照片，利用AI進行圖像識別和搜索。這一功能在社交媒體管理、電子商務、數字資產管理等領域具有廣泛應用，幫助用戶更快速准確地找到所需內容。

Whisper語音識別系統：

新版本新增了AI驅動的語音識別功能，能夠高效地將語音轉換爲文本。這對需要語音輸入的應用程序，如智能助手、客服系統和會議記錄等，提供了極大的便利，提升了用戶的互動體驗。

ChatRTX快速生成相關回復

在強大的大型語言模型（LLM）支持下，ChatRTX0.3版本還新增了查詢筆記和文檔的功能。用戶可以通過ChatRTX快速生成相關回復，並在用戶設備上本地運行。這一功能的加入，將使得用戶能夠更加方便地管理和利用自己的筆記和文檔資源，提高工作和學習效率。

由於我們下載的這個Gemma7B int4模型非常龐大，因此我們使用的顯卡是映衆RTX4090 D超級冰龍版，在使用過程中顯存容量已經到了14.5GB。所以，顯存容量低於8GB的RTX30/40系列顯卡無法勝任這類大模型的運行任務。建議使用顯存容量在16GB及以上的顯卡來處理此類大模型，以確保流暢運行。

其他本地LLM解決方案：

Olama

Olama是另一個用幹運行LLM 的工具和框架，例如yistral、Llama2、或codellama本地運行(請參閱庫)。它目前僅在macOs 和Linux上運行，因此我將使用WSL。值得注意的是，LangChain和 Ollama之間存在很強的集成度。

安裝Olama後，我們可以使用o1lamaserve.o11ama run \$M0DEL現在，我們可以使用簡單地運行應用程序和模型o1lamarun、llama2。運行命令後，我們有一個提示窗口作爲我們的用戶界面。

GPT4AII

Nomic的GPT4AI既是一系列模型，也是一個用於訓練和部署模型的生態系統。如下所示，GPT4AI桌面應用程序很大程度上受到OpenAl的ChatGPT 的啓發。

安裝後，您可以從多種型號中進行選擇。對於本示例，選擇了Mistral0pen0rca.但是，GPT4AI支持多種模型。

LM工作室

LMStudio作爲一個應用程序，在某些方面與GPT4AI 類似，但更全面。LMStudio 旨在本地運行LLM 並試驗不同的模型，通常從HuggingFace存儲庫下載。它還具有聊天界面和兼容OpenA! 的本地服務器。在幕後，LMStudio 也嚴重依賴llama.cpp。

讓我們嘗試運行我們已建立的示例，首先，我們需要使用模型瀏覽器下載模型。這是一個很棒的工具，因爲它直接連接到HuggingFace並負責文件管理。也就是說，模型瀏覽器還將顯示不一定可以开箱即用的模型以及模型的許多變體。

使用上面演示的工具，我們能夠在本地輕松使用此類开放模型。這不僅使我們能夠在沒有隱私風險的情況下利用生成式人工智能，而且還可以更輕松地嘗試开放模型。其中NVIDIAChat RTX0.3版本通過引入照片搜索和AI驅動的語音識別功能，再次提升了其在本地LLM解決方案中的地位。無論是在高效處理能力、多功能集成還是數據隱私保護方面，NVIDIAChat RTX都表現出色。

除此之外，Olama、GPT4AII和LMStudio等解決方案也提供了多樣化的選擇，滿足不同用戶的需求。根據自身的硬件條件和具體需求，選擇適合的本地LLM解決方案，开啓智能對話新時代。

---

標題：NVIDIA Chat RTX 0.3版本：映衆RTX40顯卡解鎖AI新體驗

地址：https://www.utechfun.com/post/379825.html