早在2月份的時候,NVIDIA就推出了基於LLM的聊天機器人ChatwithRTX,而在5月份的時候,這個聊天機器人更新了,添加了新的模型和新的功能,包裝包也從35G縮小爲11G,並且軟件正式改名爲了ChatRTX。
在上一篇關於Chatwith RTX的文章與視頻中,我們提到ChatwithRTX並沒有自帶的中文答復,想要實現中文回答,就需要動手進行自行安裝環境、大語言模型等,但這一步對用戶來說有着比較高的門檻,得經過許多繁雜得步驟,才能實現中文問答。
在介紹前,我們先簡單說下ChatRTX是什么,ChatRTX使用RAG技術,經由NVIDIATensorRT-LLM 和NVIDIARTX加速,爲RTXWindowsPC 和工作站帶來聊天機器人功能。所以使用ChatRTX的前提條件是,你得擁有一張RTX30、RTX40系顯卡,並且達到8GB顯存及以上。
ChatRTX的特色主要是運行於本地,與上傳至雲端的各家AI聊天機器人不同,本地運算在數據保存方面更加的安全,並且得益於NVIDIATensorRT-LLM的加持,在處理上也更爲迅速,避免輸入問題結果加載半天才憋出一句答案的情況出現。
此次ChatRTX的更新除了具有原先的Gemma模型外,還拓展了一款支持中英雙語的ChatGLM3模型,所以在使用上要更爲方便,不必像上一版一樣進行環境等安裝,這次更新後也讓更多用戶易上手,中文對話也是對答如流,在導入文檔後,能在文件夾內快速檢索你所需的內容資料,並呈現給用戶。
除了新的大語言模型外,此次ChatRTX還加入了圖像提示詞檢索的功能,在導入一個包含圖片的文件夾後,ChatRTX可以通過OpenAICLIP將圖片的關鍵詞提取出來,這樣你輸入圖片的關鍵詞,比如爬山,那么ChatRTX會將文件夾裏關於爬山的圖片提供給你,可以說是極大方便了本地圖片的搜索,哪怕忘記了也可通過關鍵詞檢索搜到。
另外,ChatRTX還加入了語音識別功能,能識別30s內的語音並輸入到對話框,其中也包括識別中英文,無論是工作中解放雙手,還是後續拓展功能,語音識別都是有利於用戶的,不過上一版的問題還是存在的,就是ChatRTX並不能聯系上下文,也就是每問一個問題,他就會清空記憶,每次提問都只能是“一次性”問題。
不過相信ChatRTX在後續也會持續更新,成爲一個反饋快速的本地化聊天、文件檢索的機器人,但這一切的前提,是你得擁有一張NVIDIARTX 30系顯卡,正所謂买新不买舊,影馳RTX4070 SUPER金屬大師OC這張新出不久的RTX40 SUPER系顯卡,就是你的最佳選擇。
影馳RTX4070 SUPER金屬大師OC採用了NVIDIAAda Lovelace 架構,擁有強大的性能,並且12GB的顯存容量,能輕松滿足LLM的硬件需求,無論是遊戲還是AI方面,影馳RTX4070 SUPER金屬大師OC都能勝任,所以喜歡的朋友,歡迎前往影馳官方商城挑選與購买~
標題:支持中文對話了!全新NVIDIA ChatRTX已更新
地址:https://www.utechfun.com/post/374263.html