導讀 現在的生成式AI工具還不完美，經常會“撒謊”，這就是所謂的幻覺。爲了克制幻覺，开發者开發出一系列工具，最近在硅谷比較流行的工具是檢索增強生成（Retrieval-augmentedGeneratio...
現在的生成式AI工具還不完美，經常會“撒謊”，這就是所謂的幻覺。爲了克制幻覺，开發者开發出一系列工具，最近在硅谷比較流行的工具是檢索增強生成（Retrieval-augmentedGeneration，簡稱RAG）。
RAG是一種結合檢索和生成技術的模型，它爲大模型提供外部知識源，使得大模型具備從指定的知識庫中進行檢索，並結合上下文信息，生成相對高質量的回復內容，減少模型幻覺問題。例如，企業可以將所有的HR政策和福利信息上傳到RAG數據庫，AI聊天機器人聚焦於可以從這些文件中找到的答案。
聽起來RAG似乎和ChatGPT技術沒有什么太大差異，實際上差異蠻大的。ThomsonReuters用RAG技術开發出一套面向法務工作者的AI工具，其公司高管PabloArredondo說：“RAG不會單純依靠初始訓練生成的記憶來回答問題，它會利用搜索引擎收集真實文檔，比如判例法、論文等，然後根據這些文檔錨定模型的響應。”
例如，我們可以將某本雜志的所有內容上傳到數據庫，根據數據庫內容回答問題。因爲AI工具關注的信息面比較窄，信息質量更高，基於RAG开發的聊天機器人在回答問題時會比通用機器人更有深度。
RAG機器人會不會犯錯呢？當然會，但它捏造內容的概率會降低。
研究人員認爲，RAG方法有很大優勢，在訓練模型時，它所接受的信息都是事實，而且是可以追溯來源的事實。如果你能教模型對提供的數據進行分類，並在每個輸出結果中使用、引用，那么人工智能工具就不太可能犯嚴重的錯誤。
用了RAG技術，幻覺能降低多少呢？一些研究者認爲，幻覺可以達到很低的程度，但無法完全消除。換言之，RAG不是萬能藥。總體看，幻覺減少程度取決於兩個核心要素：一是整體RAG的部署質量，二是對AI幻覺的定義。
並非所有的RAG都是一樣的。在自定義數據庫中，內容的精度影響着結果質量，但它並不是唯一影響因素。除了要關注內容的質量，還要關注搜索質量及基於問題的正確內容的檢索。掌握過程中的每一步都至關重要，因爲一個失誤就可能使模型完全偏離。
斯坦福教授DanielHo說：“凡是在某個搜索引擎中使用自然語言搜索的律師都會發現，許多時候語義相似度影響巨大，它會導出完全不相關的資料。”
如何定義RAG應用中出現的幻覺也很重要。一些專家認爲，判斷RAG系統是否出現幻覺主要是看輸出結果是否與數據檢索時模型找到的答案一致。斯坦福大學則認爲，要檢查結果，看它是否基於提供的數據，是否符合事實。
在回答法律問題時，RAG系統明顯比ChatGPT、Gemini更好，但它仍然有可能忽視細節，隨機給出錯誤答案。幾乎所有專家都認爲，即使有了RAG系統，也需要人類參與，對引用信息進行雙重檢查，判定結果的准確率。
在法律領域RAG系統可以找到用武之地，在其它領域也一樣。凡是需要專業知識的專業領域，AI系統給出的答案都應該錨定真實文件，所以RAG適合專業領域。
DanielHo說：“幻覺一直存在，我們還沒有找到好辦法真正消除幻覺。”雖然RAG可以降低錯誤率，但還是需要人類來判斷結果如何。
標題：爲了克制AI幻覺，硅谷迷上了檢索增強生成技術
地址：https://www.utechfun.com/post/385604.html