過去10年,知識圖譜可謂是最接近“人工智能”的概念。業內普遍認爲,知識圖譜的概念最先是由谷歌於2012年正式提出,主要用來支撐下一代搜索和在线廣告業務。
此後,這項技術迅速火爆,被國內外多家搜索引擎公司所採用,如:美國的微軟必應,中國的百度、搜狗等,都在短短的一年內紛紛宣布了各自的“知識圖譜”產品,足以看出這項革新對整個搜索引擎界的整體影響。
但這項技術的應用並不僅拘泥於搜索引擎領域範圍。由於讓人工智能具備了認知能力和邏輯能力,知識圖譜進而實現了智能分析、智能搜索、人機交互、個性化推薦等場景應用,成爲互聯網知識驅動的智能應用的基礎設施。
可以說知識圖譜與大數據和深度學習一起,成爲推動互聯網和人工智能發展的核心驅動力之一。
然而,ChatGPT的橫空出世讓整個AI界都沸騰了。
ChatGPT帶來的震撼在於,它不用借助知識圖譜就可以很好地解決用戶對話知識問答相關的任務,具有非常強大的理解能力、流暢的對話能力和上下文的刻畫能力。
更重要的是,它將原來基於特定任務的模型變成了一個統一的、基於提示的、任務無關的模型,可以去嘗試解決非常復雜或困難的、人類參與很多的任務。
這也讓AI界認知產生了分化,有觀點認爲有了ChatGPT這種大語言模型後,知識圖譜完全沒有存在的意義,甚至有的公司已經徹底拋棄了知識圖譜路线。
那么,在大模型時代,知識圖譜真的要消亡了嗎?
知識圖譜vs大語言模型
在討論這個問題之前,先來了解一下知識圖譜和大語言模型的異同。
知識圖譜從字面上看,可以拆分爲知識+圖譜,這樣就可以理解:將需要的知識數據(結構化或非結構化數據)以圖譜的形式進行展示,這種簡單的過程也是知識圖譜的構建過程。
知識圖譜通常包含實體、關系和屬性三個要素,例如人名、國家、語言等實體,以及人口、首都、官方語言等關系和屬性。它可以根據圖譜中定義的關系提供精確且邏輯一致的答案,因此對於信息檢索、問答和結構化數據推理等任務特別有用。
大語言模型是基於深度學習和神經網絡,像GPT-4這樣的大語言模型是在大量文本數據上進行訓練,以學習模式、上下文以及單詞和短語之間的關系。
它們可以生成類似人類的文本、回答問題、提供建議以及執行其他自然語言任務,還可以很好地處理模棱兩可和不完整的信息,並且處理廣泛的主題。
不難發現,兩者在知識的學習、分析、推理方面有着類似的功能,但卻各有優劣勢。
知識圖譜通常需要手動或半自動構建,是一種非常耗時耗人力的工作,隨着知識的不斷擴展和變化,知識圖譜也需要不斷更新;
同時,它的作用僅限於圖譜編碼中的知識範圍,這使得它在處理模棱兩可或不完整的信息時准確率較低。
但它的優勢在於准確的知識庫,對於事實性的、專業性的知識有着非常高的准確度。
相反,專業知識在大模型訓練語料裏佔比非常少,這也使得ChatGPT等語言大模型生成的內容的可靠性和真實性備受質疑。
它無法將真實與想象、真實與虛構分开,這種現象甚至促使創造了一個新術語:人工智能幻覺,維基百科將其定義爲“人工智能的自信反應,其訓練數據似乎沒有合理性”。
同時,語言大模型需要大量的計算能力和資源來進行訓練和微調,其花費的時間和成本也不容小覷。
目前,語言大模型只在通用領域給出了較爲驚豔的表現,至於在知識圖譜廣泛應用的垂直領域,語言大模型暫時未顯示出領先的一面。
知識圖譜退場爲時尚早
正因爲語言大模型暫時還無法解決事實准確性、可信度、可追溯等問題,知識圖譜的存在就非常有意義。
知識圖譜或者類似的知識庫、知識引擎,能夠爲大模型提供准確的知識,它可以被用來通知、聚焦、過濾和控制生成式人工智能,增強大模型響應的智能和可靠性,使其更適合關鍵任務。
當大模型真正落地到工業應用時,也需要有知識圖譜對專業領域知識的支撐,至少短期來看是非常需要的。
因此,我們也可以說,知識圖譜的構建原來有各種各樣的構建方式,現在又多了一種構建方式——用大模型去輔助整個知識圖譜構建,通過大量語料和大數據的學習,通過Prompt去進行知識的激發。
同時知識圖譜反過來也能夠去推動大模型Prompt工程裏的相關工作,融入到大模型的訓練中,使得生成更可控,更准確。同時,知識圖譜也可以提供很多額外的語義信息,幫助大模型的知識推理做得更好。
所以從本質上看,大語言模型出現後,並不是將知識圖譜消滅了,而是可以發揮知識圖譜和大模型這兩種技術的優勢:在需要可控知識或可控邏輯的時候,知識圖譜會發揮更大作用;在需要更自由的交互任務理解和生成時,大模型發揮更好的作用。
結合這兩種方法的優勢,可以產生更強大和有效的自然語言處理系統。
知識圖譜與大語言模型的結合
那么,知識圖譜如何與大語言模型相結合呢?
有意思的是,ChatGPT給出了將知識圖譜集成到大語言模型中的幾種方法:
?使用知識圖譜數據進行預訓練?
將知識圖譜中的知識注入到大語言模型的預訓練階段,可以幫助大模型學習實體與其屬性之間的關系。可以通過將知識圖譜三元組(主語、謂語、賓語)轉換爲自然語言句子並將它們添加到訓練語料庫中來完成。
?使用基於圖的目標進行微調?
在預訓練之後,使用基於圖的目標對特定任務的模型進行微調,可以幫助大模型學習使用圖中編碼的知識進行推理和推理。這可能涉及將自然語言查詢轉換爲基於圖形的查詢,以及开發將基於圖形的推理與基於文本的推理相結合的方法。
例如,可以對模型進行微調,以預測圖形中缺失的實體或關系,這可以提高其對底層結構的理解。
?改進實體鏈接和消除歧義?
增強模型識別文本中的實體並將其鏈接到知識圖譜中相應節點的能力。這可以通過在訓練或微調期間結合高級實體鏈接和消除歧義技術來實現。
?集成圖嵌入?
圖嵌入是一種用於將圖中的節點、邊或整個子圖轉換爲連續向量或低維表示的技術,機器學習算法可以更輕松地處理這些向量或低維表示。
圖嵌入在知識工程的上下文中特別有用,因爲它可以幫助將知識圖譜中的結構化信息轉換爲可以更容易地與機器學習算法(尤其是神經網絡)集成的格式。
使用圖神經網絡或其他圖表示學習方法學習,並可用於豐富模型對實體及其關系的理解。
?推理時查詢知識圖譜?
當模型遇到需要精確、結構化知識的問題或任務時,可以查詢知識圖譜獲取相關信息。這可以通過將自然語言查詢轉換爲基於圖形的查詢(例如,使用SPARQL),然後使用檢索到的信息來回答問題或執行任務來完成。
?知識圖譜引導生成?
將大語言模型的生成能力與知識圖譜中的結構化信息相結合,可以生成更准確、更相關的文本。例如,在生成實體的摘要或描述時,模型可以對知識圖譜中的信息進行優先級排序,以確保事實的正確性。
?混合模型?
开發包含基於圖和基於神經網絡的組件的混合模型,可以利用這兩種方法的優勢。例如,圖神經網絡(GNN)可用於學習圖結構數據的潛在表示,然後可以將其與大語言模型集成以執行自然語言處理任務。
?鼓勵可解釋性和可解釋性?
开發允許大語言模型基於知識圖譜爲其推理和預測生成解釋的方法。這可以幫助用戶了解模型如何利用知識圖譜中的結構化信息,並有助於調試和優化模型。
結語
技術的浪潮總是洶湧而至,在新的技術革新來臨之際,我們更應該客觀看待新舊技術的優劣,而不是衝動地去擁抱新技術,拋棄現有成熟技術。
對於知識圖譜來說,大模型的出現並不是一個衝擊,恰恰是給了知識圖譜一個新的生長空間。當我們將大模型與自身優勢的行業應用去深度結合,形成數據和算法的持續迭代,必將看到更好的結果持續湧現。
?相關閱讀
垂直大模型競爭,能突破數據“卡點”嗎?
專訪中國信通院雲大所慄蔚:ChatGPT的成功揭示了雲計算作爲數字世界“中樞神經”的價值
爲何ChatGPT一出現讓巨頭們都坐不住?
ChatGPT要和搜索引擎搶飯碗?
【科技雲報道原創】
轉載請注明“科技雲報道”並附本文鏈接
原文標題 : ChatGPT的勝利,宣告知識圖譜的消亡?
標題:ChatGPT的勝利,宣告知識圖譜的消亡?
地址:https://www.utechfun.com/post/217202.html