▲ 圖片由AI生成

從“人+RPA”到“人+生成式AI+RPA”，LLM如何影響RPA人機交互？

換個角度，從人機交互看LLM如何影響RPA

影響程序开發與流程自動化人機交互的RPA，現在也要被LLM改變了

LLM如何影響人機交互？生成式AI怎么改變RPA人機交互？一文看明白

大模型時代來臨，基於LLM的生成式AI正在快速變革RPA人機交互

生成式AI重新定義人機交互，LLM正在影響RPA軟件架構變遷

文/王吉偉

如果問RPA對程序开發以及自動化有哪些貢獻，其中一個答案便是它改變了人機交互（HCI，human-computer interaction）。

在傳統工作流自動化工具中，軟件开發人員不得不生成一個操作列表，使用內部應用程序編程接口（API）或專用腳本語言自動執行任務和與後端系統的接口。

RPA系統則通過觀察用戶在應用程序的圖形用戶界面（GUI）中執行該任務來开發操作列表，然後通過直接在GUI 中重復這些任務來執行自動化，並且能夠給在多個應用程序之間處理數據。

這個看似簡單並被稱作“外掛”的形式，有效降低了產品中使用自動化的障礙，並進一步讓更多組織的端到端自動化成爲可能。作爲一種改變數字工作者工作形式的業務流程自動化技術，二十多年來它不僅將人力資源從簡單重復的工作解放出來，還讓程序开發變得更加簡單。同時它還締造了一種“人+RPA”的人機交互模式，讓廣大組織能夠更簡單地實現人機協同。

尤其是近些年足夠成熟、有彈性、可擴展和可靠性強的RPA平台出現後，很多大型組織都可以RPA改善與優化其業務流程和开發模式，實現增效降本。

以上這些的實現，皆因RPA不斷改善和優化業務流程自動化以及程序开發中的人機交互。

沒錯，得到衆多技術加持的RPA在不斷滲透到更多行業的同時，也在持續改變不同領域多種業務場景的人機交互。

尤其是近幾年RPA的再次火爆，正是因爲它深度融合了AI技術。以RPA爲核心的超自動化技術合集更是囊括了所有與自動化相關的技術，讓端到端自動化的人機交互體驗持續增強，進而受到更多組織的青睞。

現在，AI大模型時代到來，不斷進化的RPA同樣也在融合生成式AI技術。當前融合LLM（Large Language Model，大型語言模型）的RPA，可以說在人機交互上是一次巨大進步，甚至是一種對以往RPA模式的顛覆。

既然要聊LLM對RPA人機交互的影響，自然要從人機交互談起。到底LLM對人機交互有什么影響？RPA是如何改善人機交互的？LLM又對RPA有什么影響？

本文，王吉偉頻道就跟大家聊聊這些。

從人機交互談起

上世紀70年代，大多數辦公室的業務運行仍舊使用金屬文件、打字機和大量紙張。而體積龐大的計算機，只能存放在只有少數人可以操作的冷藏室中。

爲了解決這些問題，一些公司开始研發個人計算機。施樂公司於1973年开發了施樂Alto，雖然因爲造價太高等問題該產品始終未能上市，但它卻成了GUI的第一個草圖，成爲了Macintosh（麥金塔電腦）和Windows的靈感來源。

受到一系列研究和相應研發的影響，以及當時市場對於小型計算機的強烈需求，作爲研究如何以及爲什么使計算機對用戶更加友好的一種手段，人機交互這個概念以及全新學科便出現於70年代末80年代初。

從那時起，HCI領域不斷發展，主要用於剖析人類行爲以解決社會最復雜的問題，研究人們如何與計算機交互以及用戶能夠在多大程度上與計算機交互，目標是在計算機和用戶之間進行成功的交互，並探索哪些領域需要更多的相關开發。

由於能夠解決當時社會生產力的尖銳矛盾，HCI的研究領域在很短時間內就擴展到所有IT領域。

同時研究人員意識到，他們必須將與計算機的交互擴展到每個人，而不僅僅是信息技術專業人員。因此在幾年之內，HCI就快速擴展到幾乎所有信息技術設計的變化。

在史蒂夫喬布斯等人的努力之下，蘋果公司在1984年推出了Macintosh個人計算機，人機交互形式由此徹底改變了。它使得計算機的使用變得更加容易，使通信變得更加簡單，鍵盤、鼠標和基於圖標的用戶界面开始流行。

後來，蘋果公司成爲個人PC先驅，微軟推出了windows系統，這些產品和軟件完全改變並顛覆了全球的業務流程與辦公的人機交互形式。

這些大家都熟悉，這裏就不用多介紹了。

直到今天，IoT已成爲網絡連接基礎，人工智能也已無處不在，而人機交互仍舊是各種技術、產品及解決方案的重點。

通過前面的發展簡史，相信大家應該已經對人機交互有一個大體認知。那么到底什么是人機交互呢？且看下一節。

人機交互的四要素、六目標和七原則

通用定義認爲，人機交互技術（Human-Computer Interaction Techniques）是指通過計算機輸入、輸出設備，以有效的方式實現人與計算機對話的技術。

人機交互技術包括機器通過輸出或顯示設備給人提供大量有關信息及提示請示等，人通過輸入設備給機器輸入有關信息，回答問題及提示請示等。因此，人機交互技術是計算機用戶界面設計中的重要內容之一。

在學術上，人機交互是一門與人類使用的交互式計算系統的設計，評估和實施有關的，以及研究圍繞它們的主要現象的學科。

人機交互關注人（用戶）與計算機之間接口（交互界面），關注計算機技術的設計和使用。人機交互涵蓋多門學科，包括計算機科學，心理學，社會學，圖形設計，工業設計等，是一門綜合性非常強的現代科學。

維基百科認爲，人與計算機之間的接口對於促進這種互動至關重要。桌面應用程序，互聯網瀏覽器，掌上電腦等利用了當今流行的GUI。語音識別和合成系統利用了語音用戶界面（VUI）。新興的多模態和圖形用戶界面，則允許人們以其他界面無法實現的方式與具體的角色和智能體交互。

所以，人機交互領域的發展導致了交互質量的提高，並導致了許多新的研究領域。不同的研究分支不是設計常規接口，而是專注於多模態而不是單模態的概念、智能自適應接口而不是基於命令/操作的接口以及主動接口而不是被動接口的概念。

從人機交互的名字中，我們可以推導出它由三部分組成，即用戶，計算機本身以及它們協同工作的方式。

後來這三部分擴展爲四個基本要素，也就是用戶、任務、工具/界面和背景。

用戶，即在項目上一起工作的個人或一組個人稱爲用戶組件。HCI研究用戶的需求，目標和交互方式。

任務，即以目標爲導向的任務，使用計算機時，用戶總是有一個目的或目標。爲了實現這一點，計算機呈現事物的數字表示。

界面，也就是可以提高用戶交互質量的基本HCI元素是界面。需要考慮許多與界面相關的因素，包括交互類型、屏幕分辨率、顯示尺寸，甚至顏色對比度。

背景，HCI不僅涉及在用戶和計算機之間提供更好的通信，還涉及考慮訪問系統的上下文和環境。

同時HCI具備六個目標，分別是高效使用（效率）、 安全使用（安全）、 具有良好的效用（實用性）、 易於學習（可學習性）以及易於記憶如何使用（可記憶性）。

在此基礎上，也衍生出了HCI的7個設計原則，如下：

原則1：公平使用；

原則2：使用靈活；

原則3：簡單直觀地使用；

原則4：可感知的信息；

原則5：容錯能力；

原則6：低體力勞動；

原則7：接近和使用的大小和空間。

在具體應用中，物聯網、眼動追蹤技術、語音識別技術、AR/VR的使用以及雲計算等，都是非常典型的人機交互案例。

HCI發展史以及大量觀點及案例證明，技術可以明顯改善HCI。

伴隨着通訊與信息技術的突破與發展，它們持續爲HCI帶來明顯的影響與改善。比如這些年借助AI技術蓬勃發展的RPA，就爲業務流程自動化以及辦公業務場景帶來了極大的人機交互帶來體驗改善。

人機交互與RPA

前文我們提到，人機交互的目標是使計算機能夠更好地適應人的需求，提供更友好、更智能、更自然的交互方式，如語音識別、圖像識別、自然語言處理、手勢控制等。

RPA是一種利用軟件機器人模擬人類操作的技術，它可以通過用戶界面與企業的應用系統交互，並完成預期任務的技術。

當代RPA還融合了人工智能（AI）和機器學習（ML）相結合，實現智能流程自動化（IPA），處理更復雜的用例，如自然語言處理（NLP）、計算機視覺（CV）和數據分析等。

RPA可以實現重復性、基於規則的工作流程的自動化，提高工作效率、准確性和合規性，降低人力成本，減少錯誤率，節省成本和時間，適用於各種重復性、標准化的業務場景，如財務、人力資源、供應鏈、信息技術等。

王吉偉頻道曾在《數字化轉型時代，RPA+AI是打开人機協同的最佳方式》一文中講過，在當代企業管理軟件系統以及各種自動化工具中，從操作難度、部署周期、投資成本等角度而言，RPA可以算是廣大組織應用人機協同最好的方式。

在這其中，RPA最大的優勢就是降低了程序开發難度，可以讓一线的業務人員參與到簡單應用的开發之中，讓全民开發成爲進一步成爲現實。

RPA之所以能做到這一點，在於它改變了程序开發的人機交互模式。使得不會編程的普通員工借助RPA工具，也能像程序員一樣开發他們需要的自動化程序或者說軟件機器人。一方面RPA讓开發程序變得更加簡單，從寫代碼變成了“拖拉拽”各種功能組件；另一方面可以讓更多的業務流程實現自動化，不再需要人力去重復執行。可以說，RPA同時改變了程序开發和業務執行的人機交互。

所以，RPA與人機交互有着密切的聯系。因爲RPA本質上是一種人機協同的工作模式，它需要人來定義規則、監督執行、優化改進，機器則負責執行規則、提供反饋、學習改進。

RPA不僅可以模擬人類的操作，還可以結合AI技術，實現對人類的理解和決策。比如利用OCR（光學字符識別）技術識別圖像中的文字，利用NLP技術理解語言中的意圖，利用智能決策技術制定最優方案等。融合AI等技術的RPA，具備以下幾個優勢：

1、有效減輕工作負擔，讓人們從繁瑣的後台任務中解放出來，專注於更有價值的創新和战略性的工作；

2、提高人機交互的速度和質量，軟件機器人可以全天候地工作，不受時間、地點和情緒的影響，也不會犯錯或遺漏；

3、拓展人機交互的範圍和深度，軟件機器人可以訪問和整合多個不相關的軟件系統，處理大量結構化和非結構化數據，並利用AI和ML的能力進行學習和優化。

由此，RPA是一種有效且典型的優化人機交互的技術。它可以實現流程自動化、智能化和優化，爲企業帶來效率、質量和價值的提升。

LLM對人機交互的影響

LLM是一種利用神經網絡在大量無標注文本上進行自監督學習或半監督學習的語言模型。LLM具有海量的參數（通常爲數十億或更多），能夠在多種任務上表現出優異的性能。

從目前各領域的應用來看，基於LLM的生成式AI技術的出現，爲人機交互帶來了顛覆性的變化。

生成式AI給人們最直接的感觸就是，原來工作流中的好多各種軟件操作以及跨軟件操作，現在只需要跟生成式AI進行幾輪對話就完成了。

比如用Midjourney生成圖片或者是ChatGPT Plus生成軟件應用代碼，已經完全不需要使用繪圖軟件及編程軟件。並且ChatGPT 的插件生態正在快速完善，以後將會有越來越多應用場景的業務操作，只需要對話就能搞定。

這就是交互方式的改變，它直接將原有的與各種軟件UI的人機交互，變成了與一個聊天窗口進行交互，是一種前所未有的交互體驗。

總結起來，LLM或者說生成式AI對人機交互產生了以下幾點影響：

首先，提高了人機交互的效率、質量和便利性。通過生成式AI，用戶可以快速獲取想要的信息或服務，不需要花費大量的時間和精力。同時LLM可以根據用戶輸入和上下文生成合適的回復，減少用戶輸入負擔，提高交互流暢性和自然性。此外，生成式AI還可以根據用戶的反饋和偏好，動態地調整自己的輸出，以達到更好的交互效果。

比如ChatGPT可以幫助用戶完成寫作、設計、編程等復雜的任務，或者爲用戶提供個性化的推薦、咨詢、娛樂等內容。

其次，增加人機交互的多樣性和創造性。LLM可以根據用戶需求和偏好生成不同風格的文本、音頻、視頻等內容，滿足用戶的個性化和多元化的需求。通過生成式AI，用戶可以接觸和選擇更多的內容，從而拓展視野和思維。當然，生成式AI也可以與用戶進行更深入和靈活的對話，滿足用戶不同的情感和情緒需求。

比如通過生成式AI爲用戶提供不同風格和主題的文本、圖像、音樂等，或者爲用戶生成一些新穎和有趣的內容，如詩歌、故事、笑話等。

第三，改變人機交互的關系和意義。通過生成式AI，用戶可以與人工智能建立更緊密和信任的聯系，甚至產生一種共創與合作的感覺。

基於LLM的聊天機器人，可以爲用戶提供更多的反饋和建議，或者與用戶共享自己的想法和感受。生成式AI還可以讓用戶更加了解自己和人工智能的優勢和局限，以及如何更好地利用和發展它們。第四，拓展人機交互的領域和場景。ChatGPT等生成式AI應用具有強大的適應性和泛化性，可以應用於各種不同的領域和場景，如教育、娛樂、醫療、商業等。無論用戶想要學習、遊戲、咨詢、購物等，都可以通過與ChatGPT等應用交流來達到目的。

第五，增強人機交互的趣味性和親切感。基於LLM的生成式AI應用具有豐富的知識和個性，可以根據用戶的興趣和情緒來調整自己的語言風格和話題，甚至可以生成一些幽默、詩歌、故事等創意內容來娛樂用戶。

這樣，用戶不會感到與機器人交流是一件枯燥無味的事情，而會覺得與機器人交流是一件有趣和溫馨的事情。

LLM對人機交互有着重要而復雜的影響，使得它在各個領域都有着巨大發展潛力和行業應用價值。廣大組織應該積極地探索和利用LLM以及生成式AI，提升人機交互的水平和體驗，提高人機交互效率和質量，增強人機交互關系，拓展人機交互的領域和場景。

當然，我們也應該注意其帶來的風險和挑战，以及如何合理地使用和監督它。

需要說明的是，目前基於大語言模型的生成式AI正在與RPA快速融合，生成式AI將會爲RPA的人機交互帶來質的飛躍。

LLM改變RPA人機交互

RPA可以自動化執行重復性、規則性和低價值的業務流程，可以提高效率、降低成本和減少錯誤。但它也面臨着一些挑战和局限性，比如難以處理復雜、多變和高價值的業務場景，以及難以適應業務流程的變化，需要不斷地維護和更新，難以處理復雜的、非結構化的、需要創造性或判斷力的任務等。

雖然超自動化架構已經讓RPA的運行足夠穩定，但對於復雜流程而言也會存在穩定運行的隱患。

之前廠商們想盡各種辦法解決這些問題，但無法從根本上杜絕這些問題。直到基於LLM的生成式AI橫空出世，一下就解決了之前RPA遇到的多重難題。

對於LLM如何影響RPA，王吉偉頻道（id：jiwei1122）已經在《GPT等AI大模型震撼來襲，基於RPA的超級自動化仍是最佳落地載體》一文中有過詳細介紹。這裏，再簡單說說LLM如何改變RPA的人機交互。

LLM可以爲RPA提供更強大的自然語言處理能力，提供更強大的知識獲取和推理能力，以及提供更強大的生成和創造能力。

具體而言，LLM對於RPA人機交互的影響可以體現於以下幾個方面：

提高RPA的智能水平。應用LLM，能夠更好地識別和理解用戶的自然語言輸入以及生成自然語言，更好地滿足用戶的需求和意圖。還可以根據上下文和目標生成合適的操作步驟，進行多輪對話和推理，處理更復雜和多樣的業務場景，實現更復雜和靈活的業務流程自動化。

用戶可以通過語音或文字與RPA進行對話，告訴它要執行什么任務，而不需要通過復雜的編程或拖拽組件來設計流程。

此外，LLM也可以幫助RPA進行知識抽取和推理，從而提供更有價值的信息和建議。

擴展RPA的應用範圍。LLM可以有效擴大RPA的應用範圍，讓軟件機器人能夠處理更多涉及自然語言的任務，比如文本分類、文本摘要、文本生成、機器翻譯、問答系統等。也可以通過與其他模態的數據進行交互，比如圖像、音頻、視頻等，從而實現更豐富和多維的業務流程。

LLM還可以讓軟件機器人能夠與其他AI技術如OCR、NLP、低代碼、流程挖掘、chatbot等進行集成和協作，實現超級自動化。

通過使用LLM，RPA可以跨越語言和文化的障礙，服務更廣泛和多元的客戶和市場。增加RPA的創新潛力。LLM可以增強RPA的創造力和靈活性，使其能夠根據不同的場景和數據生成適合的文本，如報告、摘要、建議等。例如，RPA可以根據用戶提供的關鍵詞或主題，自動生成一篇博客文章，並在文章中插入相關的圖片、視頻、鏈接等。

通過使用LLM，RPA可以進行更靈活和自適應的學習和生成，產生更多新穎和有趣的內容和方案。LLM也可以與人類進行更有效和友好的協作和溝通，激發更多的創意和靈感。

提升RPA的开發效率。生成式AI可以讓用戶通過簡單的語言描述來定義和修改業務流程，而不需要編寫復雜的代碼或者使用圖形化界面。並可以根據用戶的反饋和數據分析來優化和調整業務流程，實現持續改進。優化RPA交互體驗和用戶滿意度。融合LLM的RPA能夠與用戶進行更加自然、友好、有趣的對話，增加用戶的信任和參與感。RPA可以根據用戶的情緒和興趣，調整語氣和風格，甚至講一些幽默或者引用一些名人名言來調節氣氛。

擴展閱讀：ChatGPT與RPA集成，生成式AI+自動化流程讓AIGC價值倍增當然，LLM對RPA人機交互的影響不只是智能、效率和創新層面的，它還直接影響了RPA的軟件架構變化。

後記：LLM影響下的RPA架構變遷

在LLM之前，RPA已經極大地改善了程序开發以及流程自動化的人機交互。並且，很多廠商都已經打出了“RPA人人可用”的概念。在這個概念的背後，其實就是RPA的易用性越來越強，應用它开發程序並實施流程自動化越發簡單。在易用性方面，從CV到屏幕抓取再到AI模型，廠商們做了大量的探索與嘗試。在RPA的程序开發環節上，基於AI、0代碼等技術，RPA正在逐步擺脫原有的“拖拉拽”形式，向“點選用”以及對話式（包括語音驅動）流程創建的方式過渡。

在人機交互上，對話式流程創建，可以說是RPA乃至超自動化的終極狀態。未來我們要使用超自動化，只要在系統內打幾行字或者說一句話就能創建各種軟件機器人或者自動化程序。

但是之前的對話式創建，僅適用於簡單的預設置流程。稍微復雜的流程便無能爲力，或者需要更多流程步驟去觸發和調動更多流程才能實現。流程的健壯性難以經受考驗，並且用戶必須熟悉相應語法及指令才能使用。

在應用體驗上，仍然存在一些不足或者說進步空間。

LLM出現之後，對於融合生成式AI的RPA產品，用戶使用自然語言都能驅動RPA去創建流程。並且生成式AI以生成內容的形式彌補RPA在情緒識別、非結構化數據處理等方面的不足，可以讓任何人無需太多學習就能更加簡單、快速、高效的驅動RPA开發各種自動化程序，真正讓RPA實現了人人可用。

擴展閱讀：多家廠商引入ChatGPT，集成與融合生成式AI成爲RPA技術新趨勢以前使用RPA，是人直接操作RPA通過托拉拽搭積木的方式搭建各種程序。現在則是人通過自然語言與GPT等生成式AI溝通，多模態AI在理解人類操作意圖後，進一步驅動RPA連接企業管理軟件去自動化執行各種業務流程。

GPT等AI大模型則進一步連接了人與RPA等系統，向上連接人的意圖，向下指揮RPA機器人，成爲人和RPA等自動化系統之間的一個紐帶，讓程序开發與自動化流程的操作更加簡單。GPT把人和基於RPA的超自動化連接起來，這是人機交互體驗上一個巨大的進步。

在王吉偉頻道看來，從過去的“人+RPA”到現在的“人+生成式AI+RPA”，引入LLM以及集成生成式AI，表面看是極大地提升了RPA產品的人機交互，本質上是LLM影響了RPA的架構變化。

現在幾乎所有廠商都在重度研究LLM與RPA以及超自動化的全面融合，RPA都已在產品架構中加入了模型層。這意味着，不管是調用第三方模型還是自研模型，RPA都已成爲標准的模型層上的應用。

可以預見，接下來隨着LLM成爲RPA的標配，它也將全面變革大模型時代的RPA。

【王吉偉頻道，關注AIGC與IoT，專注數字化轉型、業務流程自動化與RPA，歡迎關注與交流。】

       原文標題 : 大模型時代來臨，基於LLM的生成式AI正在快速變革RPA人機交互

---

標題：大模型時代來臨，基於LLM的生成式AI正在快速變革RPA人機交互

地址：https://www.utechfun.com/post/220256.html