ChatGPT推出後，生成式人工智能模型的迅速採用，有望從根本上改變企業开展業務，以及與客戶和供應商互動的方式。

生成式人工智能可以支持廣泛的業務需求，例如編寫營銷內容、改善客戶服務、生成軟件應用源代碼以及生成業務報告。生成式人工智能工具的衆多好處，尤其是降低成本以及提高工作速度和質量，鼓勵企業和個人在工作中測試這些工具的功能。

然而，與任何新興技術一樣，快速實施可能存在風險，爲威脅行爲者利用企業的漏洞打开了大門。在當今復雜的IT威脅環境中，未經仔細考慮就使用生成人工智能工具，可能會給企業帶來災難性的後果。

與在企業環境中使用生成式人工智能相關的安全風險

了解在企業環境中使用生成式人工智能的潛在風險對於從該技術中受益、同時保持監管合規性和避免安全漏洞至關重要。在規劃生成式AI部署時，請牢記以下風險。

1.員工暴露敏感工作信息

在企業環境中，用戶應該謹慎對待與他人共享的任何數據，包括ChatGPT和其他人工智能聊天機器人。

最近最引人注目的事件是，三星員工將敏感信息與ChatGPT共享而導致的數據泄露。三星的工程師將機密源代碼上傳到ChatGPT模型，此外還使用該服務創建會議記錄和匯總包含敏感工作相關信息的商業報告。

三星案件只是向人工智能聊天機器人，泄露敏感信息的廣爲人知的例子之一。許多其他使用生成式人工智能工具的公司和員工，可能會因泄露敏感工作信息而犯類似的錯誤，例如內部代碼、版權材料、商業祕密、個人身份信息(PII)和機密商業信息。

OpenAI針對ChatGPT的標准政策是將用戶記錄保留30天，以監控可能的濫用情況，即使用戶選擇關閉聊天歷史記錄也是如此。對於將ChatGPT集成到其業務流程中的企業來說，這意味着員工的ChatGPT帳戶可能包含敏感信息。因此，成功入侵員工ChatGPT帳戶的威脅行爲者，可能會訪問這些用戶的查詢和人工智能響應中，包含的任何敏感數據。

2.人工智能工具中的安全漏洞

與任何其他軟件一樣，生成式人工智能工具本身也可能存在漏洞，使企業面臨網絡威脅。

例如，3月份，OpenAI將ChatGPT下线，以修復聊天機器人开源庫中的一個錯誤，該漏洞使一些用戶能夠從另一個活躍用戶的聊天歷史中看到聊天標題。如果兩個用戶在同一時間處於活動狀態，也可以在其他人的聊天記錄中看到新創建對話的第一條消息。

此外，同樣的漏洞還泄露了在特定時間段內活躍的1.2%的ChatGPTPlus用戶的支付相關信息，包括客戶的姓名、電子郵件地址和信用卡號碼的最後四位數字。

3.數據中毒和盜竊

生成式人工智能工具必須輸入大量數據才能正常工作。這些培訓數據來自各種來源，其中許多數據可以在互聯網上公开獲取，並且在某些情況下，可能包括企業之前與客戶的互動。

在數據中毒攻擊中，威脅行爲者可以操縱人工智能模型开發的預訓練階段。通過向訓練數據集中注入惡意信息，攻擊者可以影響模型的預測行爲，從而導致錯誤或其他有害的響應。

另一個與數據相關的風險涉及威脅行爲者，竊取用於訓練生成人工智能模型的數據集。如果沒有足夠的數據訪問加密和控制，模型訓練數據中包含的任何敏感信息，都可能對獲取數據集的攻擊者可見。

4.違反合規義務

在企業環境中使用人工智能驅動的聊天機器人時，IT領導者應評估以下與違反相關法規相關的風險：

不正確的響應

人工智能工具有時會給出錯誤或膚淺的答案。使顧客接觸到誤導性的信息，除了對企業的聲譽產生負面影響外，還可能引起法律責任。

數據泄露

員工可以在與人工智能聊天機器人對話期間，共享敏感的工作信息，包括客戶的個人身份信息或受保護的健康信息(PHI)。這反過來又可能違反GDPR、PCIDSS和HIPAA等監管標准，面臨罰款和法律訴訟的風險。

偏見

人工智能模型的反應有時會表現出基於種族、性別或其他受保護特徵的偏見，這可能違反反歧視法。

違反知識產權和版權法

人工智能驅動的工具經過大量數據的訓練，通常無法准確地提供其響應的特定來源。其中一些培訓數據可能包括受版權保護的材料，例如書籍、雜志和學術期刊。在沒有引用的情況下，使用基於受版權保護的作品的人工智能輸出，可能會讓企業受到法律罰款。

關於聊天機器人使用的法律

許多企業已經开始將ChatGPT和其他生成式人工智能工具，集成到他們的應用中，其中一些企業使用人工智能驅動的聊天機器人，來立即回答客戶的詢問。但在不提前告知客戶的情況下這樣做，可能會受到機器人信息披露法等法規的處罰。

數據隱私

一些企業可能想要开發自己的生成式人工智能模型，這個過程可能需要收集大量的訓練數據。如果威脅行爲者成功破壞企業IT基礎設施，並獲得對訓練數據的未經授權的訪問，則受損數據集中包含的敏感信息的暴露，可能會違反數據隱私法。

生成人工智能的關鍵業務挑战影響人員、流程和技術。除了安全性之外，生成式人工智能還帶來了算法偏差、幻覺和技術復雜性等挑战。

在企業中使用生成式AI工具時的安全最佳實踐

爲了解決與生成人工智能相關的衆多安全風險，企業在實施生成人工智能工具時應牢記以下策略。

1.在構建或集成生成式人工智能之前對數據進行分類、匿名和加密

企業應該對數據進行分類，然後再將其輸入聊天機器人或使用它來訓練生成式人工智能模型。確定哪些數據對於這些用例是可接受的，並且不與AI系統共享任何其他信息。

同樣，對訓練數據集中的敏感數據進行匿名化，以避免泄露敏感信息。加密人工智能模型的數據集及其所有連接，並通過強大的安全策略和控制保護企業最敏感的數據。

2.對員工進行生成式人工智能安全風險培訓，並制定內部使用政策

員工培訓是降低生成式人工智能相關網絡攻擊風險的最重要的保護措施。爲了負責任地實施生成式人工智能，企業必須讓員工了解與使用該技術相關的風險。

企業可以通過制定安全和可接受的使用政策，來制定工作中生成式人工智能的使用指南。盡管具體情況因企業而異，但一般的最佳實踐是需要人工監督。不要自動信任人工智能生成的內容；人類應該審查和編輯人工智能工具創建的所有內容。

人工智能的使用和安全策略還應該明確指出，在對聊天機器人的查詢中可以包含哪些數據，哪些數據是不允許的。例如，开發者不應該將知識產權、版權材料、PII或PHI添加到AI工具中。

3.爲安全提供生成式人工智能工具

針對生成式人工智能工具進行安全審計和定期滲透測試，以便在將其部署到生產環境之前識別安全漏洞。

安全團隊還可以通過向人工智能工具，提供網絡攻擊示例來訓練人工智能工具識別和抵御攻擊嘗試。這降低了黑客成功利用企業人工智能系統的可能性。

4.管理員工對敏感工作數據的訪問

在企業環境中應用最小權限原則，僅允許授權人員訪問AI訓練數據集和底層IT基礎設施。

使用身份和訪問管理工具可以幫助集中和控制員工的訪問憑證和權限。同樣，實施多因素身份驗證，可以幫助保護人工智能系統和數據訪問。

5.確保底層網絡和基礎設施安全

在專用網段上部署AI系統。使用單獨的網段，限制對主機AI工具的訪問，可以增強安全性和可用性。

對於在雲中托管人工智能工具的企業，請選擇一家信譽良好的雲提供商，該提供商實施嚴格的安全控制並具有有效的合規性認證，確保與雲基礎設施的所有連接均已加密。

6.密切關注遵從性需求，包括定期審核供應商

合規性法規在不斷發展，隨着企業人工智能採用的增加，組織可能會看到更多與生成式人工智能技術相關的合規性要求。

企業應密切關注影響其行業的合規法規，以了解與人工智能系統使用相關的任何變化。作爲此過程的一部分，當使用第三方供應商的人工智能工具時，請定期檢查供應商的安全控制和漏洞評估。這有助於確保供應商系統中的任何安全漏洞不會滲透到企業的IT環境中。

---

標題：如何管理企業中的生成式人工智能安全風險

地址：https://www.utechfun.com/post/246887.html