安全動態(tài)

企業(yè)AI使用的可見性與控制:CISO的挑戰(zhàn)與應(yīng)對策略

來源:聚銘網(wǎng)絡(luò)    發(fā)布時間:2024-07-26    瀏覽次數(shù):
 
人們本以為GenAI的企業(yè)采用率會很高,但實際上比預(yù)期的要慢。Telstra和MIT Review最近的一項調(diào)查顯示,雖然75%的企業(yè)去年測試了GenAI,但只有9%廣泛部署了它。主要障礙是什么?數(shù)據(jù)隱私和合規(guī)性。

自從ChatGPT公開推出以來還不到18個月,它在不到兩個月的時間里就獲得了1億用戶。鑒于這種熱潮,人們本以為GenAI的企業(yè)采用率會很高,但實際上比預(yù)期的要慢。Telstra和MIT Review最近的一項調(diào)查顯示,雖然75%的企業(yè)去年測試了GenAI,但只有9%廣泛部署了它。主要障礙是什么?數(shù)據(jù)隱私和合規(guī)性。

這點非常真實,在2024年上半年,我與近100位企業(yè)CISO進行了交談,他們的主要關(guān)注點是如何獲得對員工AI使用的可見性,如何執(zhí)行企業(yè)關(guān)于可接受AI使用的政策,以及如何防止客戶數(shù)據(jù)、知識產(chǎn)權(quán)和其他機密信息的泄露。

大量的努力已經(jīng)投入到保護模型本身,這確實是一個需要解決的問題,但保護用戶在模型周圍和跨模型的活動所帶來的隱私和合規(guī)問題可能更大。模型安全性主要關(guān)注防止偏見、模型漂移、污染等問題,而保護模型用戶活動則側(cè)重于可見性和控制,以及數(shù)據(jù)和用戶保護。

保護跨模型的用戶活動

那么,你需要什么才能獲得可見性和控制權(quán)?內(nèi)部模型用戶活動的可見性是一個可管理的問題。如今,大多數(shù)企業(yè)只使用了很少的LLM,并且員工訪問這些模型的權(quán)限有限。獲得對外部托管AI和啟用AI的目的地的可見性則要困難得多。

要完全了解內(nèi)部和外部的用戶活動,你必須:

a) 捕獲所有外向訪問

b) 理解這些數(shù)據(jù)

例如,這名員工究竟在訪問什么,數(shù)據(jù)托管在哪里,數(shù)據(jù)存儲在哪里,使用是否安全?當然,這只是識別目的地,接下來,你需要捕獲并分析所有員工在這些地方的活動,他們輸入了什么提示,這是否合規(guī)?他們得到了什么回應(yīng),這是否合規(guī)?在最初發(fā)布和達到1億用戶之間的兩個月里,ChatGPT收到了大量企業(yè)員工的訪問。源代碼、財務(wù)計劃、營銷活動等大量信息被上傳,因為員工在測試這項新技術(shù)。很少有CISO有信心完全了解已經(jīng)發(fā)送和仍在發(fā)送的內(nèi)容。

即使有良好的可見性,通過政策控制員工活動也不容易。執(zhí)行機制在哪里運行?是在終端代理上?代理服務(wù)器上?網(wǎng)關(guān)上?云端?

AI可接受使用政策如何表達?考慮一個AI數(shù)據(jù)訪問政策:某法律或咨詢公司可能要求來自客戶A的LLM數(shù)據(jù)不能用于生成客戶B的答案。上市公司的總法律顧問可能希望制定AI主題訪問政策:財務(wù)部門以外且職位低于副總裁的員工不能詢問收益信息。首席隱私官可能要求制定AI意圖政策:如果你使用外部GenAI編寫合同,在發(fā)送提示之前必須刪除所有PII。

獲得員工AI使用的可見性和控制

經(jīng)過18個月使用GenAI的經(jīng)驗,企業(yè)已經(jīng)開始了解獲得用戶活動可見性和控制的必要條件。無論是構(gòu)建還是購買解決方案,都需要執(zhí)行特定功能:

? 建立目標數(shù)據(jù)庫:首先,你需要建立和維護一個GenAI目標數(shù)據(jù)庫(即包含嵌入AI的域名和應(yīng)用程序)。沒有這個數(shù)據(jù)庫,你只能基于DNS進行訪問的阻止或允許。

? 捕獲目標域名:接下來,你需要獲取員工試圖訪問的實際域名。捕獲DNS活動有多種選擇:從終端(即代理)、防火墻、代理服務(wù)器、CASB等獲取。

? 記錄實際活動:為了獲得可見性,你需要將員工活動持續(xù)映射到目標數(shù)據(jù)庫,建立員工活動目錄——特別是相對于AI,你的員工去了哪里?基本版本可以在事后提供員工訪問的AI模型、聊天機器人等的可見性。更高級的版本可能會增加對這些目標的風險分析。

? 捕獲對話:當然,可見性不僅僅包括目標,還包括進入和離開這些AI目標的實際提示、數(shù)據(jù)和響應(yīng)。你需要捕獲這些內(nèi)容并應(yīng)用額外的風險分析。

? 進行主動執(zhí)行:上述所有可見性功能可以在事后進行。如果你想對外部AI系統(tǒng)應(yīng)用可接受使用政策,你需要一個在推理時強制執(zhí)行的政策機制,它需要攔截提示并應(yīng)用政策,以防止不必要的數(shù)據(jù)丟失、不安全的使用等。

? 全面執(zhí)行政策:確保政策機制適用于內(nèi)部和外部的LLM訪問,并跨云、LLM和安全平臺。由于大多數(shù)企業(yè)使用混合的云和安全產(chǎn)品,如果你的政策引擎不局限于單一平臺或云,效果會更好。

當前市場狀況

上述步驟可能很復(fù)雜,但一些企業(yè)已經(jīng)取得了進展。毫無疑問,較大、較先進的企業(yè)已經(jīng)建立了一些控制措施來執(zhí)行上述部分功能。

我與一些企業(yè)交談過,他們從頭開始構(gòu)建了大部分AI可見性和控制功能,其他企業(yè)則使用他們的EDR、SIEM、CASB、代理服務(wù)器和防火墻的組合來捕獲數(shù)據(jù),進行一些基本的阻止和事后可見性報告。當然,隨著新的安全問題出現(xiàn),也有新的初創(chuàng)公司正在將解決方案推向市場,這是一個企業(yè)安全和隱私領(lǐng)域非常活躍且快速發(fā)展的領(lǐng)域。

最后一點:偶爾會發(fā)生重大IT變革,顯著影響員工(和客戶)使用IT的方式。90年代后期的企業(yè)網(wǎng)絡(luò)部署和2010年代的移動應(yīng)用都推動了企業(yè)基礎(chǔ)設(shè)施的大規(guī)模演變,這兩次重大計算變革都帶來了數(shù)據(jù)丟失和攻擊的新潛在風險,并且每次都需要顯著的新技術(shù)解決方案。GenAI無疑是IT安全演變的下一個重大原因,大多數(shù)企業(yè)將尋找方法來看到、控制和保護他們的用戶及其數(shù)據(jù),因為AI將嵌入到每個過程中。

 
 

上一篇:公安部 國家互聯(lián)網(wǎng)信息辦公室關(guān)于《國家網(wǎng)絡(luò)身份認證公共服務(wù)管理辦法(征求意見稿)》公開征求意見的公告

下一篇:網(wǎng)絡(luò)安全投資回報率:關(guān)鍵指標與KPI全面解析