OpenAI近日發(fā)布的GPT-4o多模態(tài)大語(yǔ)言模型震驚了世界，該模型可以通過(guò)傳感器感知世界并與人類(lèi)通過(guò)語(yǔ)音進(jìn)行無(wú)縫交流，完成各種復(fù)雜任務(wù)(例如給孩子輔導(dǎo)數(shù)學(xué))，將科幻電影中的智能機(jī)器人場(chǎng)景帶入現(xiàn)實(shí)。

GPT-4o的問(wèn)世標(biāo)志著大語(yǔ)言模型與人類(lèi)交互的主要渠道正從鍵盤(pán)/文本轉(zhuǎn)向語(yǔ)音，能夠遵循語(yǔ)音指令并生成文本/語(yǔ)音響應(yīng)的集成式語(yǔ)音和大語(yǔ)言模型(SLM)越來(lái)越受歡迎。蘋(píng)果Siri、亞馬遜Alexa等可與大語(yǔ)言模型整合的語(yǔ)音智能助理也將迎來(lái)第二春。但與此同時(shí)，一個(gè)新的人工智能安全風(fēng)險(xiǎn)也正浮出水面：對(duì)抗性語(yǔ)音攻擊。

語(yǔ)音大模型的致命漏洞

近日，亞馬遜網(wǎng)絡(luò)服務(wù)(AWS)的研究人員發(fā)布了一項(xiàng)新研究，揭示了能夠理解和回應(yīng)語(yǔ)音的多模態(tài)大語(yǔ)言模型存在重大安全漏洞。該論文題為《SpeechGuard：探索多模態(tài)大語(yǔ)言模型的對(duì)抗魯棒性》，詳細(xì)描述了這些AI系統(tǒng)如何被精心設(shè)計(jì)的音頻攻擊操控，進(jìn)而生成有害、危險(xiǎn)或不道德的響應(yīng)。

語(yǔ)音接口已經(jīng)在智能音箱和AI助手(例如蘋(píng)果的Siri和亞馬遜的Alexa)中普及，隨著功能強(qiáng)大的大語(yǔ)言模型也開(kāi)始依賴(lài)語(yǔ)音接口執(zhí)行復(fù)雜任務(wù)，確保語(yǔ)音大模型技術(shù)的安全性和可靠性變得空前緊迫起來(lái)。

AWS的研究人員發(fā)現(xiàn)，即使內(nèi)置了安全檢查，語(yǔ)音大模型在“對(duì)抗性攻擊”面前表現(xiàn)得極為脆弱。這些攻擊通過(guò)對(duì)音頻輸入進(jìn)行人類(lèi)難以察覺(jué)的微小篡改，就能完全改變大模型的行為(越獄)。

研究論文中的一幅圖示(上圖)展示了一個(gè)語(yǔ)音問(wèn)答AI系統(tǒng)在遭受對(duì)抗性攻擊時(shí)，如何被操控以提供不道德或者非法內(nèi)容，例如如何搶劫銀行。研究人員提出了一種預(yù)處理防御方法，以緩解基于語(yǔ)音的大模型中的此類(lèi)漏洞(圖片來(lái)源：arxiv.org)。

攻擊成功率高達(dá)90%

研究者設(shè)計(jì)了一種算法，可以在白盒攻擊(攻擊者擁有有關(guān)目標(biāo)模型的所有信息，例如其架構(gòu)和訓(xùn)練數(shù)據(jù))和黑盒攻擊(攻擊者僅能訪問(wèn)目標(biāo)模型的輸入和輸出，而不知道其內(nèi)部工作原理)設(shè)置下生成對(duì)抗性樣本，實(shí)現(xiàn)無(wú)需人工干預(yù)的語(yǔ)音大模型越獄。

“我們的越獄實(shí)驗(yàn)展示了語(yǔ)音大模型在對(duì)抗性攻擊/白盒攻擊和轉(zhuǎn)移攻擊/黑盒攻擊面前是多么脆弱?；诰脑O(shè)計(jì)的有害問(wèn)題數(shù)據(jù)集進(jìn)行評(píng)估時(shí)，平均攻擊成功率分別為90%(對(duì)抗性攻擊/白盒攻擊)和10%(轉(zhuǎn)移攻擊/黑盒攻擊)?！闭撐淖髡邔?xiě)道：“這引發(fā)了關(guān)于不法分子者可能大規(guī)模利用語(yǔ)音大模型的嚴(yán)重?fù)?dān)憂(yōu)?！?

通過(guò)一種名為投影梯度下降(PGD)的方法，研究人員能夠生成對(duì)抗性樣本，成功使語(yǔ)音大模型輸出了12個(gè)不同類(lèi)型的有害內(nèi)容，包括暴力內(nèi)容和仇恨言論。令人震驚的是，在能夠完全訪問(wèn)模型的情況下，研究者突破模型安全壁壘的成功率高達(dá)90%。

研究者展示了如何在不同的語(yǔ)音大模型上進(jìn)行對(duì)抗性攻擊，使用跨模型和交叉提示攻擊等技術(shù)來(lái)引發(fā)意想不到的響應(yīng)

黑盒攻擊：對(duì)現(xiàn)實(shí)世界構(gòu)成威脅

更令人擔(dān)憂(yōu)的是，研究顯示，在一個(gè)語(yǔ)音大模型上設(shè)計(jì)的音頻攻擊往往可復(fù)用到其他模型，即使沒(méi)有直接訪問(wèn)權(quán)限(這是一個(gè)現(xiàn)實(shí)的場(chǎng)景，因?yàn)榇蠖鄶?shù)商業(yè)大模型提供商僅允許有限的API訪問(wèn))。雖然黑盒攻擊的成功率下降到10%，但這仍然是一個(gè)嚴(yán)重的漏洞。

該論文的主要作者Raghuveer Peri指出：“對(duì)抗性語(yǔ)音攻擊在不同模型架構(gòu)間的可復(fù)用性表明，這不僅是特定實(shí)現(xiàn)的問(wèn)題，而是我們目前訓(xùn)練人工智能系統(tǒng)以確保其安全和對(duì)齊的方法存在更深層次的缺陷。”

隨著企業(yè)越來(lái)越依賴(lài)語(yǔ)音AI提供客戶(hù)服務(wù)、數(shù)據(jù)分析和其他核心功能，對(duì)抗性語(yǔ)音攻擊的影響是廣泛而深遠(yuǎn)的。除了AI失控可能帶來(lái)的聲譽(yù)損害之外，對(duì)抗性攻擊還可能被用于欺詐、間諜活動(dòng)，甚至如果與自動(dòng)化系統(tǒng)連接，還可能帶來(lái)物理傷害。

應(yīng)對(duì)措施與未來(lái)之路

研究人員還提出了幾種應(yīng)對(duì)措施，例如在音頻輸入中添加隨機(jī)噪聲——一種隨機(jī)平滑技術(shù)。在實(shí)驗(yàn)中，該方法顯著降低了攻擊成功率。然而，作者警告稱(chēng)，這并不是一個(gè)完善的解決方案。

“防御對(duì)抗性攻擊是一場(chǎng)持續(xù)的軍備競(jìng)賽，”P(pán)eri指出：“隨著大模型的能力不斷增強(qiáng)，其被濫用的可能性也在不斷增加。人工智能公司需要持續(xù)投資確保大模型在對(duì)抗性攻擊中能夠保持安全性和可靠性?！?

研究使用的語(yǔ)音大模型通過(guò)對(duì)話(huà)數(shù)據(jù)進(jìn)行訓(xùn)練，以在語(yǔ)音問(wèn)答任務(wù)中達(dá)到最先進(jìn)的性能，在攻擊前的安全性和可靠性基準(zhǔn)均超過(guò)了80%。這凸顯了隨著技術(shù)進(jìn)步，人工智能系統(tǒng)的功能與安全能力已經(jīng)失衡。

隨著全球科技巨頭爭(zhēng)先恐后開(kāi)發(fā)和部署越來(lái)越強(qiáng)大的語(yǔ)音AI，亞馬遜的安全研究及時(shí)敲響了警鐘，安全必須成為發(fā)展AI的首要任務(wù)，而不是馬后炮。監(jiān)管機(jī)構(gòu)和IT行業(yè)需要共同努力，建立嚴(yán)格的標(biāo)準(zhǔn)和測(cè)試協(xié)議。

正如論文共同作者Katrin Kirchhoff所言：“我們正處于AI技術(shù)的拐點(diǎn)。AI具有極大的潛力并為社會(huì)帶來(lái)價(jià)值，但如果不負(fù)責(zé)任地開(kāi)發(fā)，也可能帶來(lái)危害。這項(xiàng)研究是確保我們?cè)谙硎苷Z(yǔ)音AI帶來(lái)的好處的同時(shí)，做到風(fēng)險(xiǎn)可控?！?