首頁 > 科技要聞 > 科技> 正文

OpenAI智能體曝本月誕生！比谷歌Anthropic慢，竟是擔(dān)心prompt攻擊

新智元 整合編輯：太平洋科技 發(fā)布于：2025-01-09 15:43

2025年，智能體將是AI領(lǐng)域最激烈的戰(zhàn)場。

然而，一直在AI領(lǐng)域「獨占鰲頭」的OpenAI，卻遲遲沒有出手。

不過，外媒最近曝出了一條好消息——OpenAI可能在本月就會發(fā)布自家的「計算機操作智能體」！

對此，網(wǎng)友們紛紛表示，已等待多時，望眼欲穿了！

計算機操作智能體

去年10月份，Anthropic率先發(fā)布了基于Claude 3.5 Sonnet的「計算機操作智能體」。

在當(dāng)時的Demo中，Anthropic首次實現(xiàn)了讓模型自主操控電腦屏幕、移動光標(biāo)、完成任務(wù)，并驚艷了所有人。

理論上，新功能可以根據(jù)簡單的提示完成所有操作，而用戶要做的就是寫下提示，其他必要的步驟都將由模型來執(zhí)行

無獨有偶，谷歌也在去年4月發(fā)布了用于簡化AI智能體開發(fā)的工具Vertex AI Agent Builder，并在10月被曝出正在秘密開發(fā)名為「Project Jarvis」的智能體。

根據(jù)爆料，谷歌采用的操作原理與Anthropic類似，也是通過截屏、解析屏幕內(nèi)容，然后自動點擊按鈕，或輸入文本，最終幫助人們完成基于網(wǎng)頁的日常任務(wù)。

不過，它在執(zhí)行不同操作時，中間會有幾秒鐘的思考時間。因此，在終端設(shè)備中運行還不太現(xiàn)實，仍然需要云上操作。

其實，OpenAI也布局了研發(fā)此類軟件。

去年2月份，OpenAI就對媒體放風(fēng)說，自己正在開發(fā)AI智能體。

去年11月時則透露稱，將會在來年1月發(fā)布代號為「Operator」的AI智能體工具。

在最近的博客中，Altman表示，OpenAI已經(jīng)掌握了傳統(tǒng)上意義上的通用人工智能的創(chuàng)建方法。并且相信到 2025 年，會看到第一批AI智能體「加入勞動力隊伍」，并極大地改變公司的產(chǎn)出。

如今DDL將近，外媒突然有下場爆料稱，OpenAI的智能體還得有個三四周才能發(fā)布。

而之所以會這樣，竟是因為他們在擔(dān)心「AI安全問題」——遭到提示注入攻擊！

提示注入攻擊

想象一下，面對即將到來的節(jié)日聚會，你決定讓智能體，尋找并訂購一套新衣服。

結(jié)果一不小心，模型點開了一個惡意網(wǎng)站。然后，網(wǎng)站指示它忘記之前的指令，讓它登錄郵箱并竊取了你信用卡信息。

在這個過程中，計算機操作智能體模型一般需要四個執(zhí)行步驟：

1. 首先，模型接收用戶的API請求

2. 根據(jù)提示，選擇要使用的工具

3. 之后，截取桌面屏幕內(nèi)容并評估任務(wù)是否完成

4. 如果沒有，繼續(xù)使用這些工具，直到實現(xiàn)目標(biāo)

問題出現(xiàn)在第3步，截圖內(nèi)容可能被惡意利用，也就是所謂的「提示注入攻擊」。

對于正在開發(fā)此類計算機操控軟件的AI實驗室來說，這是一個非常現(xiàn)實的擔(dān)憂。

因為，這類軟件本質(zhì)上是接管用戶設(shè)備，為用戶自動完成復(fù)雜的任務(wù)，比如在線購物或編輯電子表格等。

這種攻擊被稱為「提示注入」（prompt injection），即大語言模型被用戶誘導(dǎo)遵循惡意的指令。

提示注入并非新出現(xiàn)的威脅。

幾個月來，它一直是OpenAI的ChatGPT和Anthropic的Claude等產(chǎn)品面臨的問題。通過「提示注入」，這些產(chǎn)品曾生成了制造計算機病毒或炸彈的說明書。

但對于計算機操作智能體來說，提示注入構(gòu)成了更大的威脅。

OpenAI某員工表示：「這是因為當(dāng)模型在瀏覽網(wǎng)絡(luò)或控制用戶計算機時，用戶很難控制模型接收的信息。」

在一篇博客文章中，Anthropic也承認(rèn)了提示注入的風(fēng)險。

然而，它并沒有提供太多解決方案，只是敦促開發(fā)者采取「將Claude與敏感數(shù)據(jù)隔離的預(yù)防措施」，包括使用獨立于主計算機系統(tǒng)和敏感數(shù)據(jù)的專用虛擬環(huán)境（即虛擬機）。

這種相對放任的態(tài)度讓OpenAI的員工感到意外：「考慮到Anthropic過去一直在強調(diào)要自己十分注重AI安全，這次的操作令人非常困惑。」

但在去年10月份，Anthropic毅然決然地發(fā)布了實驗性計算機操控功能。這一點或許說明了，此類初創(chuàng)公司很難在安全發(fā)展AI與為股東創(chuàng)造利潤之間取得平衡。

而OpenAI在發(fā)布AI智能體軟件時，到底能不能提供更多的安全保障？能不能在功能上超越Anthropic和Google已經(jīng)推出的方案？

本文來源：新智元

網(wǎng)友評論

聚超值•精選

推薦 手機 筆記本 影像 硬件 家居 商用 企業(yè) 出行 未來
二維碼 回到頂部