GPT-4被曝緩存歷史回復(fù) 一個(gè)笑話講八百遍,，讓換新的也不聽(2)

小大

用微信掃描二維碼
分享至好友和朋友圈

關(guān)鍵詞：

2023-11-03 10:07:57 量子位QbitAI

不過,，它的“代價(jià)”是回復(fù)速度變慢，畢竟生成新內(nèi)容會(huì)帶來(lái)一定延遲,。

值得一提的是,，還有人似乎在本地模型上也發(fā)現(xiàn)了類似現(xiàn)象。

有人表示：截圖中的“prefix-match hit” （前綴匹配命中）似乎可以證明確實(shí)是用的緩存,。

那么問題就來(lái)了,，大模型到底是如何緩存我們的聊天信息的呢,？

好問題，從開頭展現(xiàn)的第二個(gè)例子來(lái)看,，顯然是進(jìn)行了某種“聚類”操作,，但具體如何應(yīng)用于深度多輪對(duì)話咱不知道。

姑且不論這個(gè)問題,，倒是有人看到這里,，想起來(lái)ChatGPT那句“您的數(shù)據(jù)存在我們這兒，但一旦聊天結(jié)束對(duì)話內(nèi)容就會(huì)被刪除”的聲明,，恍然大悟,。

這不禁讓一些人開始擔(dān)憂數(shù)據(jù)安全問題：

這是否意味著我們發(fā)起的聊天內(nèi)容仍然保存在他們的數(shù)據(jù)庫(kù)中？

當(dāng)然,，有人分析這個(gè)擔(dān)憂可能過慮了：

也許只是我們的查詢embedding和回答緩存被存下來(lái)了,。

因此，就像發(fā)現(xiàn)者本人說的：

緩存這個(gè)操作本身我不太擔(dān)心,。

我擔(dān)心的是OpenAI這樣簡(jiǎn)單粗暴地匯總我們的問題進(jìn)行回答,，毫不關(guān)心temperature等設(shè)置，直接聚合明顯有不同含義的提示,，這樣影響很不好,，可能“廢掉”許多（基于GPT-4的）應(yīng)用。

當(dāng)然,，并不是所有人都同意以上發(fā)現(xiàn)能夠證明OpenAI真的就是在用緩存回復(fù),。

他們的理由是作者采用的案例恰好是講笑話。

畢竟就在今年6月,，兩個(gè)德國(guó)學(xué)者測(cè)試發(fā)現(xiàn),，。

像“科學(xué)家和原子”這個(gè)更是尤其出現(xiàn)頻率最高,，它講了119次,。

因此也就能理解為什么看起來(lái)好像是緩存了之前的回答一樣。

因此,，有網(wǎng)友也提議用其他類型的問題測(cè)一測(cè)再看,。

不過作者堅(jiān)持認(rèn)為，不一定非得換問題,，光通過測(cè)量延遲時(shí)間就能很容易地分辨出是不是緩存了,。

最后，我們不妨再?gòu)摹傲硪粋€(gè)角度”看這個(gè)問題：

GPT-4一直講一個(gè)笑話怎么了,？

一直以來(lái),，咱們不都是強(qiáng)調(diào)要讓大模型輸出一致、可靠的回答嗎,？這不,，它多聽話?。ㄊ謩?dòng)狗頭）。

所以,，GPT-4究竟有沒有緩存,，你有觀察到類似現(xiàn)象嗎？

(責(zé)任編輯：楊靖)

關(guān)閉

今日熱點(diǎn)