豐色發(fā)自凹非寺

量子位|公眾號QbitAI

有網(wǎng)友找到了GPT-4變“笨”的又一證據(jù)。

他質(zhì)疑：

OpenAI會緩存歷史回復,，讓GPT-4直接復述以前生成過的答案,。

最明顯的例子就是講笑話,。

證據(jù)顯示,，即使他將模型的temperature值調(diào)高,，GPT-4仍重復同一個“科學家與原子”的回答,。

就是那個“為什么科學家不信任原子,？因為萬物都是由它們編造/構造（make up）出來的”的冷笑話,。

在此，按理說temperature值越大,，模型越容易生成一些意想不到的詞,，不該重復同一個笑話了。

不止如此,，即使咱們不動參數(shù),，換一個措辭，強調(diào)讓它講一個新的,、不同的笑話,，也無濟于事。

發(fā)現(xiàn)者表示：

這說明GPT-4不僅使用緩存,，還是聚類查詢而非精準匹配某個提問,。

這樣的好處不言而喻,，回復速度可以更快。

不過既然高價買了會員,，享受的只是這樣的緩存檢索服務,，誰心里也不爽。

還有人看完后的心情是：

如果真這樣的話,，我們一直用GPT-4來評價其他大模型的回答是不是不太公平,？

當然，也有人不認為這是外部緩存的結果,，可能模型本身答案的重復性就有這么高：

此前已有研究表明ChatGPT在講笑話時,，90%的情況下都會重復同樣的25個。

具體怎么說,？

證據(jù)實錘GPT-4用緩存回復

不僅是忽略temperature值,，這位網(wǎng)友還發(fā)現(xiàn)：

更改模型的top_p值也沒用，GPT-4就跟那一個笑話干上了,。

（top_p：用來控制模型返回結果的真實性,，想要更準確和基于事實的答案就把值調(diào)低，想要多樣化的答案就調(diào)高）

唯一的破解辦法是把隨機性參數(shù)n拉高,，這樣我們就可以獲得“非緩存”的答案,，得到一個新笑話。

不過,，它的“代價”是回復速度變慢，畢竟生成新內(nèi)容會帶來一定延遲,。

值得一提的是,，還有人似乎在本地模型上也發(fā)現(xiàn)了類似現(xiàn)象。

有人表示：截圖中的“prefix-match hit” （前綴匹配命中）似乎可以證明確實是用的緩存,。

那么問題就來了,，大模型到底是如何緩存我們的聊天信息的呢？

好問題,，從開頭展現(xiàn)的第二個例子來看,，顯然是進行了某種“聚類”操作，但具體如何應用于深度多輪對話咱不知道,。

姑且不論這個問題,，倒是有人看到這里，想起來ChatGPT那句“您的數(shù)據(jù)存在我們這兒,，但一旦聊天結束對話內(nèi)容就會被刪除”的聲明,，恍然大悟。

這不禁讓一些人開始擔憂數(shù)據(jù)安全問題：

這是否意味著我們發(fā)起的聊天內(nèi)容仍然保存在他們的數(shù)據(jù)庫中,？

當然,，有人分析這個擔憂可能過慮了：

也許只是我們的查詢embedding和回答緩存被存下來了,。

因此，就像發(fā)現(xiàn)者本人說的：

緩存這個操作本身我不太擔心,。

我擔心的是OpenAI這樣簡單粗暴地匯總我們的問題進行回答,，毫不關心temperature等設置，直接聚合明顯有不同含義的提示,，這樣影響很不好,，可能“廢掉”許多（基于GPT-4的）應用。

當然,，并不是所有人都同意以上發(fā)現(xiàn)能夠證明OpenAI真的就是在用緩存回復,。

他們的理由是作者采用的案例恰好是講笑話。

畢竟就在今年6月,，兩個德國學者測試發(fā)現(xiàn),，。

像“科學家和原子”這個更是尤其出現(xiàn)頻率最高,，它講了119次,。

因此也就能理解為什么看起來好像是緩存了之前的回答一樣。

因此,，有網(wǎng)友也提議用其他類型的問題測一測再看,。

不過作者堅持認為，不一定非得換問題,，光通過測量延遲時間就能很容易地分辨出是不是緩存了,。

最后，我們不妨再從“另一個角度”看這個問題：

GPT-4一直講一個笑話怎么了,？

一直以來,，咱們不都是強調(diào)要讓大模型輸出一致、可靠的回答嗎,？這不,，它多聽話啊（手動狗頭）,。

所以,，GPT-4究竟有沒有緩存，你有觀察到類似現(xiàn)象嗎,？