豐色發(fā)自凹非寺

量子位|公眾號(hào)QbitAI

有網(wǎng)友找到了GPT-4變“笨”的又一證據(jù),。

他質(zhì)疑：

OpenAI會(huì)緩存歷史回復(fù)，讓GPT-4直接復(fù)述以前生成過(guò)的答案,。

最明顯的例子就是講笑話,。

證據(jù)顯示,，即使他將模型的temperature值調(diào)高，GPT-4仍重復(fù)同一個(gè)“科學(xué)家與原子”的回答,。

就是那個(gè)“為什么科學(xué)家不信任原子,？因?yàn)槿f(wàn)物都是由它們編造/構(gòu)造（make up）出來(lái)的”的冷笑話,。

在此，按理說(shuō)temperature值越大,，模型越容易生成一些意想不到的詞,，不該重復(fù)同一個(gè)笑話了。

不止如此,，即使咱們不動(dòng)參數(shù),，換一個(gè)措辭，強(qiáng)調(diào)讓它講一個(gè)新的,、不同的笑話,，也無(wú)濟(jì)于事。

發(fā)現(xiàn)者表示：

這說(shuō)明GPT-4不僅使用緩存,，還是聚類查詢而非精準(zhǔn)匹配某個(gè)提問(wèn),。

這樣的好處不言而喻，回復(fù)速度可以更快,。

不過(guò)既然高價(jià)買(mǎi)了會(huì)員,，享受的只是這樣的緩存檢索服務(wù)，誰(shuí)心里也不爽,。

還有人看完后的心情是：

如果真這樣的話,，我們一直用GPT-4來(lái)評(píng)價(jià)其他大模型的回答是不是不太公平？

當(dāng)然,，也有人不認(rèn)為這是外部緩存的結(jié)果,，可能模型本身答案的重復(fù)性就有這么高：

此前已有研究表明ChatGPT在講笑話時(shí)，90%的情況下都會(huì)重復(fù)同樣的25個(gè),。

具體怎么說(shuō),？

證據(jù)實(shí)錘GPT-4用緩存回復(fù)

不僅是忽略temperature值，這位網(wǎng)友還發(fā)現(xiàn)：

更改模型的top_p值也沒(méi)用,，GPT-4就跟那一個(gè)笑話干上了,。

（top_p：用來(lái)控制模型返回結(jié)果的真實(shí)性，想要更準(zhǔn)確和基于事實(shí)的答案就把值調(diào)低,，想要多樣化的答案就調(diào)高）

唯一的破解辦法是把隨機(jī)性參數(shù)n拉高,，這樣我們就可以獲得“非緩存”的答案，得到一個(gè)新笑話,。

不過(guò),，它的“代價(jià)”是回復(fù)速度變慢，畢竟生成新內(nèi)容會(huì)帶來(lái)一定延遲,。

值得一提的是,，還有人似乎在本地模型上也發(fā)現(xiàn)了類似現(xiàn)象。

有人表示：截圖中的“prefix-match hit” （前綴匹配命中）似乎可以證明確實(shí)是用的緩存,。

那么問(wèn)題就來(lái)了,，大模型到底是如何緩存我們的聊天信息的呢,？

好問(wèn)題，從開(kāi)頭展現(xiàn)的第二個(gè)例子來(lái)看,，顯然是進(jìn)行了某種“聚類”操作,，但具體如何應(yīng)用于深度多輪對(duì)話咱不知道。

姑且不論這個(gè)問(wèn)題,，倒是有人看到這里,，想起來(lái)ChatGPT那句“您的數(shù)據(jù)存在我們這兒，但一旦聊天結(jié)束對(duì)話內(nèi)容就會(huì)被刪除”的聲明,，恍然大悟,。

這不禁讓一些人開(kāi)始擔(dān)憂數(shù)據(jù)安全問(wèn)題：

這是否意味著我們發(fā)起的聊天內(nèi)容仍然保存在他們的數(shù)據(jù)庫(kù)中？

當(dāng)然,，有人分析這個(gè)擔(dān)憂可能過(guò)慮了：

也許只是我們的查詢embedding和回答緩存被存下來(lái)了,。

因此，就像發(fā)現(xiàn)者本人說(shuō)的：

緩存這個(gè)操作本身我不太擔(dān)心,。

我擔(dān)心的是OpenAI這樣簡(jiǎn)單粗暴地匯總我們的問(wèn)題進(jìn)行回答,，毫不關(guān)心temperature等設(shè)置,，直接聚合明顯有不同含義的提示,，這樣影響很不好，可能“廢掉”許多（基于GPT-4的）應(yīng)用,。

當(dāng)然,，并不是所有人都同意以上發(fā)現(xiàn)能夠證明OpenAI真的就是在用緩存回復(fù)。

他們的理由是作者采用的案例恰好是講笑話,。

畢竟就在今年6月,，兩個(gè)德國(guó)學(xué)者測(cè)試發(fā)現(xiàn)，,。

像“科學(xué)家和原子”這個(gè)更是尤其出現(xiàn)頻率最高,，它講了119次。

因此也就能理解為什么看起來(lái)好像是緩存了之前的回答一樣,。

因此,，有網(wǎng)友也提議用其他類型的問(wèn)題測(cè)一測(cè)再看。

不過(guò)作者堅(jiān)持認(rèn)為,，不一定非得換問(wèn)題,，光通過(guò)測(cè)量延遲時(shí)間就能很容易地分辨出是不是緩存了。

最后,，我們不妨再?gòu)摹傲硪粋€(gè)角度”看這個(gè)問(wèn)題：

GPT-4一直講一個(gè)笑話怎么了,？

一直以來(lái)，咱們不都是強(qiáng)調(diào)要讓大模型輸出一致,、可靠的回答嗎,？這不,，它多聽(tīng)話啊（手動(dòng)狗頭）,。

所以,，GPT-4究竟有沒(méi)有緩存，你有觀察到類似現(xiàn)象嗎,？