豐色發(fā)自凹非寺
量子位|公眾號QbitAI
有網(wǎng)友找到了GPT-4變“笨”的又一證據(jù),。
他質(zhì)疑:
OpenAI會緩存歷史回復(fù),,讓GPT-4直接復(fù)述以前生成過的答案。
最明顯的例子就是講笑話,。
證據(jù)顯示,,即使他將模型的temperature值調(diào)高,GPT-4仍重復(fù)同一個“科學(xué)家與原子”的回答,。
就是那個“為什么科學(xué)家不信任原子,?因為萬物都是由它們編造/構(gòu)造(make up)出來的”的冷笑話。
在此,,按理說temperature值越大,,模型越容易生成一些意想不到的詞,不該重復(fù)同一個笑話了,。
不止如此,,即使咱們不動參數(shù),換一個措辭,強(qiáng)調(diào)讓它講一個新的,、不同的笑話,,也無濟(jì)于事。
發(fā)現(xiàn)者表示:
這說明GPT-4不僅使用緩存,,還是聚類查詢而非精準(zhǔn)匹配某個提問,。
這樣的好處不言而喻,回復(fù)速度可以更快,。
不過既然高價買了會員,,享受的只是這樣的緩存檢索服務(wù),誰心里也不爽,。
還有人看完后的心情是:
如果真這樣的話,,我們一直用GPT-4來評價其他大模型的回答是不是不太公平?
當(dāng)然,,也有人不認(rèn)為這是外部緩存的結(jié)果,,可能模型本身答案的重復(fù)性就有這么高:
此前已有研究表明ChatGPT在講笑話時,90%的情況下都會重復(fù)同樣的25個,。
具體怎么說,?
證據(jù)實錘GPT-4用緩存回復(fù)
不僅是忽略temperature值,這位網(wǎng)友還發(fā)現(xiàn):
更改模型的top_p值也沒用,,GPT-4就跟那一個笑話干上了,。
(top_p:用來控制模型返回結(jié)果的真實性,想要更準(zhǔn)確和基于事實的答案就把值調(diào)低,,想要多樣化的答案就調(diào)高)
唯一的破解辦法是把隨機(jī)性參數(shù)n拉高,,這樣我們就可以獲得“非緩存”的答案,得到一個新笑話,。
?蘇有朋轉(zhuǎn)發(fā)回復(fù)舒淇:“媽媽說美麗的女人都會嚇人而且很嚇” 都給咱有朋哥嚇到模糊了
2023-11-23 11:01:19蘇有朋回復(fù)舒淇