OpenAI CEO首次回應(yīng)馬斯克叫停GPT-4：尺寸是衡量模型的錯誤標(biāo)準(zhǔn) 公開信缺失最為關(guān)鍵的技術(shù)細(xì)節(jié)

小大

用微信掃描二維碼
分享至好友和朋友圈

關(guān)鍵詞：

2023-04-15 17:23:02 界面新聞

美國當(dāng)?shù)貢r間周四,，OpenAI的首席執(zhí)行官山姆·阿爾特曼在麻省理工Imagination in Action活動中通過Zoom接受了采訪，首次對馬斯克等人聯(lián)名簽署的公開信作出回應(yīng),。

這位風(fēng)口浪尖之上的OpenAI首席執(zhí)行官表示,，他對信中的部分主旨“真的同意”。

但他認(rèn)為這封公開信缺失最為關(guān)鍵的技術(shù)細(xì)節(jié),，例如“到底我們需要在何處按下暫停鍵”,，阿爾特曼透露了一個重要信息，他稱公開信的更早期版本聲稱OpenAI目前正在訓(xùn)練GPT-5,，但他們沒有,，并且在一段時間內(nèi)不會，“所以從這個意義上說,，這有點(diǎn)傻,。”阿爾特曼坦言,。

他還表示,，OpenAI正在開發(fā)GPT-4的附加功能，這些功能帶來了安全問題,，需要加以解決,，但公開信中并未提到。一般來說,，“隨著能力越來越高,，安全標(biāo)準(zhǔn)也必須提高,，”首席執(zhí)行官在數(shù)分鐘的Zoom采訪中言辭溫和審慎。

“我們在完成對GPT-4的訓(xùn)練和發(fā)布之間花了超過6個月的時間......這些時間都花在安全性研究上,，”山姆·阿爾特曼認(rèn)為,，他非常高興GPT-4發(fā)布后，人們評價(jià)說這是到目前為止最安全的和最強(qiáng)一致性的模型,，“而非能力最強(qiáng)的模型”,。

尤為關(guān)鍵的是，在這次麻省理工活動中,，阿爾特曼強(qiáng)調(diào),，尺寸是衡量模型質(zhì)量的錯誤標(biāo)準(zhǔn)，他認(rèn)為業(yè)界正在接近大語言模型LLM規(guī)模的極限,，為規(guī)模而規(guī)模,。他直言，已經(jīng)有太多的人關(guān)注參數(shù)數(shù)字,，也許參數(shù)還會有上升趨勢,，但這讓他想起了20世紀(jì)90年代的芯片千兆赫茲競賽，“每個人都試圖指向一個大數(shù)字,?！?/p>

他進(jìn)一步指出了小模型的重要性，他認(rèn)為未來模型參數(shù)應(yīng)該向更小的方向發(fā)展,，以多個小模型協(xié)作的方式工作,，人們應(yīng)該把精力放在迅速提高模型能力上，而不是在這里為參數(shù)計(jì)數(shù)而自娛自樂,。

事實(shí)上，不盲目追求大模型參數(shù)數(shù)量已成為技術(shù)界共識,。創(chuàng)新奇智聯(lián)合創(chuàng)始人兼首席技術(shù)官張發(fā)恩日前告訴記者,，雖然GPT3.5的模型參數(shù)為1750億，使用數(shù)千張GPU無卡訓(xùn)練數(shù)月,，但面對一個同樣規(guī)模參數(shù)的大模型,，其訓(xùn)練的精度其實(shí)在快速下降，“同樣規(guī)模的模型算力可能只需要原來的幾十分之一就能做到,，這讓我們覺得未來是樂觀的,，可以不去做‘軍備競賽’?！?/p>

12 全文共 2 頁下一頁

關(guān)閉

OpenAI CEO首次回應(yīng)馬斯克叫停GPT-4：尺寸是衡量模型的錯誤標(biāo)準(zhǔn) 公開信缺失最為關(guān)鍵的技術(shù)細(xì)節(jié)

相關(guān)新聞

今日熱點(diǎn)

頻道熱點(diǎn)