豆包大模型發(fā)布各領(lǐng)域技術(shù)進(jìn)展,!字節(jié)跳動(dòng)旗下的豆包大模型于12月30日公布了2024年全領(lǐng)域的技術(shù)進(jìn)展,。自5月15日首次亮相以來(lái),,該模型在通用語(yǔ)言、視頻生成,、語(yǔ)音對(duì)話,、視覺(jué)理解等方面的能力已經(jīng)躋身國(guó)際第一梯隊(duì)。
截至2024年12月,,最新版的豆包通用模型Doubao-pro-1215綜合能力較5月提升了32%,,已全面對(duì)齊GPT-4o,并在數(shù)學(xué),、專業(yè)知識(shí)等部分復(fù)雜場(chǎng)景任務(wù)中表現(xiàn)更佳,。其推理服務(wù)價(jià)格僅為GPT-4o的八分之一。通過(guò)海量數(shù)據(jù)優(yōu)化及模型架構(gòu)創(chuàng)新,,包括提升模型稀疏度和引入強(qiáng)化學(xué)習(xí),,該模型的理解精度和生成質(zhì)量得到了大幅提升。
豆包還首次披露了其大模型具備300萬(wàn)字窗口的長(zhǎng)文本處理能力,,能夠一次輕松閱讀上百篇學(xué)術(shù)報(bào)告,,每百萬(wàn)tokens處理延遲僅15秒。這背后的技術(shù)包括上下文關(guān)聯(lián)數(shù)據(jù)算法STRING等,,這些技術(shù)顯著增強(qiáng)了LLM利用海量外部知識(shí)的能力,,并通過(guò)稀疏化及分布式方案將時(shí)延降至十秒級(jí)。